Votre chatbot connaît vos documents, mais répond-il à la bonne question ?

Rétrospective de la semaine du 3 au 9 août 2026.

Vous avez transmis vos PDF, votre catalogue et vos procédures à un assistant. Pourtant, certaines réponses restent vagues, ou passent à côté d’une exception importante. Ajouter davantage de documents ne règle pas toujours le problème. Il faut aussi examiner ce que l’assistant retrouve au moment de répondre.

Le guide publié par n8n le 6 août 2026 présente les compromis du découpage sémantique des documents pour les systèmes RAG. Le principe consiste à organiser des passages autour de leur sens plutôt qu’à les couper uniquement selon une longueur fixe. Cela ne signifie pas qu’une méthode soit systématiquement meilleure : le choix doit être testé sur les documents concernés.

Le problème se cache parfois entre deux paragraphes

Un assistant documentaire ne relit pas nécessairement toute votre bibliothèque pour chaque question. Une partie du système recherche les passages jugés pertinents, puis le modèle prépare sa réponse à partir de ces éléments. Si une condition et son exception sont séparées, une réponse peut être incomplète même lorsque les deux informations existent dans vos fichiers.

Ce point change la manière de préparer une base de connaissances. Il ne suffit pas de demander au modèle de « répondre précisément ». Il faut vérifier qu’il reçoit les bons éléments et qu’il sait signaler ce qu’il ne trouve pas.

Exemple : une livraison avec exception

Prenons un scénario illustratif. Un document annonce une livraison disponible sur une zone géographique. Un paragraphe plus loin précise que certains produits volumineux nécessitent une confirmation préalable. Si l’assistant retrouve uniquement le premier passage, il peut répondre trop vite à un client qui s’intéresse précisément à un produit concerné par l’exception.

Le test utile n’est donc pas seulement « quelles sont vos zones de livraison ? ». Il faut aussi demander si ce produit, à cette destination, peut être livré sans vérification supplémentaire. L’objectif est de tester la décision réelle que la réponse pourrait déclencher.

Commencer par des questions, pas par les fichiers

Listez les questions que votre équipe reçoit souvent. Ajoutez quelques demandes ambiguës, des cas où deux documents se contredisent et des questions auxquelles l’assistant ne doit pas répondre. Pour chacune, notez la réponse attendue, sa source et les réserves à conserver.

Cette petite base de test permet de comparer plusieurs réglages sur le même besoin. Elle évite de juger l’assistant sur une seule démonstration réussie. Le résultat intéressant n’est pas qu’il réponde à tout, mais qu’il fournisse une réponse utile quand il dispose des éléments et qu’il s’arrête correctement dans les autres cas.

Organiser les documents pour les maintenir

Un catalogue ancien et un catalogue actuel ne doivent pas être présentés comme deux autorités équivalentes. Chaque source doit avoir un responsable, un périmètre et une version identifiable. Les doublons et les textes obsolètes rendent le contrôle plus difficile, même avec un modèle performant.

Séparez aussi les documents utilisables dans une réponse client de ceux réservés à l’équipe. Les droits d’accès restent nécessaires après l’indexation. Une base documentaire commune ne doit pas rendre une information interne disponible à tous les utilisateurs de l’assistant.

Montrer pourquoi une réponse est fiable

Lorsque cela est adapté, associez la réponse à son document de référence. L’équipe peut alors vérifier l’information et corriger la source, plutôt que multiplier les consignes contradictoires dans le prompt. Prévoyez une nouvelle série de tests lorsqu’un document important change.

Le conseil IA de Smart Wise Monkey peut aider à structurer ce travail avant l’intégration à un assistant conversationnel. Une base bien préparée est un outil de travail, pas simplement un dossier de fichiers transmis au modèle.

Testons votre base documentaire sur les questions que vos clients posent vraiment.