Résumé
De nombreux projets RAG échouent non pas à cause de l'IA elle-même, mais parce que trop de documents sont recherchés sans un contrôle suffisant du contexte. Des réponses précises dépendent d'un bon context engineering, où des informations pertinentes comme le modèle du produit, le type de client ou la version du logiciel sont d'abord identifiées avant d'effectuer une recherche. En restreignant de manière ciblée le périmètre de recherche, on peut réduire considérablement les faux positifs, les informations contradictoires et les hallucinations. Le RAG ne devient un système fiable que lorsque les bons documents sont sélectionnés dans le bon contexte pour l'appelant concerné.
RAG n'est pas une baguette magique
Le Retrieval Augmented Generation, ou RAG, est devenu l'une des technologies les plus importantes pour les assistants téléphoniques IA modernes. Les entreprises importent leurs bases de connaissances, leurs manuels, leur documentation produit ou leurs supports d'assistance et s'attendent à ce que l'IA réponde ensuite correctement à toutes les questions.
En pratique, cependant, beaucoup de projets RAG échouent non pas à cause de l'IA elle-même, mais à cause d'une mauvaise configuration du contexte.
Une erreur classique consiste à importer tous les documents disponibles dans une seule base de connaissances et à supposer que le grand modèle de langage choisira automatiquement la bonne information.
Malheureusement, cela fonctionne rarement de manière fiable.
Le vrai problème: le context engineering
Toute personne qui développe des assistants téléphoniques IA doit comprendre ce que signifie le context engineering.
Le context engineering est l'art et la discipline consistant à fournir au modèle de langage exactement les informations nécessaires à la tâche en cours, ni plus ni moins.
Un modèle de langage répond aux questions en fonction du contexte qu'il reçoit. Si ce contexte est mal construit, des réponses erronées deviennent inévitables.
Beaucoup de gens se concentrent uniquement sur le retrieval, c'est-à-dire sur l'idée que "l'IA trouve l'information". Ils oublient la question bien plus importante:
L'IA trouve-t-elle la bonne information dans le bon contexte ?
Un exemple classique du service client
Prenons le cas d'un fabricant ou revendeur de machines à café.
Le système RAG contient les manuels de tous les modèles disponibles:
- Modèle A
- Modèle B
- Modèle C
- Modèle D
Un client appelle et demande:
Au bout de combien de tasses dois-je effectuer la maintenance ?
Techniquement, le retrieval fonctionne d'abord correctement. L'IA trouve plusieurs passages pertinents dans les manuels importés.
Le problème, c'est que chaque modèle possède des intervalles de maintenance différents.
- Modèle A: maintenance après 500 tasses
- Modèle B: maintenance après 1 000 tasses
- Modèle C: maintenance après 750 tasses
- Modèle D: maintenance après 1 500 tasses
Comme tous les documents contiennent des informations similaires, l'IA peut utiliser par erreur un passage provenant du mauvais manuel.
Le résultat est une réponse plausible, mais potentiellement fausse.
Pourquoi le retrieval seul ne suffit pas
Beaucoup de personnes pensent que le RAG résout le problème automatiquement.
C'est une erreur de compréhension.
Le RAG répond seulement à la question:
Quels documents pourraient être pertinents ?
Il ne répond pas à:
Quel document est le bon pour cet appelant précis ?
Cette couche supplémentaire doit être créée par le flux de conversation de l'assistant téléphonique.
La bonne approche: identifier d'abord, rechercher ensuite
Au lieu de lancer immédiatement une recherche dans la base de connaissances, l'assistant téléphonique IA doit d'abord déterminer l'information critique:
De quel modèle s'agit-il ?
Le déroulement de la conversation pourrait ressembler à ceci:
Appelant: "Au bout de combien de tasses dois-je effectuer la maintenance ?"
Assistant: "Pour quel modèle avez-vous besoin de l'information ?"
Appelant: "Pour la CoffeeMaster X200."
Ce n'est qu'à ce moment-là que la base de connaissances doit être interrogée.
Mais plus sur tous les documents importés. La recherche doit être limitée uniquement au manuel de la CoffeeMaster X200.
Cela réduit considérablement l'espace de recherche et augmente nettement la probabilité d'une réponse correcte.
Moins de contexte signifie souvent de meilleures réponses
Une autre idée fausse courante est la suivante:
Plus j'importe de documents, meilleure sera l'IA.
En réalité, c'est souvent l'inverse.
Si de nombreux documents similaires sont disponibles, le risque augmente de:
- informations contradictoires
- faux positifs
- hallucinations
- mélange entre variantes de produits
- réponses incertaines
Un bon context engineering consiste donc souvent à exclure volontairement des informations.
La meilleure réponse ne vient pas du plus grand contexte, mais du contexte le plus pertinent.
Comment le mettre en œuvre dans VoiceBooker
Dans VoiceBooker, ce problème peut être résolu très simplement.
Au lieu de rechercher en permanence dans la base de connaissances de manière globale, le système peut d'abord déterminer le bon produit ou modèle.
Ensuite, la recherche est limitée uniquement aux documents pertinents.
Pour cela, VoiceBooker fournit la fonction kbLookup.
Avec kbLookup, il est possible de transmettre un tableau de documents qui définit la base de recherche.
On peut ainsi restreindre la recherche, par exemple:
- uniquement au manuel du modèle X de machine à laver
- uniquement aux documents du modèle Y de machine à café
- uniquement aux manuels d'une série de produits spécifique
L'assistant téléphonique IA ne reçoit alors que les informations pertinentes pour l'appelant actuel.
Autres erreurs fréquentes dans les systèmes RAG
1. Absence de qualification préalable de l'appelant
Beaucoup de développeurs laissent l'IA rechercher immédiatement, alors qu'il manque encore des informations importantes.
Exemples:
- Quel produit le client possède-t-il ?
- Quelle version du logiciel est utilisée ?
- Pour quel pays la demande s'applique-t-elle ?
- S'agit-il d'un client particulier ou d'une entreprise ?
Sans ces informations, l'IA cherche souvent dans un ensemble de données beaucoup trop vaste.
2. Mélange de différents types de documents
Il arrive souvent que des manuels, des consignes internes, du matériel marketing et des spécifications techniques soient stockés ensemble dans la même base de connaissances.
Cela crée des conflits, car une même question peut être répondue différemment selon les documents.
3. Recherche sur trop de documents
Beaucoup d'entreprises importent des milliers de documents et s'attendent à des résultats parfaits.
Plus l'espace de recherche est vaste, plus il devient difficile pour le système de retrieval d'identifier les informations réellement pertinentes.
4. Ne pas utiliser de métadonnées
Les documents devraient avoir des métadonnées telles que:
- nom du produit
- numéro de modèle
- type de produit
- langue
- pays
- version du document
Ces informations permettent de restreindre les recherches beaucoup plus précisément.
5. Faire aveuglément confiance aux résultats de recherche
Ce n'est pas parce que le système de retrieval a trouvé un passage que ce passage contient automatiquement la bonne réponse.
Le RAG augmente la probabilité de bonnes réponses, mais il ne remplace pas une structure de données propre ni un flux de conversation bien conçu.
Conclusion
La plus grande erreur dans les projets RAG n'est pas de charger trop peu de documents. C'est de charger trop de documents sans contrôler le contexte.
Un assistant téléphonique IA ne doit pas seulement savoir quelles informations existent. Il doit d'abord comprendre quelles informations sont pertinentes pour l'appelant actuel.
C'est là qu'intervient le context engineering.
Si l'on détermine d'abord les paramètres nécessaires de l'appelant, comme le numéro de modèle, la variante de produit ou le type de client, puis que l'on limite le retrieval en conséquence, on obtient des réponses beaucoup plus précises et une satisfaction client nettement plus élevée.
Le RAG n'est donc pas simplement une base de connaissances pour l'IA.
Le RAG ne devient un système fiable que lorsqu'il est combiné avec un bon context engineering.
Quiconque comprend cela construit des assistants téléphoniques IA qui ne fournissent pas seulement des réponses, mais les bonnes réponses.