Resumo
Muitos projetos de RAG não fracassam por causa da IA em si, mas porque documentos demais são pesquisados sem controle suficiente de contexto. Respostas precisas dependem de um bom context engineering, no qual informações relevantes como o modelo do produto, o tipo de cliente ou a versão do software são identificadas primeiro antes de qualquer busca ser realizada. Ao restringir de forma direcionada o escopo de busca, é possível reduzir significativamente falsos positivos, informações contraditórias e alucinações. O RAG só se torna um sistema confiável quando os documentos certos são selecionados no contexto certo para o chamador específico.
RAG não é uma varinha mágica
Retrieval Augmented Generation, ou RAG, tornou-se uma das tecnologias mais importantes para assistentes telefônicos de IA modernos. As empresas carregam suas bases de conhecimento, manuais, documentação de produto ou materiais de suporte e esperam que a IA responda corretamente a qualquer pergunta.
Na prática, porém, muitos projetos RAG não falham por causa da IA em si, mas por uma configuração incorreta do contexto.
Um erro típico é carregar todos os documentos disponíveis em uma única base de conhecimento e presumir que o grande modelo de linguagem escolherá automaticamente as informações certas.
Infelizmente, isso raramente funciona de forma confiável.
O verdadeiro problema: context engineering
Quem desenvolve assistentes telefônicos de IA precisa entender o que significa context engineering.
Context engineering é a arte e a disciplina de fornecer ao modelo de linguagem exatamente as informações necessárias para a tarefa atual, nem mais nem menos.
Um modelo de linguagem responde perguntas com base no contexto que recebe. Se esse contexto for montado de forma ruim, respostas erradas se tornam inevitáveis.
Muitas pessoas se concentram apenas no retrieval, isto é, na ideia de que "a IA encontra a informação". Elas esquecem a pergunta muito mais importante:
A IA encontra a informação certa no contexto certo?
Um exemplo clássico de atendimento ao cliente
Vamos usar como exemplo um fabricante ou revendedor de máquinas de café.
O sistema RAG contém os manuais de todos os modelos disponíveis:
- Modelo A
- Modelo B
- Modelo C
- Modelo D
Um cliente liga e pergunta:
Depois de quantas xícaras preciso fazer a manutenção?
Tecnicamente, o retrieval funciona inicialmente. A IA encontra vários trechos relevantes nos manuais carregados.
O problema é que cada modelo possui intervalos de manutenção diferentes.
- Modelo A: manutenção após 500 xícaras
- Modelo B: manutenção após 1.000 xícaras
- Modelo C: manutenção após 750 xícaras
- Modelo D: manutenção após 1.500 xícaras
Como todos os documentos contêm informações semelhantes, a IA pode usar por engano um trecho do manual errado.
O resultado é uma resposta plausível, mas potencialmente incorreta.
Por que o retrieval sozinho não basta
Muitas pessoas acreditam que o RAG resolve o problema automaticamente.
Isso é um equívoco.
O RAG responde apenas à pergunta:
Quais documentos podem ser relevantes?
Ele não responde:
Qual documento é o certo para este chamador específico?
Essa camada adicional precisa ser criada pelo fluxo de conversa do assistente telefônico.
A abordagem correta: identificar primeiro, pesquisar depois
Em vez de pesquisar imediatamente na base de conhecimento, o assistente telefônico de IA deve primeiro determinar a informação crítica:
De qual modelo estamos falando?
O fluxo da conversa pode ser assim:
Chamador: "Depois de quantas xícaras preciso fazer a manutenção?"
Assistente: "Para qual modelo você precisa da informação?"
Chamador: "Para a CoffeeMaster X200."
Só então a base de conhecimento deve ser consultada.
Mas não mais em todos os documentos carregados. A busca deve ser limitada apenas ao manual da CoffeeMaster X200.
Isso reduz drasticamente o espaço de busca e aumenta muito a probabilidade de uma resposta correta.
Menos contexto muitas vezes significa respostas melhores
Outro equívoco comum é:
Quanto mais documentos eu carregar, melhor será a IA.
Na realidade, muitas vezes acontece o contrário.
Se muitos documentos semelhantes estiverem disponíveis, aumenta o risco de:
- informações conflitantes
- falsos positivos
- alucinações
- mistura entre variantes de produto
- respostas inseguras
Um bom context engineering muitas vezes significa excluir informações de forma deliberada.
A melhor resposta não vem do maior contexto, mas do contexto mais relevante.
Como implementar isso na VoiceBooker
Na VoiceBooker, esse problema pode ser resolvido de forma muito simples.
Em vez de pesquisar globalmente na base de conhecimento o tempo todo, o sistema pode primeiro determinar o produto ou modelo correto.
Depois disso, a busca é restrita apenas aos documentos relevantes.
Para isso, a VoiceBooker disponibiliza a função kbLookup.
Com kbLookup, é possível passar um array de documentos que define a base de pesquisa.
Isso permite restringir a busca, por exemplo, a:
- apenas o manual do modelo X de máquina de lavar
- apenas os documentos da máquina de café modelo Y
- apenas os manuais de uma série específica de produtos
O assistente telefônico de IA recebe assim apenas as informações relevantes para o chamador atual.
Outros erros comuns em sistemas RAG
1. Não qualificar previamente o chamador
Muitos desenvolvedores deixam a IA pesquisar imediatamente, mesmo quando ainda faltam informações importantes.
Exemplos:
- Qual produto o cliente possui?
- Qual versão do software está sendo usada?
- Para qual país a solicitação se aplica?
- Trata-se de um cliente particular ou empresarial?
Sem essas informações, a IA costuma pesquisar em um conjunto de dados grande demais.
2. Misturar tipos diferentes de documentos
É comum armazenar manuais, instruções internas, materiais de marketing e especificações técnicas na mesma base de conhecimento.
Isso gera conflitos, porque a mesma pergunta pode ser respondida de forma diferente em documentos distintos.
3. Pesquisar em documentos demais
Muitas empresas carregam milhares de documentos e esperam resultados perfeitos.
Quanto maior o espaço de busca, mais difícil fica para o sistema de retrieval identificar as informações realmente relevantes.
4. Não usar metadados
Os documentos devem ter metadados como:
- nome do produto
- número do modelo
- tipo de produto
- idioma
- país
- versão do documento
Essas informações permitem restringir as buscas com muito mais precisão.
5. Confiar cegamente nos resultados da busca
Só porque o sistema de retrieval encontrou um trecho não significa automaticamente que esse trecho contém a resposta correta.
RAG aumenta a probabilidade de respostas corretas, mas não substitui a necessidade de uma estrutura de dados limpa e de um fluxo de conversa bem projetado.
Conclusão
O maior erro em projetos RAG não é carregar poucos documentos. É carregar documentos demais sem controlar o contexto.
Um assistente telefônico de IA não deve apenas saber quais informações existem. Ele deve primeiro entender quais informações são relevantes para o chamador atual.
É aí que entra o context engineering.
Se primeiro você determina os parâmetros necessários do chamador, como número do modelo, variante do produto ou tipo de cliente, e depois restringe o retrieval de acordo com isso, obtém respostas muito mais precisas e uma satisfação do cliente bem maior.
RAG, portanto, não é apenas uma base de conhecimento para IA.
RAG só se torna um sistema confiável quando é combinado com um bom context engineering.
Quem entende isso constrói assistentes telefônicos de IA que não apenas fornecem respostas, mas as respostas certas.