Zusammenfassung
Viele RAG-Projekte scheitern nicht an der KI selbst, sondern daran, dass zu viele Dokumente ohne ausreichende Kontextsteuerung durchsucht werden. Entscheidend für präzise Antworten ist gutes Context Engineering, bei dem zunächst relevante Informationen wie Produktmodell, Kundentyp oder Softwareversion ermittelt werden, bevor eine Suche durchgeführt wird. Durch die gezielte Einschränkung des Suchraums lassen sich falsche Treffer, widersprüchliche Informationen und Halluzinationen deutlich reduzieren. RAG wird erst dann zu einem zuverlässigen System, wenn die richtigen Dokumente im richtigen Kontext für den jeweiligen Anrufer ausgewählt werden.
RAG ist kein Zauberstab
Retrieval Augmented Generation (RAG) hat sich als eine der wichtigsten Technologien für moderne KI-Telefonassistenten etabliert. Unternehmen laden ihre Wissensdatenbanken, Handbücher, Produktdokumentationen oder Support-Unterlagen hoch und erwarten, dass die KI anschließend jede Frage korrekt beantworten kann.
In der Praxis zeigt sich jedoch immer wieder: Viele RAG-Projekte scheitern nicht an der KI selbst, sondern an einer falschen Konfiguration des Kontexts.
Ein typischer Fehler besteht darin, sämtliche verfügbaren Dokumente in eine Wissensdatenbank hochzuladen und davon auszugehen, dass das Large Language Model (LLM) automatisch die richtigen Informationen auswählt.
Leider funktioniert das selten zuverlässig.
Das eigentliche Problem: Context Engineering
Wer KI-Telefonassistenten entwickelt, muss verstehen, was Context Engineering bedeutet.
Context Engineering beschreibt die Kunst und Wissenschaft, dem Sprachmodell genau die Informationen bereitzustellen, die es für die aktuelle Aufgabe benötigt – nicht mehr und nicht weniger.
Ein LLM beantwortet Fragen auf Basis des Kontexts, den es erhält. Wird der Kontext schlecht zusammengestellt, entstehen zwangsläufig falsche Antworten.
Viele Anwender konzentrieren sich ausschließlich auf das Retrieval („Die KI findet die Information“), vergessen aber die wesentlich wichtigere Frage:
Findet die KI die richtige Information im richtigen Kontext?
Ein klassisches Beispiel aus dem Kundenservice
Nehmen wir einen Hersteller oder Händler von Kaffeemaschinen.
Im RAG-System werden die Bedienungsanleitungen aller verfügbaren Modelle hochgeladen:
- Modell A
- Modell B
- Modell C
- Modell D
Ein Kunde ruft an und fragt:
Nach wie vielen Tassen muss ich die Wartung durchführen?
Technisch funktioniert das Retrieval zunächst korrekt. Die KI findet mehrere relevante Textstellen aus den hochgeladenen Handbüchern.
Das Problem:
Jedes Modell besitzt unterschiedliche Wartungsintervalle.
- Modell A: Wartung nach 500 Tassen
- Modell B: Wartung nach 1.000 Tassen
- Modell C: Wartung nach 750 Tassen
- Modell D: Wartung nach 1.500 Tassen
Da alle Dokumente ähnliche Informationen enthalten, besteht die Gefahr, dass die KI eine Passage aus dem falschen Handbuch verwendet.
Das Ergebnis:
Der Anrufer erhält eine plausibel klingende, aber möglicherweise falsche Antwort.
Warum Retrieval allein nicht genügt
Viele Menschen glauben, RAG löse das Problem automatisch.
Das ist jedoch ein Missverständnis.
RAG beantwortet lediglich die Frage:
Welche Dokumente könnten relevant sein?
Nicht jedoch:
Welches Dokument ist für diesen konkreten Anrufer das richtige?
Diese zusätzliche Ebene muss durch den Dialogfluss des Telefonassistenten geschaffen werden.
Der richtige Ansatz: Erst identifizieren, dann suchen
Statt sofort die Wissensdatenbank zu durchsuchen, sollte der KI-Telefonassistent zunächst die entscheidende Information ermitteln:
Um welches Modell handelt es sich?
Der Gesprächsablauf könnte beispielsweise so aussehen:
Anrufer: „Nach wie vielen Tassen muss ich die Wartung durchführen?“
Assistent: „Für welches Modell benötigen Sie die Information?“
Anrufer: „Für die CoffeeMaster X200.“
Erst jetzt wird die Wissensdatenbank durchsucht.
Allerdings nicht mehr über alle hochgeladenen Dokumente hinweg, sondern ausschließlich innerhalb der Bedienungsanleitung der CoffeeMaster X200.
Damit wird der Suchraum drastisch reduziert und die Wahrscheinlichkeit einer korrekten Antwort steigt erheblich.
Weniger Kontext bedeutet oft bessere Antworten
Ein weiterer häufiger Irrtum lautet:
Je mehr Dokumente ich hochlade, desto besser wird die KI.
In Wirklichkeit ist oft das Gegenteil der Fall.
Wenn viele ähnliche Dokumente vorhanden sind, steigt die Wahrscheinlichkeit von:
- widersprüchlichen Informationen
- falschen Treffern
- Halluzinationen
- Vermischung verschiedener Produktvarianten
- unsicheren Antworten
Gutes Context Engineering bedeutet daher häufig, Informationen gezielt auszuschließen.
Die beste Antwort entsteht nicht durch möglichst viel Kontext, sondern durch möglichst relevanten Kontext.
So lässt sich das in VoiceBooker umsetzen
In VoiceBooker kann dieses Problem sehr einfach gelöst werden.
Statt die Wissensdatenbank immer global zu durchsuchen, kann zunächst das passende Produkt oder Modell ermittelt werden.
Anschließend wird die Suche gezielt auf die relevanten Dokumente eingeschränkt.
Hierfür steht die Funktion kbLookup zur Verfügung.
Mit kbLookup kann ein Array von Dokumenten übergeben werden, das die Suchbasis definiert.
Dadurch lässt sich beispielsweise festlegen:
- Suche nur in der Anleitung der Waschmaschine Modell X
- Suche nur in den Dokumenten der Kaffeemaschine Modell Y
- Suche nur in den Handbüchern einer bestimmten Produktserie
Der KI-Telefonassistent erhält dadurch ausschließlich die Informationen, die für den aktuellen Anrufer relevant sind.
Weitere häufige Fehler bei RAG-Systemen
1. Fehlende Vorqualifizierung des Anrufers
Viele Entwickler lassen die KI sofort suchen, obwohl wichtige Informationen fehlen.
Beispiele:
- Welches Produkt besitzt der Kunde?
- Welche Softwareversion wird verwendet?
- Für welches Land gilt die Anfrage?
- Handelt es sich um einen Privat- oder Geschäftskunden?
Ohne diese Informationen sucht die KI oft in einem viel zu großen Datenbestand.
2. Unterschiedliche Dokumenttypen vermischen
Oft werden Bedienungsanleitungen, interne Arbeitsanweisungen, Marketingunterlagen und technische Spezifikationen gemeinsam in einer Wissensdatenbank gespeichert.
Dadurch entstehen Konflikte, weil dieselbe Frage in unterschiedlichen Dokumenten unterschiedlich beantwortet wird.
3. Zu große Dokumentenmengen durchsuchen
Viele Unternehmen laden tausende Dokumente hoch und erwarten perfekte Ergebnisse.
Je größer der Suchraum wird, desto schwieriger wird es für das Retrieval-System, die tatsächlich relevanten Informationen zu identifizieren.
4. Keine Metadaten verwenden
Dokumente sollten mit Metadaten versehen werden, beispielsweise:
- Produktname
- Modellnummer
- Produkttyp
- Sprache
- Land
- Dokumentversion
Diese Informationen ermöglichen es, Suchanfragen gezielt einzuschränken.
5. Blindes Vertrauen in die Suchergebnisse
Nur weil das Retrieval-System einen Abschnitt gefunden hat, bedeutet das nicht automatisch, dass dieser Abschnitt die richtige Antwort enthält.
RAG erhöht die Wahrscheinlichkeit korrekter Antworten, ersetzt aber nicht die Notwendigkeit einer sauberen Datenstruktur und eines durchdachten Dialogdesigns.
Fazit
Der größte Fehler bei RAG-Projekten besteht nicht darin, zu wenige Dokumente hochzuladen, sondern zu viele Dokumente ohne Kontextsteuerung bereitzustellen.
Ein KI-Telefonassistent muss nicht nur wissen, welche Informationen existieren. Er muss zunächst verstehen, welche Informationen für den aktuellen Anrufer relevant sind.
Genau hier kommt Context Engineering ins Spiel.
Wer zuerst die notwendigen Parameter eines Anrufers ermittelt – beispielsweise Modellnummer, Produktvariante oder Kundentyp – und anschließend das Retrieval gezielt einschränkt, erzielt deutlich präzisere Antworten und eine wesentlich höhere Kundenzufriedenheit.
RAG ist deshalb nicht einfach eine Wissensdatenbank für KI.
RAG wird erst durch gutes Context Engineering zu einem zuverlässigen System.
Wer diese Zusammenhänge versteht, baut KI-Telefonassistenten, die nicht nur Antworten liefern, sondern die richtigen Antworten.