Wie RAG funktioniert
Ein RAG-System hat zwei Teile.
Bevor jemand fragt: Indexierung
Dokumente werden dort eingesammelt, wo sie liegen, etwa in einer Dokumentenablage, einem Wiki oder einem Ticketsystem. Sie werden in Chunks geteilt, meist nicht länger als einige Hundert Token. Jeder Chunk wird in ein Embedding umgewandelt, eine Zahlenliste, die seine Bedeutung erfasst, und in einem Suchindex gespeichert, oft neben einem Stichwortindex.
Wenn jemand fragt: Abruf und Generierung
Die Frage wird gegen den Index gesucht. Die am besten passenden Passagen werden abgerufen, oft von einem zweiten Modell neu sortiert, und zusammen mit der Frage und Anweisungen wie "antworte nur aus diesen Passagen und zitiere sie" in den Prompt gesetzt. Das Modell schreibt die Antwort, und die Anwendung zeigt die Quellen daneben.
Architekturoptionen für RAG
| Option | So funktioniert es | Wo sie passt |
|---|---|---|
| Vektorsuche | Findet mithilfe von Embeddings Passagen, die der Frage in der Bedeutung nahekommen | Fragen, die anders formuliert sind als die Dokumente. Exakte Begriffe wie Codes und Namen kann sie übersehen |
| Hybride Suche | Führt Stichwortsuche (BM25) und Vektorsuche gemeinsam aus und führt die Ergebnisse zusammen | Ein solider Standard für Unternehmensinhalte, die Fließtext mit Codes, Namen und Zahlen mischen |
| Re-Ranking | Ein zweites Modell ordnet die besten Ergebnisse nach Relevanz neu | Große Sammlungen, bei denen die erste Suche viele Beinahe-Treffer liefert |
| Contextual Retrieval | Ergänzt jeden Chunk vor der Indexierung um eine kurze Beschreibung seines Dokuments | Chunks, die außerhalb des Kontexts ihre Bedeutung verlieren, etwa eine Klausel oder eine Tabellenzeile |
| Langer Kontext | Legt ganze Dokumente in das Kontextfenster des Modells, statt zu suchen | Kleine, stabile Dokumentensätze. Kostet mehr pro Frage |
In Tests von Anthropic senkten kontextuelle Embeddings zusammen mit BM25-Stichwortsuche und Re-Ranking den Anteil der Fälle, in denen die richtige Passage unter den ersten 20 Ergebnissen fehlte, um 67 %. Azure AI Search etwa führt Stichwort- und Vektorabfragen parallel aus und führt sie mit Reciprocal Rank Fusion zusammen, einem gängigen Weg zur hybriden Suche.
Prüfen Sie, bevor Sie einen Index bauen, was Ihre KI-Plattform bereits bietet. Claude etwa kann über Konnektoren mit verbundenen Quellen wie Google Drive oder Microsoft 365 arbeiten, was für einen ersten Schritt oft genügt.
Grenzen von RAG und wie man mit ihnen umgeht
- Übersehene Passagen. Das Teilen von Dokumenten kann eine Passage von dem Kontext trennen, der ihr Bedeutung gibt, und Embeddings können exakte Treffer übersehen, die die Stichwortsuche findet. Hybride Suche und Contextual Retrieval verringern beide Probleme.
- Veraltete Inhalte. Ein Index ist eine Kopie. Ändern sich Dokumente, müssen sie und ihre Embeddings aktualisiert werden, am besten automatisch und im Hintergrund.
- Berechtigungen. Der Index muss beachten, wer was sehen darf, damit eine Person nur Passagen abruft, die sie lesen darf.
- Antworten, die über die Quellen hinausgehen. RAG verringert erfundene Antworten, beseitigt sie aber nicht. Die Anweisung, nur aus den Passagen zu antworten, Zitate, die Menschen prüfen können, und ein klares "Ich weiß es nicht", wenn nichts Relevantes gefunden wird, halten die Antworten ehrlich.
- Zu viel Kontext. Modelle können Informationen in der Mitte eines langen Prompts verlieren, daher sind wenige, bessere Passagen oft mehr wert als viele.
Ob ein RAG-System funktioniert, zeigt nur der Test: ein Satz echter Fragen mit bekannten Antworten und Quellen, gemessen an Abruf- und Antwortqualität, vor und nach jeder Änderung.
RAG, Fine-Tuning und langer Kontext
| Ansatz | Was er verändert | Geeignet für |
|---|---|---|
| RAG | Was das Modell beim Antworten sehen kann | Wissen, das sich ändert, umfangreich ist oder Zitate braucht |
| Fine-tuning | Wie sich das Modell verhält, durch zusätzliches Training | Einen einheitlichen Stil, ein Format oder eine Aufgabe, keine Fakten, die sich ändern |
| Langer Kontext | Wie viel das Modell in einer Anfrage liest | Wenige Dokumente auf einmal, etwa einen Vertrag oder einen Bericht |
Sie lassen sich gut kombinieren: Ein Modell kann auf ein Format abgestimmt sein, RAG für Wissen nutzen und ein ganzes Dokument lesen, wenn eines angehängt ist.
Wo Unternehmen RAG einsetzen
- Richtlinien und Personal: Antworten zu Urlaub, Spesen oder Sicherheitsregeln, mit Link zur Richtlinie.
- Kundensupport: Antworten, aus der Wissensdatenbank und früheren Tickets entworfen, die ein Mensch versendet.
- Recht und Compliance: Recherche über Verträge, Klauseln und Vorschriften hinweg, jede Passage zitiert.
- Technische Dokumentation: Antworten für Ingenieure und Außendienstteams aus Handbüchern und Spezifikationen.
- Vertrieb: Produktfakten und Texte aus früheren Angeboten, für eine konkrete Opportunity.
Quellen
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
- Anthropic: Introducing Contextual Retrieval, 19. September 2024
- Microsoft: Hybrid search in Azure AI Search
- AWS: What is retrieval-augmented generation?
- Liu et al.: Lost in the Middle: How Language Models Use Long Contexts