RAG erklärt
Was ist RAG?
Retrieval-Augmented Generation (RAG) verbindet ein Sprachmodell mit externen Wissensquellen. Relevante Inhalte werden zur Laufzeit gesucht und als Kontext für die Antwort bereitgestellt.
RAG in einem Satz
RAG ergänzt ein Sprachmodell um eine vorgeschaltete Suche: Das System sucht passende Inhalte aus definierten Quellen und übergibt sie gemeinsam mit der Nutzerfrage an das Modell.
Wie funktioniert RAG?
Ein typisches RAG-System besteht aus mehreren Schritten. Zunächst werden Dokumente oder andere Inhalte strukturiert, in sinnvolle Abschnitte zerlegt und für die Suche aufbereitet. Bei einer Nutzerfrage sucht das System nach passenden Passagen. Diese Fundstellen werden anschließend zusammen mit der Frage an das Sprachmodell übergeben.
- Quellen aufbereiten: Dokumente, Metadaten und Berechtigungen erfassen.
- Inhalte auffindbar machen: Volltext-, Vektor- oder hybride Suche vorbereiten.
- Relevante Passagen abrufen: Treffer zur konkreten Frage auswählen und filtern.
- Antwort erzeugen: Modell bekommt Frage plus ausgewählte Quellen.
- Ergebnis prüfen: Quellenbezug, Vollständigkeit und fachliche Qualität evaluieren.
Warum nicht einfach alle Dokumente in den Prompt kopieren?
Bei sehr kleinen Datenmengen kann das funktionieren. In realen Unternehmensbeständen wird es jedoch schnell teuer, langsam und unübersichtlich. RAG soll gezielt die Inhalte auswählen, die für eine konkrete Frage relevant sind, statt jedes Dokument bei jeder Anfrage erneut zu übertragen.
Wann ist RAG sinnvoll?
- Antworten sollen auf internen Dokumenten, Richtlinien oder Produktwissen basieren.
- Quellen werden regelmäßig aktualisiert.
- Fundstellen sollen nachvollziehbar angezeigt werden.
- Berechtigungen oder Mandantentrennung müssen berücksichtigt werden.
- Ein allgemeines Sprachmodell kennt die benötigten Informationen nicht zuverlässig genug.
Wo liegen die Grenzen?
RAG garantiert keine korrekte Antwort. Fehler können bereits bei der Dokumentaufbereitung, Suche oder Auswahl der Quellen entstehen. Auch ein Modell kann bereitgestellten Kontext falsch interpretieren. Deshalb sollten Retrieval-Qualität, Quellenbezug und Antwortqualität getrennt getestet werden.
RAG ist mehr als eine Vektordatenbank
Ein belastbares System braucht passende Dokumentaufbereitung, Metadaten, Berechtigungen, Suchlogik, Evaluation und Monitoring. Die Wahl der Vektordatenbank ist nur ein Teil dieser Architektur. In manchen Fällen ist klassische Volltextsuche oder eine hybride Kombination geeigneter.
Welche Fragen sollten vor einem RAG-Projekt geklärt werden?
- Welche Quellen sind fachlich verbindlich?
- Wie aktuell und strukturiert sind die Daten?
- Welche Nutzer dürfen welche Inhalte sehen?
- Müssen Antworten immer Quellen nennen?
- Wie sieht ein repräsentativer Testdatensatz aus?
- Wie wird mit widersprüchlichen oder veralteten Dokumenten umgegangen?
Weiterführende Quelle
Der Begriff Retrieval-Augmented Generation wurde 2020 in der Arbeit „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“ von Patrick Lewis und weiteren Autoren geprägt. Moderne Unternehmens-RAG-Systeme gehen in Architektur und Betrieb häufig deutlich über den dort beschriebenen Forschungsaufbau hinaus.
