Lexikon
Retrieval-Augmented Generation (RAG): Definition und Bedeutung für Unternehmen
Retrieval-Augmented Generation, kurz RAG, ist ein Verfahren, das ein Sprachmodell mit externen Daten ergänzt, etwa mit den internen Dokumenten eines Unternehmens. Vor jeder Antwort wird nachgeschlagen, welche Textstellen zur Frage passen, und das Modell formuliert seine Antwort anhand dieser Stellen. Der Begriff stammt aus einer Veröffentlichung von Lewis et al. aus dem Jahr 2020.
Wie funktioniert RAG?
RAG trennt zwei Aufgaben: Ein Suchsystem findet passende Textstellen, ein Sprachmodell formuliert daraus die Antwort. Das Modell muss das Firmenwissen also nicht gelernt haben, es bekommt die relevanten Stellen bei jeder Anfrage frisch vorgelegt.
Der AWS-Leitfaden zu RAG beschreibt vier Schritte:
- Aufnahme: Die Dokumente werden bereinigt, in Abschnitte zerlegt und als Embeddings (Zahlendarstellungen des Inhalts) in einer Vektordatenbank abgelegt. Das geschieht einmal vorab und danach bei Änderungen.
- Frage: Eine Person stellt eine Frage in normaler Sprache.
- Suche: Das System sucht in der Vektordatenbank die ähnlichsten Abschnitte und fügt sie dem Prompt hinzu.
- Antwort: Das Sprachmodell erhält Frage und Abschnitte und formuliert daraus die Antwort.
Für die Nutzer sieht das aus wie ein normaler Chat, nur dass die Antworten auf den eigenen Unterlagen beruhen.
Beispiel und Abgrenzung
Ein Mitarbeiter im Service fragt, welches Drehmoment eine bestimmte Verschraubung braucht. Das System findet die passende Stelle im Wartungshandbuch, gibt sie dem Modell mit und zeigt die Antwort samt Fundstelle an. Der Mitarbeiter kann die Angabe im Original prüfen.
Zwei Alternativen werden oft verwechselt:
- Fine-Tuning verändert das Modell selbst. Lewis et al. unterscheiden dieses im Modell gespeicherte Wissen („parametrisch“) vom nachschlagbaren Wissen in einem externen Index („nicht-parametrisch“). RAG nutzt Letzteres, weshalb sich der Dokumentenbestand ändern lässt, ohne das Modell anzufassen.
- Langer Kontext bedeutet, ganze Dokumente direkt in den Prompt zu legen. Das geht bei kleinen Beständen. Sobald der Bestand größer ist als das Modell auf einmal verarbeiten kann, braucht es eine Vorauswahl, und die leistet die Suche bei RAG.
RAG ist außerdem ein Baustein für KI-Agenten, etwa im Wissensmanagement, die Firmenwissen nachschlagen, bevor sie antworten oder handeln.
Worauf Sie achten sollten
RAG ist nur so gut wie die Suche und die Dokumente dahinter. Veraltete oder widersprüchliche Unterlagen führen zu veralteten oder widersprüchlichen Antworten.
- Datenqualität: Aufbereitung und Pflege der Dokumente kosten oft mehr Aufwand als das Modell.
- Rechte: Die Suche darf nur Dokumente liefern, die die fragende Person auch sehen darf.
- Belege: Antworten sollten die Fundstelle nennen, damit sie sich prüfen lassen.
- Betrieb: Index und Modell lassen sich auch vollständig im eigenen Haus betreiben.
Häufige Fragen
Ist RAG dasselbe wie Fine-Tuning?
Nein. Beim Fine-Tuning werden die Gewichte des Modells verändert, bei RAG bleibt das Modell unverändert und bekommt die passenden Textstellen erst bei der Anfrage mitgeliefert. Neue Dokumente lassen sich bei RAG durch eine Aktualisierung des Index nutzbar machen.
Verhindert RAG falsche Antworten?
Nicht vollständig. RAG gibt dem Modell eine belegbare Grundlage, aber wenn die Suche die falschen Stellen findet oder das Modell sie falsch wiedergibt, entstehen weiterhin Fehler. Quellenangaben und Stichproben-Kontrollen bleiben nötig.
Welche Daten eignen sich für RAG?
Vor allem Texte, die sich nachschlagen lassen: Handbücher, Richtlinien, Tickets, Angebote, Protokolle. Die Dokumente müssen vorher aufbereitet werden, etwa durch Bereinigung und Zerlegung in Abschnitte.
Kann RAG ohne Cloud laufen?
Ja. Index, Suche und Sprachmodell lassen sich auf eigenen Servern betreiben, sodass keine Dokumente das Unternehmen verlassen.