# RAG im Unternehmen: Architektur, Bausteine und Fallstricke

> RAG sucht vor jeder Antwort passende Abschnitte aus Ihren Dokumenten und gibt sie dem Sprachmodell mit. Belastbar wird das System erst durch saubere Aufbereitung, hybride Suche, durchgereichte Zugriffsrechte, einen festen Testfragensatz und laufende Pflege des Index.

Kanonische URL: https://www.ruebstudio.de/de/wissen/ki-agenten-architektur/rag-im-unternehmen  
Autor: Dr.-Ing. Marcus Rüb, Founder  
Veröffentlicht: 2026-10-15

Fast jedes Unternehmen, das KI auf eigene Dokumente loslassen will, landet bei Retrieval-Augmented Generation. Der Prototyp ist schnell gebaut, die Ernüchterung kommt oft erst mit echten Fragen, echten Rechten und echten Dateien. Dieser Überblick zeigt alle Bausteine eines RAG-Systems, welche Variante wann passt und woran Projekte in der Praxis scheitern. Stand: Oktober 2026.

## Was ist RAG und wofür wird es im Unternehmen eingesetzt?

RAG ist ein Verfahren, bei dem ein System vor der Antwort passende Textstellen aus eigenen Quellen sucht und sie dem Sprachmodell als Grundlage mitgibt. Das Modell bleibt unverändert; neues Wissen kommt über den Suchindex hinzu. Im Unternehmen dient RAG vor allem dazu, Fragen zu Handbüchern, Richtlinien, Tickets oder Verträgen mit Quellenangabe zu beantworten.

Der Begriff geht auf eine [Veröffentlichung von Lewis et al. aus dem Jahr 2020](https://arxiv.org/abs/2005.11401) zurück. Dort wird ein Sprachmodell, dessen Wissen in den Gewichten steckt, mit einem durchsuchbaren Textindex kombiniert, aus dem ein Retriever passende Passagen holt. Die Grundidee hat sich seitdem kaum verändert, die Umsetzung dagegen stark. Eine kurze Definition finden Sie im Lexikon unter [Retrieval-Augmented Generation (RAG)](https://www.ruebstudio.de/de/lexikon/rag-retrieval-augmented-generation).

Typische Einsatzfelder im Unternehmen:

- **Interne Auskunft:** Fragen zu Reisekostenrichtlinie, Arbeitsanweisungen oder Qualitätshandbuch.
- **Technischer Service:** Fehlerbilder in Servicetickets, Wartungsanleitungen und Ersatzteillisten nachschlagen.
- **Vertrieb und Angebot:** frühere Angebote, Leistungsbeschreibungen und technische Datenblätter finden.
- **Einkauf und Recht:** Klauseln in Rahmenverträgen und Lieferbedingungen vergleichen.

RAG ist dabei selten das Produkt selbst, sondern ein Baustein in einem Agenten oder Assistenten. Wie ein solcher Agent im Fachbereich aussieht, zeigt die Seite [Wissensmanagement mit KI-Agenten](https://www.ruebstudio.de/de/ki-agenten/wissensmanagement).

## Wie funktioniert ein RAG-System? Die Bausteine im Überblick

Ein RAG-System besteht aus zwei Strecken: einer Aufbereitungsstrecke, die Dokumente einliest, zerlegt und indexiert, und einer Abfragestrecke, die zu jeder Frage passende Abschnitte sucht, ordnet und dem Modell übergibt. Dazu kommen Rechteprüfung, Bewertung und Betrieb. Jeder Baustein hat eigene Fehlerquellen, die sich erst im Zusammenspiel zeigen.

### Ingestion: Dokumente einlesen und bereinigen

Am Anfang steht die Frage, welche Quellen überhaupt angebunden werden: SharePoint-Bibliotheken, Fileserver, Ticketsystem, Wiki, ERP-Anhänge. Jede Quelle braucht einen Konnektor, der Inhalte, Metadaten (Autor, Datum, Version, Ablageort) und Zugriffsrechte mitliefert.

Danach werden Dateien in Text umgewandelt. Hier entscheidet sich viel: Ein PDF mit Tabellen, ein eingescannter Lieferschein und eine Excel-Preisliste brauchen jeweils andere Parser. Tabellen, die beim Umwandeln zu Fließtext zerfallen, liefert später keine Suche mehr korrekt zurück. Gescannte Dokumente brauchen eine Texterkennung, deren Qualität Sie stichprobenhaft prüfen sollten.

### Chunking: Dokumente in Abschnitte zerlegen

Ganze Dokumente sind zu lang für eine präzise Suche, deshalb werden sie in Abschnitte („Chunks") zerlegt. Bewährt hat sich, an der Struktur des Dokuments zu schneiden, also an Überschriften, Absätzen oder Tabellen, statt stur nach Zeichenzahl.

Das Kernproblem: Ein Abschnitt verliert beim Herauslösen seinen Zusammenhang. Der Satz „Die Frist beträgt 14 Tage" sagt ohne Überschrift und Dokumenttitel nichts darüber, welche Frist gemeint ist. Anthropic hat dafür das Verfahren [Contextual Retrieval](https://www.anthropic.com/news/contextual-retrieval) beschrieben: Vor dem Indexieren bekommt jeder Abschnitt eine kurze, automatisch erzeugte Erläuterung seines Zusammenhangs vorangestellt. Laut [Anthropic](https://www.anthropic.com/news/contextual-retrieval) sank die Fehlerquote der Top-20-Suche in den dortigen Tests mit kontextualisierten Embeddings und kontextualisiertem BM25 um 49 %, mit zusätzlichem Reranking um 67 %. Das sind Herstellerzahlen auf deren Testdaten; auf Ihren Dokumenten müssen Sie selbst messen.

### Embeddings und Index

Jeder Abschnitt wird mit einem Embedding-Modell in einen Vektor übersetzt, der seine Bedeutung abbildet. Ähnliche Inhalte liegen im Vektorraum nahe beieinander, auch wenn sie andere Wörter verwenden. Parallel dazu sollte ein klassischer Volltextindex entstehen, denn beide Suchverfahren ergänzen sich.

Wichtig für den Betrieb: Wer das Embedding-Modell wechselt, muss den gesamten Bestand neu einbetten. Legen Sie Modell und Version deshalb bewusst fest und speichern Sie sie im Index mit.

### Suche: hybrid statt nur Vektor

Reine Vektorsuche findet inhaltlich Ähnliches, scheitert aber oft an exakten Begriffen. Die [Dokumentation von Azure AI Search](https://learn.microsoft.com/en-us/azure/search/hybrid-search-overview) nennt als Beispiele Produktcodes, Fachjargon, Datumsangaben und Personennamen, bei denen Stichwortsuche besser abschneidet. Hybride Suche führt beide Abfragen parallel aus und führt die Ergebnislisten zusammen.

Ein verbreitetes Verfahren dafür ist Reciprocal Rank Fusion (RRF). Jedes Dokument erhält je Ergebnisliste den Wert 1/(Rang + k), die Werte werden addiert; laut [Microsoft-Dokumentation zu RRF](https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking) funktioniert ein kleiner Wert wie k = 60 gut. Dokumente, die in beiden Listen weit oben stehen, landen damit vorn. Für Artikelnummern wie „A-4711-03" oder Normbezeichnungen ist dieser Baustein im Industrieumfeld fast immer Pflicht.

### Reranking und Kontextaufbau

Ein Reranker bewertet die obersten Treffer der Suche noch einmal genauer, Frage und Abschnitt gemeinsam betrachtet. Er ist langsamer als die Suche, arbeitet aber nur auf wenigen Dutzend Kandidaten und verbessert die Reihenfolge oft deutlich.

Danach wird der Kontext für das Modell zusammengestellt. Mehr ist dabei nicht automatisch besser: [Liu et al.](https://arxiv.org/abs/2307.03172) zeigen, dass Sprachmodelle Informationen am Anfang und Ende eines langen Kontexts besser nutzen als in der Mitte. Wenige, gut sortierte Abschnitte mit Quellenangabe sind meist hilfreicher als zwanzig mittelmäßige.

### Generierung mit Quellen

Das Modell bekommt Frage, Abschnitte und eine klare Anweisung: nur auf Basis der Quellen antworten, jede Aussage mit Quelle belegen und offen sagen, wenn die Quellen keine Antwort hergeben. Die Quellenangabe ist kein Schmuck, sondern die wichtigste Prüfmöglichkeit für Nutzerinnen und Nutzer.

## Welche RAG-Varianten gibt es und wann passt welche?

Es gibt nicht „das" RAG-System, sondern eine Bandbreite von einfacher Suche mit Antwort bis zu Agenten, die selbst entscheiden, wann und wo sie suchen. Die Wahl hängt vor allem von Datenmenge, Fragetypen, Rechtemodell und Fehlertoleranz ab. Die folgende Landkarte hilft bei der Einordnung.

| Situation | Passende Variante | Warum |
|---|---|---|
| Wenig, stabiles Wissen, alle dürfen alles sehen | Alles direkt in den Kontext, kein RAG | Weniger Bausteine, weniger Fehlerquellen |
| Großer Dokumentbestand, einfache Nachschlagefragen | Klassisches RAG mit hybrider Suche | Gute Treffer bei überschaubarem Aufwand |
| Fragen über mehrere Dokumente oder Systeme hinweg | Agentic RAG | Der Agent plant mehrere Suchschritte |
| Unterschiedliche Leserechte je Abteilung | RAG mit durchgereichten Berechtigungen | Antworten dürfen nur sichtbare Quellen nutzen |
| Fester Stil, Fachsprache, Ausgabeformat | Fine-Tuning ergänzend zu RAG | Fine-Tuning ändert Verhalten, nicht Wissensstand |

**Kein RAG:** Anthropic weist im [Beitrag zu Contextual Retrieval](https://www.anthropic.com/news/contextual-retrieval) darauf hin, dass sich eine Wissensbasis unter etwa 200.000 Token oft einfach vollständig in den Prompt geben lässt. Das ist ehrlicher als ein RAG-System, das eine Handvoll Dokumente durchsucht.

**Klassisches RAG:** Eine Suche pro Frage, feste Pipeline. Gut für Nachschlagefragen, deren Antwort in einem oder zwei Abschnitten steht. Schwach bei Fragen wie „Welche Lieferanten haben in den letzten drei Jahren Preiserhöhungen angekündigt?", weil die Antwort über viele Dokumente verstreut ist.

**Agentic RAG:** Hier ist die Suche ein Werkzeug, das ein Agent selbst aufruft. Er formuliert Suchanfragen um, sucht in mehreren Quellen und prüft, ob die Treffer reichen. Das erhöht Trefferquote und Flexibilität, kostet aber Laufzeit und macht das Verhalten schwerer vorhersagbar. Ein eigener Artikel zu Agentic RAG vertieft, wann sich dieser Mehraufwand lohnt.

**RAG mit Berechtigungen:** Sobald Dokumente nicht für alle sichtbar sind, muss die Suche die Rechte der fragenden Person berücksichtigen, und zwar vor der Antwort, nicht danach. Wie sich SharePoint- und Fileserver-Rechte technisch durchreichen lassen, behandelt ein eigener Fachartikel.

**Fine-Tuning statt oder zusätzlich zu RAG:** Fine-Tuning verändert, wie ein Modell schreibt und reagiert, nicht zuverlässig, was es über Ihre aktuellen Dokumente weiß. Die genaue Abwägung beider Wege folgt in einem eigenen Vergleich.

## Welche Voraussetzungen braucht ein RAG-System?

Die wichtigste Voraussetzung ist nicht die Technik, sondern ein Dokumentbestand, auf den man sich verlassen kann: aktuell, ohne widersprüchliche Versionen und mit klaren Zuständigkeiten. Dazu kommen Zugriff auf die Quellsysteme mit Rechteinformationen, eine Betriebsumgebung für Index und Modell und Menschen, die Testfragen und Bewertungen liefern.

**Daten:**

- Ein abgegrenzter Startbestand, etwa die Wartungsanleitungen einer Produktlinie statt „alles auf dem Fileserver".
- Klarheit über gültige Versionen. Liegen drei Fassungen derselben Richtlinie im Index, zitiert das System womöglich die falsche.
- Metadaten wie Gültigkeitsdatum, Dokumentart und Verantwortliche, nach denen sich filtern lässt.

**Systeme:**

- Lesezugriff auf die Quellsysteme über Schnittstellen, die auch Berechtigungen liefern.
- Ein Suchsystem, das Volltext und Vektoren kombiniert und Filter auf Metadaten erlaubt.
- Eine Entscheidung, wo das Sprachmodell läuft: Cloud-API, Cloud in einer EU-Region oder eigene Server. Was eigene Infrastruktur bedeutet, beschreibt die Seite [souveräne KI](https://www.ruebstudio.de/de/souveraene-ki).

**Organisation:**

- Fachleute, die realistische Fragen und richtige Antworten liefern.
- Eine verantwortliche Stelle für Inhalte, die veraltete Dokumente aussortiert.
- Bei Mitbestimmung: frühzeitige Einbindung des Betriebsrats, wenn Nutzungsdaten protokolliert werden.

## Wie gehen Sie beim Aufbau eines RAG-Systems vor?

Bewährt hat sich ein schrittweises Vorgehen: zuerst Fragen und Erfolgskriterien festlegen, dann einen kleinen Bestand sauber aufbereiten, messen, verbessern und erst danach erweitern. Wer mit dem gesamten Fileserver beginnt, kann Fehler kaum noch einer Ursache zuordnen.

1. **Fragen sammeln.** Lassen Sie Fachleute 50 bis 100 echte Fragen mit erwarteter Antwort und Fundstelle aufschreiben. Dieser Testsatz ist Ihr wichtigstes Werkzeug.
2. **Startbestand festlegen.** Ein Bereich, eine Quelle, klare Versionen.
3. **Aufbereitung bauen.** Parser je Dateityp, strukturbasiertes Chunking, Metadaten und Rechte mitführen.
4. **Hybride Suche einrichten.** Volltext und Vektoren, Zusammenführung zum Beispiel über RRF, optional Reranking.
5. **Getrennt messen.** Prüfen Sie zuerst, ob die richtige Fundstelle unter den Treffern ist, und erst danach die Antwortqualität. Werkzeuge wie [Ragas](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/) bieten dafür Kennzahlen wie Context Recall, Context Precision und Faithfulness; letztere misst, wie gut die Aussagen einer Antwort durch den gefundenen Kontext gedeckt sind.
6. **Gezielt verbessern.** Fehlende Fundstellen deuten auf Aufbereitung oder Suche, falsche Antworten trotz richtiger Fundstelle auf Prompt oder Modell.
7. **Pilot mit echten Nutzern.** Feedback-Knopf, Protokoll der Fragen ohne Antwort, wöchentliche Auswertung.
8. **Erweitern.** Neue Quellen erst aufnehmen, wenn der Testsatz für die bestehenden stabil grün ist.

In unserem eigenen Betrieb hat sich vor allem Schritt 5 als entscheidend erwiesen: Ohne getrennte Messung von Suche und Antwort diskutiert man über Modelle, obwohl das Problem in der PDF-Umwandlung liegt.

## Wo liegen die Grenzen und Risiken von RAG?

RAG macht Antworten überprüfbarer, aber nicht fehlerfrei. Die häufigsten Probleme sind schlechte Aufbereitung, veraltete oder widersprüchliche Dokumente, fehlende Rechteprüfung und manipulierte Inhalte. Dazu kommt, dass ein RAG-System Pflege braucht: Ein Index, der nicht mit den Quellen mitwächst, liefert nach einigen Monaten veraltetes Wissen.

**Falsche oder fehlende Fundstellen.** Findet die Suche nicht den richtigen Abschnitt, antwortet das Modell aus dem, was es bekommen hat, oder aus seinem allgemeinen Wissen. Die Antwort klingt dann trotzdem plausibel. Gegenmittel: Anweisung, bei fehlender Grundlage nicht zu antworten, und Quellenangabe bei jeder Aussage.

**Veraltete und widersprüchliche Inhalte.** RAG bringt die Qualität Ihrer Ablage gnadenlos ans Licht. Ohne Versions- und Gültigkeitsmetadaten kann das System nicht entscheiden, welche Fassung gilt.

**Zugriffsrechte.** Das [OWASP-Projekt nennt unter LLM08:2025 „Vector and Embedding Weaknesses"](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/) unberechtigten Zugriff, Datenabfluss zwischen Mandanten oder Abteilungen und manipulierte Wissensquellen als zentrale Risiken. Empfohlen wird ein berechtigungsbewusster Vektorspeicher mit fein granularen Zugriffskontrollen. Ein gemeinsamer Index für alle mit nachträglicher Filterung in der Oberfläche reicht nicht.

**Indirekte Prompt Injection.** Dokumente können Anweisungen enthalten, die das Modell befolgt, etwa versteckter Text in einer Lieferanten-PDF. [OWASP LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) beschreibt genau diesen Weg über abgerufene Inhalte. Gefährlich wird das besonders, wenn der Agent nicht nur antwortet, sondern auch Aktionen auslösen darf.

**Kosten und Laufzeit.** Kontextualisierung, Reranking und mehrstufige Agentensuche verbessern die Treffer, kosten aber Rechenzeit und Modellaufrufe. Messen Sie, welcher Baustein auf Ihren Daten wirklich etwas bringt.

**Rechtliche Fragen.** Wo personenbezogene Daten im Index landen, gelten Datenschutzpflichten wie bei jeder anderen Verarbeitung. Ein RAG-System ist datenschutzkonform betreibbar, wenn Speicherort, Löschkonzept und Zugriffe geklärt sind. Dieser Abschnitt ist eine Orientierung, keine Rechtsberatung.

## Wie fangen Sie mit RAG im Unternehmen an?

Beginnen Sie mit einer klar umrissenen Frage aus einem Fachbereich, einem begrenzten Dokumentbestand und einem Testsatz aus echten Fragen. Erst wenn Suche und Antworten auf diesem Bestand messbar stabil sind, lohnt es sich, Quellen, Nutzergruppen oder Agentenfunktionen zu erweitern.

Konkret heißt das für die ersten Wochen:

- Einen Anwendungsfall wählen, bei dem falsche Antworten ärgerlich, aber nicht gefährlich sind, etwa interne Auskünfte statt Sicherheitsanweisungen.
- Die Quellen und deren Rechtemodell aufnehmen, bevor die erste Zeile Code entsteht.
- Entscheiden, ob Daten das Haus verlassen dürfen, denn davon hängen Modell- und Infrastrukturwahl ab.
- Einen Testsatz anlegen und für jede Änderung neu messen.

Wie RAG in konkrete Fachagenten eingebettet wird, etwa für Service, Vertrieb oder Angebotserstellung, zeigt die Übersicht zu [KI-Agenten für Unternehmen](https://www.ruebstudio.de/de/ki-agenten). Weitere Grundlagenartikel finden Sie im Bereich [Wissen](https://www.ruebstudio.de/de/wissen) und im [Lexikon](https://www.ruebstudio.de/de/lexikon).

## Häufige Fragen

### Brauchen wir für RAG eine eigene Vektordatenbank?

Nicht zwingend. Viele vorhandene Suchsysteme und Datenbanken können inzwischen Vektoren speichern und mit Volltextsuche kombinieren. Entscheidend ist, dass Volltext, Vektoren, Metadaten und Rechte gemeinsam abgefragt werden können.

### Ab welcher Datenmenge lohnt sich RAG überhaupt?

Passt das gesamte Wissen dauerhaft in das Kontextfenster des Modells, ist es oft einfacher, alles direkt mitzugeben. RAG wird nötig, wenn der Bestand dafür zu groß ist, sich häufig ändert oder unterschiedliche Personen unterschiedliche Teile sehen dürfen.

### Wie lange dauert ein erster RAG-Prototyp?

Ein Prototyp auf einem eng abgegrenzten Dokumentbestand ist meist schnell gebaut. Die eigentliche Arbeit steckt in Datenaufbereitung, Rechten, Testfragen und Betrieb, und deren Aufwand hängt stark von Ihrer Dokumentenlandschaft ab.

### Kann ein RAG-System komplett auf eigenen Servern laufen?

Ja. Parser, Embedding-Modell, Suchindex und Sprachmodell lassen sich auf eigener Hardware betreiben, sodass keine Dokumente das Haus verlassen. Der Preis dafür ist ein höherer Betriebsaufwand.

## Quellen

- [Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401)](https://arxiv.org/abs/2005.11401)
- [Anthropic: Introducing Contextual Retrieval (19.09.2024)](https://www.anthropic.com/news/contextual-retrieval)
- [Microsoft Learn: Hybrid search overview – Azure AI Search](https://learn.microsoft.com/en-us/azure/search/hybrid-search-overview)
- [Microsoft Learn: Hybrid search scoring (RRF) – Azure AI Search](https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking)
- [Liu et al.: Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172)](https://arxiv.org/abs/2307.03172)
- [OWASP Top 10 for LLM Applications: LLM08:2025 Vector and Embedding Weaknesses](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/)
- [OWASP Top 10 for LLM Applications: LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/)
- [Ragas Documentation: Available Metrics](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/)