Zum Inhalt springen

Wissensagent im Unternehmen: internes Wissen per KI nutzbar machen

In vielen mittelständischen Unternehmen liegt das entscheidende Wissen verstreut: in Netzlaufwerken mit gewachsener Ordnerstruktur, in SharePoint-Bibliotheken, in Ticketsystemen, im ERP und in den Köpfen einiger erfahrener Kolleginnen und Kollegen. Wer eine Frage hat, sucht lange oder fragt herum. Ein Wissensagent soll genau diese Lücke schließen. Dieser Überblick zeigt, aus welchen Bausteinen er besteht, was er voraussetzt und wo er an Grenzen stößt.

Was ist ein Wissensagent und wofür wird er eingesetzt?

Ein Wissensagent ist ein KI-System, das Fragen von Mitarbeitenden in natürlicher Sprache beantwortet und sich dabei auf die eigenen Dokumente und Systeme des Unternehmens stützt. Er sucht passende Textstellen, formuliert daraus eine Antwort und nennt die Quellen, damit jede Aussage nachprüfbar bleibt.

Der Unterschied zur klassischen Volltextsuche: Die Suche liefert eine Trefferliste, der Agent liefert eine Antwort. Statt zwanzig PDFs mit dem Wort „Drehmoment" bekommt die Servicetechnikerin den konkreten Anzugswert aus der aktuellen Montageanleitung, mit Link auf Seite und Dokumentversion.

Typische Fragen, die ein Wissensagent beantworten soll:

  • „Welche Prüfintervalle gelten für Anlagentyp B laut aktueller Wartungsvorschrift?"
  • „Wie haben wir die Reklamation zu Charge 4711 damals gelöst?"
  • „Welche Zahlungsbedingungen stehen im Rahmenvertrag mit dem Lieferanten?"
  • „Wie beantrage ich Bildungsurlaub, und wer gibt ihn frei?"

Ein Wissensagent ist damit vor allem ein Werkzeug für Einarbeitung, Service, Vertrieb, Qualität und interne Verwaltung. Er ist kein Ersatz für ein Dokumentenmanagementsystem und keine neue Ablage, sondern eine Frageschicht über den bestehenden Ablagen.

Wie funktioniert ein Wissensagent?

Technisch beruht fast jeder Wissensagent auf Retrieval-Augmented Generation (RAG): Zu jeder Frage werden passende Textabschnitte aus einem Index gesucht und dem Sprachmodell als Kontext mitgegeben. Das Modell selbst wird dafür nicht neu trainiert. Um diesen Kern herum liegen Konnektoren, Rechteprüfung, Pflegeprozesse und Betrieb.

Das Prinzip geht auf eine Arbeit von Lewis et al. aus dem Jahr 2020 zurück, die ein Sprachmodell mit einem durchsuchbaren Textindex kombiniert. Wie RAG im Detail aufgebaut ist, von Chunking über Embeddings bis Reranking, beschreibt der Artikel RAG im Unternehmen: Architektur, Bausteine und Fallstricke. Für den Wissensagenten als Ganzes sind fünf Bausteine entscheidend:

  1. Konnektoren zu den Quellen. Sie lesen Dokumente aus Netzlaufwerk, SharePoint, Confluence, Ticketsystem oder ERP und erkennen Änderungen. Offene Standards wie das Model Context Protocol (MCP), ein quelloffener Standard für die Anbindung von KI-Anwendungen an externe Systeme, vereinfachen die Anbindung von Datenquellen und Werkzeugen.
  2. Aufbereitung und Index. Texte werden aus PDFs, Office-Dateien und E-Mails extrahiert, in Abschnitte zerlegt, mit Metadaten wie Dokumenttyp, Version, Gültigkeit und Berechtigungen versehen und in einen Suchindex geschrieben.
  3. Rechteprüfung. Bei jeder Anfrage filtert der Agent die Treffer nach den Rechten der fragenden Person. Ohne diesen Schritt wird jede Antwort zum Datenleck.
  4. Antwortgenerierung. Das Sprachmodell formuliert aus den gefundenen Abschnitten eine Antwort, nennt die Quellen und sagt ausdrücklich, wenn die Quellen keine Antwort hergeben.
  5. Betrieb und Rückmeldung. Protokolle, Bewertungen durch Nutzende und regelmäßige Testfragen zeigen, wo der Agent danebenliegt und welche Inhalte fehlen oder veraltet sind.

Ein Agent im engeren Sinn wird das System, sobald es mehr kann als suchen und antworten: zum Beispiel gezielt im ERP nachschlagen, eine Rückfrage stellen, wenn die Frage mehrdeutig ist, oder mehrere Quellen nacheinander abfragen und die Ergebnisse zusammenführen.

Welche Varianten von Wissensagenten gibt es?

Wissensagenten unterscheiden sich vor allem darin, welche Quellen sie abdecken, wer sie nutzt und wo sie laufen. Drei Varianten kommen im Mittelstand am häufigsten vor: der eingebaute Assistent einer Bürosuite, der eigene Agent über mehrere Systeme und der vollständig lokal betriebene Agent.

Eingebauter Assistent der Bürosuite. Wer ohnehin Microsoft 365 nutzt, kann Microsoft Copilot einsetzen. Laut Microsoft-Dokumentation greift Copilot über Microsoft Graph auf E-Mails, Chats und Dokumente zu und zeigt nur Daten, für die die jeweilige Person mindestens Leserechte hat; externe Systeme lassen sich über Graph Connectors oder Agenten anbinden. Der Vorteil ist der geringe Einführungsaufwand. Die Grenze liegt dort, wo wichtige Quellen außerhalb der Suite liegen oder Antworten fachlich eng geführt werden müssen.

Eigener Wissensagent über mehrere Systeme. Hier bestimmt das Unternehmen selbst, welche Quellen angebunden werden, wie Dokumente aufbereitet werden, welches Modell antwortet und wie Antworten formuliert sein müssen. Das lohnt sich, wenn Fachsysteme wie ERP, PLM oder Ticketsystem den Kern des Wissens bilden oder wenn der Agent in einen bestimmten Prozess eingebettet werden soll, etwa in den technischen Service. Eine Übersicht solcher fachlichen Agenten finden Sie unter KI-Agenten für einzelne Fachbereiche, konkret für Dokumente und Wissen unter Wissensmanagement-Agent.

Lokal betriebener Wissensagent. Wenn Konstruktionsdaten, Verträge oder Personalunterlagen das Haus nicht verlassen sollen, laufen Index und Sprachmodell auf eigener Hardware. Wann sich das rechnet und welche Hardware-Klasse dafür nötig ist, beschreibt der Artikel Lokale KI im Unternehmen: Wann sich KI im eigenen Haus lohnt.

Die Varianten schließen sich nicht aus. Häufig ist eine Kombination sinnvoll: der Suite-Assistent für E-Mail und Office-Alltag, ein eigener Agent für das Fachwissen, das in Spezialsystemen steckt.

Welche Voraussetzungen braucht ein Wissensagent?

Ein Wissensagent ist nur so gut wie die Inhalte und Rechte, auf die er zugreift. Vor der Technik stehen drei Fragen: Wo liegt das Wissen, das gebraucht wird? Wer darf was sehen? Und wer ist dafür verantwortlich, dass es stimmt? Erst danach lohnt die Auswahl von Modell und Werkzeugen.

Daten und Quellen

  • Inventur der Quellen. Welche Ablagen gibt es wirklich, welche werden noch gepflegt, welche sind Archiv? Ein Netzlaufwerk mit zwanzig Jahren Ordnergeschichte ist ohne Aufräumen eine schlechte Quelle.
  • Dokumentstatus. Der Agent muss erkennen können, welche Version gilt. Entwürfe, abgelöste Fassungen und Kopien führen sonst zu widersprüchlichen Antworten.
  • Lesbare Formate. Gescannte PDFs ohne Texterkennung, Zeichnungen und Tabellen in Bildform sind für einen Suchindex unsichtbar, solange sie nicht aufbereitet werden.
  • Implizites Wissen. Was nur in Köpfen existiert, kann kein Agent finden. Wer Erfahrungswissen sichern will, muss es zuerst aufschreiben lassen, etwa als kurze Lösungsberichte nach Serviceeinsätzen.

Systeme und Rechte

  • Identitäten. Der Agent braucht eine verlässliche Zuordnung, wer fragt, typischerweise über das zentrale Verzeichnis (Active Directory oder Entra ID).
  • Durchgereichte Berechtigungen. Die Rechte aus den Quellsystemen müssen im Index abgebildet und bei jeder Anfrage angewendet werden. Microsoft weist in der Copilot-Dokumentation ausdrücklich darauf hin, dass die Berechtigungsmodelle der Dienste wie SharePoint richtig gesetzt sein müssen, damit die richtigen Personen die richtigen Inhalte sehen. Das gilt für jeden Wissensagenten: Zu weit freigegebene Ordner werden durch den Agenten plötzlich sehr leicht auffindbar.
  • Schnittstellen. Für Fachsysteme wie ERP oder Ticketsystem braucht es eine lesende Schnittstelle mit eigenem technischem Benutzer und klar begrenzten Rechten.

Organisation

  • Inhaltsverantwortliche. Für jede Quelle ist jemand zuständig, der veraltete Dokumente markiert und Lücken schließt.
  • Mitbestimmung und Datenschutz. Wenn der Agent Nutzungsprotokolle schreibt, ist das in Deutschland oft ein Thema für den Betriebsrat und den Datenschutz. Diese Fragen früh zu klären, spart spätere Umbauten. Das ist keine Rechtsberatung; die Einordnung im Einzelfall gehört zu Fachleuten.
  • Erwartungen. Ein Wissensagent beantwortet Fragen auf Basis vorhandener Dokumente. Er trifft keine Entscheidungen und ersetzt keine Fachfreigabe.

Wie führt man einen Wissensagenten in Schritten ein?

Bewährt hat sich ein schrittweises Vorgehen: mit einem eng umrissenen Fachbereich und einer überschaubaren Zahl an Quellen beginnen, Antwortqualität mit echten Fragen messen, Pflegeprozesse etablieren und erst dann weitere Bereiche anbinden. Ein unternehmensweiter Start über alle Laufwerke gleichzeitig scheitert meist an Datenqualität und Rechten.

  1. Anwendungsfall wählen. Ein Bereich mit vielen wiederkehrenden Fragen und gut abgegrenzten Dokumenten, zum Beispiel Wartungsanleitungen im Service oder Richtlinien in der Personalabteilung.
  2. Testfragen sammeln. Vor dem ersten Code eine Liste mit fünfzig bis hundert echten Fragen samt erwarteter Antwort und Quelle anlegen. Sie ist der Maßstab für jede spätere Änderung.
  3. Quellen aufräumen und anbinden. Gültige Dokumente auswählen, Dubletten und Entwürfe ausschließen, Metadaten ergänzen, Konnektoren einrichten.
  4. Rechte abbilden und testen. Mit Testkonten aus verschiedenen Abteilungen prüfen, dass niemand Antworten aus Dokumenten bekommt, die er im Quellsystem nicht öffnen dürfte.
  5. Pilot mit einer kleinen Gruppe. Einige Wochen mit echten Nutzenden, jede Antwort bewertbar, jede Fehlantwort mit Ursache dokumentiert: fehlendes Dokument, falsche Version, schlechter Treffer oder falsche Formulierung.
  6. Pflegeprozess festlegen. Wer reagiert auf „Antwort falsch"-Meldungen, wer ergänzt fehlende Inhalte, wie oft wird der Index aktualisiert?
  7. Ausweiten. Weitere Quellen und Bereiche erst anbinden, wenn die Testfragen des ersten Bereichs stabil beantwortet werden.

In unserem eigenen Betrieb hat sich gezeigt, dass Schritt 2 am häufigsten übersprungen wird und am meisten fehlt: Ohne festen Fragenkatalog lässt sich nicht sagen, ob eine Änderung am Chunking, am Modell oder am Prompt die Antworten besser oder schlechter gemacht hat.

Welche Grenzen und Risiken hat ein Wissensagent?

Ein Wissensagent kann falsch antworten, veraltete Inhalte verbreiten, vertrauliche Informationen an die falschen Personen ausgeben und durch manipulierte Dokumente beeinflusst werden. Keines dieser Risiken verschwindet durch ein besseres Modell; sie lassen sich nur durch Architektur, Pflege und klare Regeln eingrenzen.

Falsche oder erfundene Antworten. Sprachmodelle formulieren auch dann flüssig, wenn die gefundenen Abschnitte die Frage nicht abdecken. Gegenmittel: Antworten nur mit Quellenangabe zulassen, das Modell anweisen, fehlende Belege offen zu sagen, und kritische Antworten, etwa zu Sicherheitsvorschriften, immer mit Link auf das Originaldokument ausgeben.

Veraltetes Wissen. Wenn eine abgelöste Arbeitsanweisung im Index bleibt, wird sie zitiert. Versionsstand und Gültigkeit gehören deshalb in die Metadaten, und der Index muss Löschungen und Änderungen in den Quellen nachziehen.

Überfreigaben. Der Agent macht sichtbar, was vorher nur schwer zu finden war. Ordner, die versehentlich für alle freigegeben sind, werden zum Problem, sobald jemand die richtige Frage stellt. Vor dem Start lohnt deshalb ein Blick auf die Freigaben der angebundenen Quellen.

Manipulierte Inhalte. Das OWASP Gen AI Security Project führt Prompt Injection als ersten Punkt seiner Top 10 für 2025 und beschreibt indirekte Varianten, bei denen ein Modell Eingaben aus externen Quellen wie Websites oder Dateien übernimmt. Für einen Wissensagenten heißt das: Ein präpariertes Dokument im Index kann versuchen, Antworten zu steuern. Je mehr der Agent selbst ausführen darf, desto wichtiger sind Freigabeschritte und eng begrenzte Rechte.

Falsche Erwartungen. Ein Wissensagent findet und erklärt, er entscheidet nicht. Wer ihn als Ersatz für Fachfreigaben, Rechtsauskunft oder Qualitätsprüfung einsetzt, verlagert Verantwortung auf ein System, das sie nicht tragen kann.

Wann ein Wissensagent nicht passt. Wenn kaum etwas dokumentiert ist, die Fragen selten sind oder das Wissen sich täglich ändert und nirgends festgehalten wird, bringt ein Agent wenig. Dann ist zuerst eine Dokumentationsgewohnheit nötig, nicht ein Sprachmodell.

Wie fange ich mit einem Wissensagenten an?

Starten Sie mit einer einfachen Bestandsaufnahme: Welche drei Fragen werden in Ihrem Unternehmen jede Woche immer wieder gestellt, wer beantwortet sie heute, und in welchem Dokument steht die Antwort? Aus diesen Antworten ergeben sich Anwendungsfall, Quellen und Testfragen für einen ersten Piloten.

Hilfreich ist es, die Entscheidung in drei Fragen zu zerlegen:

  • Reicht der eingebaute Assistent? Wenn das relevante Wissen überwiegend in Microsoft 365 liegt und die Rechte dort sauber gepflegt sind, ist der Suite-Assistent ein naheliegender erster Schritt.
  • Braucht es einen eigenen Agenten? Wenn Fachsysteme den Kern bilden, Antworten fachlich geführt werden müssen oder der Agent in einen bestimmten Prozess eingebettet werden soll, führt an einer eigenen Lösung meist kein Weg vorbei.
  • Muss er im eigenen Haus laufen? Wenn Daten das Unternehmen nicht verlassen dürfen, gehören Modell und Index auf eigene Hardware.

Danach geht es um Architektur und Betrieb. Die technischen Grundlagen erklärt der Artikel zu RAG im Unternehmen, die Frage nach dem Betriebsort der Artikel zu lokaler KI im Unternehmen. Wie fachlich zugeschnittene Agenten für Service, Vertrieb oder Wissensmanagement aussehen, zeigt die Übersicht der KI-Agenten nach Fachbereich. Weitere Artikel zu Berechtigungen, zum Vergleich von Copilot, ChatGPT Enterprise und eigenem Agenten sowie zur Datenpflege erscheinen in diesem Themenbereich und werden auf dieser Seite automatisch gelistet.

Stand der Angaben zu Drittprodukten: November 2026.

Häufige Fragen

Braucht ein Wissensagent ein eigenes trainiertes Modell?

In aller Regel nicht. Das Modell bleibt unverändert, das Firmenwissen wird zur Laufzeit aus einem Suchindex geholt und als Kontext mitgegeben.

Was passiert mit Dokumenten, die nur bestimmte Abteilungen sehen dürfen?

Der Agent muss bei jeder Suche die Rechte der fragenden Person anwenden. Was diese Person im Quellsystem nicht öffnen darf, darf auch nicht in den Kontext des Modells gelangen.

Kann ein Wissensagent Wissen aus den Köpfen der Mitarbeitenden erfassen?

Nur, wenn es vorher aufgeschrieben wird. Der Agent kann dabei helfen, etwa durch strukturierte Interviews oder Vorlagen, er ersetzt diesen Schritt aber nicht.

Läuft ein Wissensagent auch ohne Cloud?

Ja. Suchindex und Sprachmodell lassen sich auf eigener Hardware betreiben; der Aufwand liegt dann vor allem bei Betrieb und Modellauswahl.

Quellen

  1. Microsoft Learn: Data, Privacy, and Security for Microsoft Copilot learn.microsoft.com
  2. Model Context Protocol: What is MCP? modelcontextprotocol.io
  3. Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks arxiv.org
  4. OWASP Gen AI Security Project: LLM01:2025 Prompt Injection genai.owasp.org