Zum Inhalt springen

Halluzination: Definition und Bedeutung für Unternehmen

Eine Halluzination ist eine Ausgabe eines KI-Modells, die überzeugend klingt, aber sachlich falsch oder durch nichts belegt ist. Das NIST-Profil für generative KI (NIST AI 600-1) nennt das Phänomen „Confabulation“ und beschreibt es als selbstsicher vorgetragene, aber fehlerhafte Inhalte, die Nutzer in die Irre führen können. Typische Beispiele sind erfundene Normnummern, nicht existierende Artikelnummern oder ein Zitat aus einem Vertrag, das so nicht im Vertrag steht.

Wie entsteht eine Halluzination?

Ein Sprachmodell (LLM) erzeugt Text, der statistisch wahrscheinlich ist, nicht Text, der geprüft wahr ist. Fehlt ihm das Wissen, formuliert es trotzdem eine flüssige Antwort. Hinzu kommt, dass Training und Bewertung von Modellen das Raten belohnen: Wer bei Unsicherheit eine Antwort gibt, schneidet in vielen Tests besser ab als ein Modell, das „weiß ich nicht“ sagt.

Diesen zweiten Punkt beschreiben Kalai et al. in „Why Language Models Hallucinate“ (2025): Die meisten gängigen Benchmarks geben für eine Enthaltung keine Punkte, also lohnt sich für ein Modell das Raten. Für Unternehmen folgt daraus zweierlei:

  • Seltene Fakten sind riskant. Je spezieller eine Information ist, etwa eine interne Preisregel oder eine Seriennummer, desto weniger kann das Modell sie aus dem Training kennen.
  • Selbstsicherheit ist kein Qualitätsmerkmal. Eine falsche Antwort klingt genauso sicher wie eine richtige.

Welche Gegenmittel helfen im Unternehmen?

Statt pauschal vor KI zu warnen, lässt sich das Risiko technisch und organisatorisch begrenzen. Wirksam sind drei Bausteine, die sich ergänzen: Grounding auf eigene Quellen, eine Quellenpflicht für jede Aussage und Evals, die das Verhalten regelmäßig messen. Keiner davon reicht allein.

  • Grounding: Das Modell antwortet nur auf Basis mitgelieferter Dokumente statt aus seinem Trainingswissen. Ein verbreitetes Verfahren dafür ist Retrieval-Augmented Generation (RAG), bei dem vor jeder Antwort passende Textstellen gesucht werden.
  • Quellenpflicht: Jede Aussage wird mit einem wörtlichen Zitat oder einer Fundstelle belegt. Die Dokumentation von Anthropic empfiehlt, das Modell ausdrücklich „ich weiß es nicht“ sagen zu lassen, bei langen Dokumenten zuerst wörtliche Zitate herauszuziehen und Aussagen ohne belegendes Zitat zurückzuziehen.
  • Evals: Ein fester Satz von Testfragen mit bekannten Antworten wird bei jeder Änderung an Prompt, Modell oder Datenbasis erneut durchlaufen. So fällt auf, wenn ein System häufiger rät als vorher.

Dazu kommen einfache Regeln im Prozess: Ein KI-Agent, der Angebote vorbereitet oder Tickets bearbeitet, sollte bei fehlender Grundlage abbrechen und nach dem Prinzip Human-in-the-Loop an einen Menschen übergeben, statt eine Lücke zu füllen. Aussagen mit Folgen, etwa Preise, Fristen oder Sicherheitshinweise, gehören vor der Freigabe in eine Prüfung.

Worauf sollten Sie achten?

Halluzinationen lassen sich verringern, aber nicht ausschließen; darauf weist auch Anthropic in der genannten Dokumentation hin. Entscheidend ist daher, wo eine falsche Aussage Schaden anrichten kann, und ob sie dort erkannt wird, bevor jemand danach handelt.

Prüfen Sie bei jedem KI-Einsatz drei Fragen: Woher stammt die Information, die das System ausgibt? Kann ein Mensch die Quelle mit einem Klick nachprüfen? Und was passiert, wenn das System nichts Passendes findet? Ein System, das in diesem Fall offen „keine Grundlage gefunden“ meldet, ist im Betrieb wertvoller als eines, das immer eine Antwort hat. Weitere Begriffe rund um KI-Agenten finden Sie im KI-Lexikon.

Häufige Fragen

Lassen sich Halluzinationen vollständig verhindern?

Nein. Auch Modellanbieter wie Anthropic weisen darauf hin, dass Gegenmaßnahmen Halluzinationen verringern, aber nicht beseitigen. Kritische Aussagen müssen deshalb geprüft werden, bevor sie Folgen haben.

Ist eine Halluzination ein Softwarefehler?

Nicht im klassischen Sinn. Das Modell arbeitet wie vorgesehen und erzeugt einen wahrscheinlichen Text, nur ist dieser inhaltlich falsch. Deshalb hilft kein Bugfix, sondern ein System, das Aussagen an Quellen bindet und prüft.

Warum ist das bei KI-Agenten heikler als bei einem Chat?

Ein Agent handelt auf Basis seiner Ausgabe, etwa indem er ein Ticket schließt oder einen Wert in ein Formular schreibt. Eine falsche Annahme wird so zur falschen Handlung, die niemand mehr gelesen hat.

Was ist der Unterschied zwischen Halluzination und Konfabulation?

Inhaltlich keiner. Das US-amerikanische NIST verwendet in seinem Profil für generative KI den Begriff Konfabulation und nennt Halluzination als umgangssprachliche Bezeichnung dafür.

Quellen

  1. NIST AI 600-1: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile (Juli 2024) nvlpubs.nist.gov
  2. Kalai, Nachum, Vempala, Zhang: Why Language Models Hallucinate (arXiv:2509.04664, September 2025) arxiv.org
  3. Anthropic Claude Docs: Reduce hallucinations platform.claude.com