Human-in-the-Loop: Freigaben und Kontrolle in KI-Agenten
Ein KI-Agent liest nicht nur, er handelt: Er verschickt E-Mails, legt Tickets an, ändert Datensätze im ERP oder löst Bestellungen aus. Je mehr er darf, desto wichtiger wird die Frage, an welcher Stelle ein Mensch draufschaut. Human-in-the-Loop (HITL) ist die Antwort darauf — aber nur, wenn Autonomiestufen, Technik, Prüfoberfläche und Aufsichtspflicht zusammen geplant werden.
Was bedeutet Human-in-the-Loop bei KI-Agenten?
Human-in-the-Loop heißt: Ein Agent hält an festgelegten Stellen an, legt seinen Vorschlag einem Menschen vor und setzt erst nach dessen Entscheidung fort. Der Mensch kann freigeben, ändern oder ablehnen. Eine kompakte Definition des Begriffs steht im Lexikon-Eintrag Human-in-the-Loop; hier geht es um die Umsetzung im Betrieb.
Wichtig ist die Abgrenzung zu verwandten Begriffen:
- Human-in-the-Loop: Der Mensch ist Teil des Ablaufs. Ohne seine Entscheidung geht es an dieser Stelle nicht weiter.
- Human-on-the-Loop: Der Agent handelt selbstständig, ein Mensch überwacht laufend und kann eingreifen oder stoppen.
- Human-out-of-the-Loop: Der Agent arbeitet vollständig autonom; Menschen sehen nur Protokolle und Auswertungen im Nachhinein.
In der Praxis mischt ein Agent diese Formen. Eine Recherche im Wissensbestand läuft ohne Rückfrage, der Entwurf einer Kundenantwort wird vor dem Versand freigegeben, und das Anlegen einer Gutschrift über einer Betragsgrenze braucht zusätzlich eine zweite Person. HITL ist damit keine Eigenschaft des ganzen Agenten, sondern eine Entscheidung pro Aktion.
Warum reichen Guardrails allein nicht aus?
Guardrails prüfen automatisch, ob Eingaben, Ausgaben und Aktionen bestimmte Regeln einhalten. Sie fangen bekannte Fehlerbilder ab, können aber nicht beurteilen, ob eine fachlich plausible Aktion im konkreten Fall richtig ist. Dafür braucht es menschliches Urteil — HITL ergänzt Guardrails, ersetzt sie aber nicht.
Der Artikel zu Guardrails für KI-Agenten beschreibt die automatischen Prüfschichten: Eingabefilter, Ausgabeprüfung, Rechtebegrenzung für Werkzeuge. Der Unterschied zu diesem Artikel liegt im Prüfer: Guardrails sind Code, der in Millisekunden entscheidet. Human-in-the-Loop ist eine bewusste Unterbrechung, bei der ein Mensch mit Kontext und Verantwortung entscheidet.
Ein Beispiel macht den Unterschied greifbar. Ein Agent im technischen Service schlägt vor, einem Kunden ein Ersatzteil kostenlos zu schicken. Eine Guardrail kann prüfen, ob die Artikelnummer existiert und der Betrag unter einer Grenze liegt. Ob die Kulanz in diesem Fall angemessen ist — etwa weil der Kunde schon dreimal reklamiert hat oder ein Rahmenvertrag etwas anderes vorsieht —, beurteilt besser ein Mensch, der den Kunden kennt.
Sinnvoll ist deshalb eine Arbeitsteilung: Guardrails sortieren das Offensichtliche aus und blockieren verbotene Aktionen hart. Was durchkommt und folgenreich ist, landet zur Freigabe bei einem Menschen.
Wie legt man Autonomiestufen fest?
Autonomiestufen legen pro Aktion fest, ob der Agent allein handeln darf, vorher fragen muss oder die Aktion gar nicht ausführen darf. Entscheidend sind drei Fragen: Wirkt die Aktion nach außen? Lässt sie sich rückgängig machen? Wie hoch ist der mögliche Schaden?
Ein praktikables Raster umfasst vier Stufen:
| Stufe | Bedeutung | Typische Aktionen |
|---|---|---|
| 0 – gesperrt | Agent darf die Aktion nicht ausführen | Zahlungen freigeben, Stammdaten löschen |
| 1 – Vorschlag | Agent erstellt Entwurf, Mensch führt aus | Angebot an Neukunden, Vertragsänderung |
| 2 – Freigabe | Agent führt nach Freigabe selbst aus | Kundenantwort versenden, Ticket schließen |
| 3 – autonom | Agent handelt, Mensch prüft stichprobenartig | Ticket kategorisieren, interne Notiz anlegen |
Die Einstufung sollte nicht nach Gefühl erfolgen, sondern aus einer kurzen Bewertung je Aktion: Wer ist betroffen, was kostet ein Fehler, wie schnell fällt er auf, und lässt er sich korrigieren? Eine interne Notiz im falschen Ticket ist ärgerlich, aber schnell behoben. Eine E-Mail an den falschen Kunden mit vertraulichen Preisen lässt sich nicht zurückholen.
Autonomiestufen sind nicht statisch. Ein sinnvoller Weg ist, neue Agenten konservativ zu starten und einzelne Aktionen erst dann eine Stufe hochzusetzen, wenn das Protokoll über einen längeren Zeitraum zeigt, dass die Vorschläge kaum korrigiert werden. Umgekehrt gehört eine Aktion sofort zurückgestuft, wenn ein ernsthafter Fehler auftritt. In unserem eigenen Betrieb hat sich bewährt, Versand nach außen grundsätzlich auf Stufe 2 zu halten und nur interne, reversible Schritte autonom laufen zu lassen.
Wie funktionieren Freigaben technisch?
Technisch braucht eine Freigabe drei Dinge: einen definierten Haltepunkt im Ablauf, einen gespeicherten Zwischenstand, damit der Agent Stunden später weitermachen kann, und einen Rückkanal, über den die Entscheidung in den Ablauf zurückfließt. Gängige Agent-Frameworks bringen dafür eigene Bausteine mit.
Haltepunkt und Zwischenstand
Ein Agent, der auf eine Freigabe wartet, darf nicht als laufender Prozess im Speicher hängen. Freigaben dauern Minuten bis Tage; in der Zeit wird neu deployt, Server starten neu. Der Zustand muss deshalb dauerhaft gespeichert werden — in einer Datenbank, nicht im Arbeitsspeicher.
So lösen es drei verbreitete Frameworks (Stand November 2026):
- LangGraph: Ein Knoten ruft
interrupt()auf und hält den Graphen an. Laut LangGraph-Dokumentation zu Interrupts ist dafür ein Checkpointer nötig, der den Zustand sichert; fortgesetzt wird mitCommand(resume=...)und derselbenthread_id. Der übergebene Wert wird zum Rückgabewert voninterrupt(). Zu beachten: Beim Fortsetzen startet der Knoten von vorn, Code vor deminterrupt()läuft also erneut. - OpenAI Agents SDK: Werkzeuge werden mit
needs_approvalmarkiert. Steht eine Freigabe aus, hält der Lauf an und listet die offenen Punkte inresult.interruptions. Laut Agents-SDK-Dokumentation lässt sich der Zustand alsRunStateserialisieren, mitapprove()oderreject()entscheiden und anschließend fortsetzen. - Claude Agent SDK: Hier entscheidet eine feste Prüfreihenfolge aus Hooks, Deny-, Ask- und Allow-Regeln sowie Berechtigungsmodus; was dort nicht entschieden wird, landet im Callback
canUseTool. Die Berechtigungsdokumentation warnt ausdrücklich, dass automatisch erlaubte Werkzeuge diesen Callback nie erreichen.
Was der Freigabedatensatz enthalten sollte
Unabhängig vom Framework sollte jede Freigabeanfrage als eigener Datensatz existieren, mit:
- eindeutiger ID und Verweis auf den Agentenlauf,
- Aktion und vollständigen Parametern (Empfänger, Betrag, Text),
- Begründung des Agenten und den Quellen, auf die er sich stützt,
- Autonomiestufe und Regel, die die Freigabe ausgelöst hat,
- zuständiger Person oder Rolle und Frist,
- Entscheidung, Entscheider, Zeitpunkt und gegebenenfalls geänderten Parametern.
from dataclasses import dataclass
from datetime import datetime
@dataclass
class Freigabeanfrage:
anfrage_id: str
lauf_id: str # Verweis auf den gespeicherten Agentenzustand
aktion: str # z. B. "email_senden"
parameter: dict # exakt das, was ausgeführt würde
begruendung: str # Erklärung des Agenten
quellen: list[str] # Belege, auf die sich der Vorschlag stützt
zustaendig: str # Rolle, nicht nur Person
frist: datetime
entscheidung: str | None = None # "freigegeben" | "geaendert" | "abgelehnt"
entschieden_von: str | None = None
entschieden_am: datetime | None = None
Typische technische Fehler
Zwei Fehler tauchen immer wieder auf. Erstens: Die Freigabe prüft einen Entwurf, ausgeführt wird aber eine neu generierte Fassung. Ausgeführt werden darf nur exakt das, was freigegeben wurde. Zweitens: Aktionen werden beim Fortsetzen doppelt ausgeführt, weil der Code vor dem Haltepunkt erneut läuft. Seiteneffekte gehören deshalb hinter den Haltepunkt oder müssen idempotent sein, etwa über eine Vorgangsnummer, die das Zielsystem kein zweites Mal annimmt.
Wie sieht eine gute Prüfoberfläche aus?
Eine gute Prüfoberfläche zeigt in wenigen Sekunden, was der Agent tun will, warum, und was sich gegenüber dem Normalfall unterscheidet. Sie erlaubt Freigeben, Ändern und Ablehnen mit Begründung — und sie liegt dort, wo die zuständige Person ohnehin arbeitet: im Ticketsystem, im Postfach oder im Teams-Kanal.
Was eine Prüfoberfläche leisten sollte:
- Die Aktion im Klartext: „E-Mail an Einkauf der Firma, Betreff …, Anhang Angebot.pdf" statt eines JSON-Blocks.
- Die Begründung und die Belege: Welche Daten hat der Agent gelesen, auf welche Dokumente stützt er sich? Ein Link auf die Quelle spart Rückfragen.
- Die Abweichung: Was ist ungewöhnlich? Ein Rabatt über dem üblichen Rahmen, ein neuer Empfänger, ein ungewöhnlich langer Text.
- Bearbeiten statt nur Ja/Nein: Wer nur ablehnen kann, lehnt seltener ab, weil danach Handarbeit folgt. Wer direkt korrigieren kann, korrigiert.
- Ablehnungsgrund als Pflichtfeld: Die Begründung fließt in die Auswertung und zeigt, wo der Agent systematisch danebenliegt.
Ein unterschätztes Problem ist der sogenannte Automation Bias: die Neigung, Vorschlägen eines Systems zu vertrauen, weil sie meist stimmen. Die KI-Verordnung nennt diese Neigung in Artikel 14 Absatz 4 ausdrücklich als etwas, dessen sich die Aufsichtspersonen bewusst bleiben sollen. Gegenmittel sind weniger, dafür gezieltere Freigaben, eine sichtbare Markierung von Abweichungen und gelegentliche Kontrollfälle, bei denen die Prüfer bewusst einen fehlerhaften Vorschlag vorgelegt bekommen.
Was verlangt die KI-Verordnung zur menschlichen Aufsicht?
Für Hochrisiko-KI-Systeme verlangt die EU-KI-Verordnung, dass Menschen das System während der Nutzung wirksam beaufsichtigen können. Betreiber müssen Aufsichtspersonen mit Kompetenz, Schulung und Befugnis benennen. Viele Agenten im Büroalltag fallen nicht unter Hochrisiko — die Anforderungen sind trotzdem eine brauchbare Messlatte. Die folgenden Punkte sind Orientierung, keine Rechtsberatung.
Artikel 14 beschreibt, was die Aufsicht können muss, soweit angemessen und verhältnismäßig:
- Fähigkeiten und Grenzen des Systems verstehen und seinen Betrieb überwachen, einschließlich Anomalien und Fehlfunktionen,
- sich der Neigung bewusst bleiben, den Ausgaben zu sehr zu vertrauen,
- die Ausgaben richtig interpretieren,
- in jeder Situation entscheiden können, das System nicht zu nutzen oder seine Ausgabe zu übergehen oder rückgängig zu machen,
- in das System eingreifen oder es über eine Stopp-Taste oder ein ähnliches Verfahren sicher anhalten.
Für Betreiber konkretisiert Artikel 26 die Pflichten: Die Aufsicht muss Personen übertragen werden, die über Kompetenz, Schulung und Befugnis verfügen; automatisch erzeugte Protokolle, die der Betreiber kontrolliert, sind mindestens sechs Monate aufzubewahren, sofern anderes Recht nichts anderes vorsieht. Nach den Angaben auf derselben Seite gelten diese Artikel für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027 und nach Anhang I ab dem 2. August 2028.
Für die Architektur folgt daraus: Eine Stopp-Funktion für den gesamten Agenten, ein vollständiges Entscheidungsprotokoll und eine klare Zuordnung der Aufsicht zu benannten Rollen sind keine Kür. Wer sie von Anfang an einplant, muss später nicht nachrüsten — auch wenn der eigene Agent heute nicht als Hochrisiko eingestuft ist.
Welche Voraussetzungen braucht Human-in-the-Loop?
HITL scheitert selten an der Technik, sondern an Organisation: Es muss klar sein, wer freigibt, in welcher Zeit, mit welcher Vertretung und mit welchem Wissen. Dazu kommen ein dauerhafter Speicher für Agentenzustände, Zugriff auf die Kanäle, in denen geprüft wird, und Rechte, die der Agent ohne Freigabe nicht ausweiten kann.
Organisation
- Benannte Rolle je Freigabetyp (zum Beispiel Vertriebsinnendienst für Angebote, Teamleitung für Gutschriften) und eine Vertretungsregel.
- Vereinbarte Reaktionszeiten und eine Regel für abgelaufene Fristen: verfallen lassen oder eskalieren, nie stillschweigend freigeben.
- Schulung der Prüfer zu Stärken und typischen Fehlern des Agenten.
- Bei mitbestimmten Betrieben frühzeitig den Betriebsrat einbinden, weil Freigabeprotokolle Rückschlüsse auf Arbeitsverhalten erlauben.
Technik
- Persistenter Zustand (Datenbank-Checkpointer statt Arbeitsspeicher).
- Rechtekonzept, bei dem der Agent nur die Werkzeuge erhält, die er braucht, und Freigabepflichten nicht selbst umgehen kann.
- Protokollierung jeder Anfrage und Entscheidung, unveränderlich und auswertbar.
- Eine Stopp-Funktion, die alle laufenden und wartenden Vorgänge eines Agenten anhält.
Daten
- Die Quellen, auf die sich der Agent stützt, müssen für den Prüfer abrufbar sein. Eine Begründung, die auf ein nicht zugängliches Dokument verweist, hilft nicht.
Wie führt man Human-in-the-Loop Schritt für Schritt ein?
Am besten beginnt man mit einer Aktionsliste des Agenten, stuft jede Aktion ein, baut die Freigabe an der riskantesten Stelle zuerst und misst danach, wie oft Menschen ändern oder ablehnen. Diese Quote ist die Grundlage, um Stufen später begründet anzupassen.
- Aktionen auflisten. Jedes Werkzeug, das der Agent aufrufen kann, mit Zielsystem und Wirkung (lesen, schreiben, nach außen senden, löschen).
- Autonomiestufen festlegen. Nach dem Raster oben, mit kurzer Begründung je Aktion. Im Zweifel eine Stufe vorsichtiger.
- Haltepunkte bauen. Im gewählten Framework die Freigabe vor jeder Aktion der Stufen 1 und 2 einbauen; harte Sperren für Stufe 0 auf Ebene der Rechte, nicht nur im Prompt.
- Prüfoberfläche anbinden. Im vorhandenen Werkzeug der Prüfer, mit Klartext, Begründung, Abweichung und Bearbeitungsmöglichkeit.
- Protokoll und Stopp einrichten. Jede Entscheidung speichern, Stopp-Funktion testen.
- Pilotbetrieb mit Auswertung. Einige Wochen laufen lassen und auswerten: Anteil geänderter und abgelehnter Vorschläge, Ablehnungsgründe, Wartezeiten.
- Stufen anpassen. Aktionen mit sehr seltenen Korrekturen können eine Stufe hoch, Aktionen mit häufigen Fehlern bleiben oder gehen zurück.
Wie Agenten für konkrete Abläufe wie Angebote, Service oder Wissensmanagement aufgebaut werden, zeigt die Übersicht zu KI-Agenten für Fachabteilungen.
Wo liegen die Grenzen und Risiken?
Human-in-the-Loop schützt nur so gut, wie die Menschen tatsächlich prüfen. Zu viele Freigaben führen zu Routineklicks, zu wenige lassen Fehler durch. Hinzu kommen Wartezeiten, die den Nutzen des Agenten aufzehren, und eine trügerische Sicherheit, wenn die Freigabe technisch umgangen werden kann.
- Freigabemüdigkeit: Wer täglich hundert Vorschläge abnicken soll, prüft keinen davon richtig. Freigaben sind ein knappes Gut und gehören nur vor wirklich folgenreiche Aktionen.
- Verantwortungsverschiebung: Mit der Freigabe übernimmt der Mensch Verantwortung für eine Entscheidung, die er nur teilweise nachvollziehen kann. Das ist nur fair, wenn die Prüfoberfläche ihm die nötigen Informationen gibt.
- Wartezeiten: Ein Agent, der jede Antwort erst nach Stunden versenden darf, ist für zeitkritische Abläufe ungeeignet. Dann ist eher eine engere Aufgabe mit höherer Autonomie sinnvoll als eine breite mit vielen Freigaben.
- Umgehbarkeit: Steht die Freigabepflicht nur im Prompt, kann der Agent sie durch eine manipulierte Eingabe ignorieren. Freigaben müssen im Code und in den Rechten verankert sein.
- Unvollständige Sicht: Der Prüfer sieht den Vorschlag, aber nicht alle Folgeaktionen. Mehrstufige Abläufe brauchen eine Vorschau des gesamten Plans, nicht nur des nächsten Schritts.
Nicht passend ist HITL dort, wo Entscheidungen in Sekunden fallen müssen oder das Volumen so hoch ist, dass keine Prüfung realistisch ist. Dann sind harte automatische Grenzen, Stichproben und nachträgliche Auswertung die ehrlichere Lösung.
Wie fange ich an?
Beginnen Sie mit einem einzigen Agenten und einer einzigen folgenreichen Aktion, etwa dem Versand einer E-Mail nach außen. Bauen Sie dort Haltepunkt, Prüfoberfläche und Protokoll sauber auf und messen Sie vier Wochen lang Änderungs- und Ablehnungsquote. Das Muster überträgt sich danach auf weitere Aktionen.
Hilfreich für den Start:
- Klären Sie, ob der geplante Einsatz unter die Hochrisiko-Kategorien der KI-Verordnung fallen könnte, und holen Sie im Zweifel rechtlichen Rat ein.
- Prüfen Sie, welches Framework Sie nutzen und wie es Haltepunkte und Zustandsspeicherung unterstützt.
- Legen Sie vorab fest, ab welcher Ablehnungsquote eine Aktion zurückgestuft oder der Agent überarbeitet wird.
- Kombinieren Sie die Freigaben mit automatischen Guardrails, damit Menschen nur noch das prüfen, was Maschinen nicht sicher beurteilen können.
Häufige Fragen
Muss jeder Schritt eines KI-Agenten freigegeben werden?
Nein. Lesende Schritte wie Suchen oder Zusammenfassen laufen meist ohne Freigabe. Freigaben gehören vor Aktionen, die nach außen wirken, Geld bewegen oder sich nicht rückgängig machen lassen.
Reicht ein Freigabe-Button, um die KI-Verordnung zu erfüllen?
Nicht automatisch. Artikel 14 verlangt unter anderem, dass die Aufsicht Grenzen des Systems versteht, Ausgaben richtig deutet und das System stoppen kann. Das ist eine Orientierung, keine Rechtsberatung.
Was passiert, wenn niemand rechtzeitig freigibt?
Das muss vorher festgelegt sein: Die Anfrage läuft nach einer Frist ab, wird an eine Vertretung eskaliert oder der Vorgang bleibt geparkt. Eine stille Selbstfreigabe nach Zeitablauf ist keine Kontrolle.
Wie verhindert man, dass Freigaben zur Routine werden?
Weniger und gezieltere Freigaben, eine Begründung und die Abweichung vom Normalfall im Prüfdialog sowie gelegentliche Stichproben mit bewusst eingebauten Fehlern helfen gegen blindes Durchklicken.
Quellen
- EU AI Act, Artikel 14: Menschliche Aufsicht artificialintelligenceact.eu
- EU AI Act, Artikel 26: Pflichten der Betreiber von Hochrisiko-KI-Systemen artificialintelligenceact.eu
- LangGraph-Dokumentation: Interrupts docs.langchain.com
- OpenAI Agents SDK: Human-in-the-loop openai.github.io
- Claude Agent SDK: Configure permissions code.claude.com