Guardrails für KI-Agenten: Eingaben, Ausgaben und Aktionen absichern
Ein KI-Agent liest Texte, entscheidet und ruft Werkzeuge auf: er legt ein Ticket an, verschickt einen Entwurf, ändert einen Datensatz. Damit reicht es nicht mehr, nur auf die Antwort des Modells zu achten. Guardrails, auf Deutsch Leitplanken, sind alle Prüfungen und Grenzen, die verhindern, dass ein Agent etwas Falsches sagt oder tut. Dieser Überblick ordnet sie in drei Ebenen, zeigt verfügbare Werkzeuge und endet mit einer Prüfung vor dem Go-live.
Was sind Guardrails für KI-Agenten?
Guardrails sind Kontrollen außerhalb und rund um das Sprachmodell, die Eingaben, Ausgaben und Aktionen eines Agenten prüfen und bei Bedarf blockieren, ändern oder an einen Menschen weiterreichen. Sie sind die technische Antwort darauf, dass ein Modell nicht deterministisch arbeitet und sich durch Text beeinflussen lässt.
Wichtig ist die Abgrenzung zum Systemprompt. Anweisungen wie „Gib niemals Kundendaten heraus" helfen, das Verhalten des Modells zu lenken, aber sie setzen nichts durch: ein geschickt formulierter Text in einer E-Mail kann sie aushebeln. Eine echte Leitplanke liegt dort, wo das Modell sie nicht umgehen kann — in Code, in Berechtigungen, in Freigabeschritten.
Die OWASP Top 10 for LLM Applications 2025 liefern eine verbreitete Risikoliste, an der sich Guardrails ausrichten lassen. Für Agenten besonders relevant sind:
- LLM01:2025 Prompt Injection — Eingaben verändern das Verhalten des Modells (siehe Prompt Injection im Lexikon).
- LLM05:2025 Improper Output Handling — Ausgaben werden ungeprüft weiterverarbeitet.
- LLM06:2025 Excessive Agency — der Agent darf mehr, als seine Aufgabe erfordert.
- LLM07:2025 System Prompt Leakage — interne Anweisungen gelangen nach außen.
Diese vier Risiken lassen sich fast eins zu eins den drei Ebenen zuordnen, um die es im Folgenden geht.
Wie funktionieren Guardrails? Die drei Ebenen
Guardrails greifen an drei Stellen: vor dem Modell (Eingabe), nach dem Modell (Ausgabe) und vor jedem Werkzeugaufruf (Aktion). Jede Ebene fängt andere Fehler ab, keine ersetzt die anderen. Die Aktionsebene entscheidet am stärksten darüber, wie groß der Schaden im Ernstfall wird.
Ebene 1: Eingaben prüfen
Eingabe-Guardrails prüfen alles, was in den Kontext des Modells gelangt — nicht nur die Nachricht des Nutzers, sondern auch Inhalte, die der Agent selbst holt: E-Mails, PDFs, Webseiten, Suchtreffer, Tool-Ergebnisse. OWASP unterscheidet direkte und indirekte Prompt Injection: direkt verändert die Eingabe des Nutzers das Verhalten, indirekt stecken die Anweisungen in externen Inhalten wie Webseiten oder Dateien.
Typische Prüfungen auf dieser Ebene:
- Themen- und Absichtsfilter: Gehört die Anfrage überhaupt zum Auftrag des Agenten? Ein Angebotsagent muss keine Gedichte schreiben.
- Klassifikator vor dem Hauptmodell: Anthropic beschreibt in seiner Anleitung gegen Jailbreaks und Prompt Injection, ein kleines Modell als Vorfilter einzusetzen, dessen Antwort per strukturierter Ausgabe auf eine einfache Klassifikation beschränkt wird.
- Kennzeichnung fremder Inhalte: Laut derselben Anleitung sollen Inhalte Dritter nur in Tool-Ergebnissen landen, mit Angabe ihrer Herkunft und möglichst JSON-kodiert, damit sie klar als Daten und nicht als Anweisung erkennbar sind.
- Schutz sensibler Daten: Personenbezogene Daten oder Zugangsdaten werden erkannt und maskiert, bevor sie an ein externes Modell gehen.
Ebene 2: Ausgaben prüfen
Ausgabe-Guardrails behandeln die Antwort des Modells wie eine Eingabe von außen. OWASP empfiehlt bei Improper Output Handling ausdrücklich einen Zero-Trust-Ansatz: Modellausgaben werden validiert, bevor sie Backend-Funktionen erreichen, kontextgerecht kodiert und in Datenbanken nur über parametrisierte Abfragen verwendet.
Konkret bedeutet das:
- Strukturprüfung: Erwartet das Folgesystem JSON mit festen Feldern, prüft ein Schema jede Antwort. Was nicht passt, wird verworfen oder neu angefordert.
- Inhaltsprüfung: Enthält ein Angebotsentwurf Preise, die nicht aus der Preisliste stammen? Nennt eine Service-Antwort eine Ersatzteilnummer, die es im Katalog nicht gibt? Solche Abgleiche gegen Stammdaten sind oft wertvoller als jeder allgemeine Filter.
- Leckprüfung: Taucht Text aus dem Systemprompt, interne URLs oder Zugangsdaten in der Antwort auf, wird sie blockiert.
- Inhaltssicherheit: Klassifikatoren wie Llama Guard 3 prüfen Prompts und Antworten auf 14 Gefahrenkategorien (S1 bis S14) und unterstützen laut Model Card acht Sprachen, darunter Deutsch.
Ebene 3: Aktionen begrenzen
Aktions-Guardrails setzen an, bevor ein Agent ein Werkzeug aufruft, also vor jedem Tool Use bzw. Function Calling. Hier entscheidet sich, was ein Fehler oder eine gelungene Manipulation tatsächlich anrichten kann. OWASP nennt als Ursachen für Excessive Agency zu viele Funktionen, zu weite Berechtigungen und zu viel Autonomie bei folgenreichen Aktionen.
Die Gegenmaßnahmen aus derselben OWASP-Quelle sind sehr praktisch:
- nur die Werkzeuge anbieten, die der Agent wirklich braucht;
- Werkzeuge eng schneiden, etwa nur lesend, statt offene Werkzeuge wie Shell-Zugriff oder beliebige URL-Abrufe;
- Berechtigungen in den Zielsystemen minimal halten und über die Zugangsdaten des Werkzeugs durchsetzen;
- im Kontext des jeweiligen Nutzers handeln statt mit einem allmächtigen Dienstkonto;
- folgenreiche Aktionen von einem Menschen freigeben lassen (Human-in-the-Loop);
- die Autorisierung im Zielsystem prüfen, nicht das Modell entscheiden lassen, ob eine Aktion erlaubt ist.
Protokollierung und Ratenbegrenzung verhindern laut OWASP keine übermäßigen Befugnisse, begrenzen aber den Schaden. Auch sie gehören deshalb zur Aktionsebene.
Welche Werkzeuge gibt es für Guardrails?
Für Guardrails gibt es drei Werkzeugklassen: eingebaute Mechanismen der Agent-Frameworks, eigenständige Guardrail-Bibliotheken und spezialisierte Klassifikationsmodelle. Welche Klasse passt, hängt davon ab, wie viele Agenten Sie betreiben und ob Prüfregeln zentral gepflegt werden sollen. Alle Angaben unten mit Stand November 2026.
| Werkzeug | Art | Ebenen | Lizenz / Bezug |
|---|---|---|---|
| OpenAI Agents SDK | Framework-Funktion | Eingabe, Ausgabe, Tool | Teil des SDK |
| NeMo Guardrails | Bibliothek | Eingabe, Retrieval, Dialog, Ausführung, Ausgabe | Apache 2.0 |
| Guardrails AI | Bibliothek mit Validator-Hub | Eingabe, Ausgabe | Apache 2.0 |
| Llama Guard 3 | Klassifikationsmodell | Eingabe, Ausgabe | Model Card bei Hugging Face |
| Eigener Code | Schemas, Allowlists, Freigaben | alle drei | — |
Framework-Guardrails. Das OpenAI Agents SDK kennt Input-, Output- und Tool-Guardrails. Löst eine Prüfung ihren „Tripwire" aus, bricht der Runner die Ausführung mit einer Exception ab. Ein Detail ist für die Praxis wichtig: Eingabeprüfungen laufen standardmäßig parallel zum Agenten. Der Agent kann also schon Tokens verbrauchen und Werkzeuge aufrufen, bevor die Prüfung ihn stoppt. Wer das ausschließen will, schaltet die Prüfung blockierend (run_in_parallel=False). Tool-Guardrails decken laut Dokumentation Handoffs und gehostete Werkzeuge nicht ab.
NeMo Guardrails. Die Open-Source-Bibliothek von NVIDIA (Dokumentation) unterscheidet Input-, Retrieval-, Dialog-, Execution- und Output-Rails. Konfiguriert wird mit YAML für Modelle und Rails und mit der eigenen Sprache Colang für Dialogabläufe und Prüflogik. Laut GitHub steht sie unter Apache 2.0, aktuelle Version ist 0.24.1.
Guardrails AI. Das Python-Framework (GitHub, Apache 2.0) setzt auf „Guards", die einzelne Validatoren kombinieren. Validatoren kommen aus dem Guardrails Hub und werden einzeln installiert, etwa für Regex-Abgleiche oder die Erkennung toxischer Sprache. Zusätzlich hilft es, strukturierte Ausgaben nach einem Pydantic-Modell zu erzwingen.
Klassifikationsmodelle. Llama Guard 3 ist auf Llama 3.1 8B feinjustiert und gibt aus, ob ein Inhalt sicher ist und welche Kategorie verletzt wird. Die Kategorie S14 betrifft laut Model Card den Missbrauch von Code-Interpretern bei Tool-Aufrufen. Ein solches Modell lässt sich lokal betreiben, was für Unternehmen mit Anforderungen an souveräne KI relevant ist.
Eigener Code. Für die Aktionsebene gibt es kein Werkzeug von der Stange, das Ihre Berechtigungen kennt. Allowlists, Wertgrenzen und Freigaben schreiben Sie selbst. Das folgende Beispiel (Python 3.12, ohne externe Bibliotheken) zeigt das Prinzip:
# Aktions-Guardrail: prüft jeden Werkzeugaufruf, bevor er ausgeführt wird
ERLAUBTE_TOOLS = {"angebot_entwurf_anlegen", "artikel_suchen"}
FREIGABE_NOETIG = {"angebot_versenden"}
MAX_RABATT = 0.10
def pruefe_aktion(tool: str, args: dict) -> str:
if tool in FREIGABE_NOETIG:
return "freigabe" # an Menschen weiterreichen
if tool not in ERLAUBTE_TOOLS:
return "blockiert" # unbekanntes Werkzeug
if args.get("rabatt", 0) > MAX_RABATT:
return "freigabe" # Wertgrenze überschritten
return "ok"
Diese Prüfung liegt im Anwendungscode, nicht im Prompt. Das Modell kann sie weder sehen noch überreden.
Wo werden Guardrails eingesetzt? Varianten nach Agententyp
Wie streng Guardrails sein müssen, hängt davon ab, was der Agent darf. Ein Agent, der nur liest und Entwürfe schreibt, braucht vor allem Eingabe- und Ausgabeprüfungen. Ein Agent, der in ERP, CRM oder E-Mail schreibt, braucht zusätzlich harte Aktionsgrenzen und Freigaben.
Wissensagenten beantworten Fragen aus Dokumenten. Das Hauptrisiko sind falsche oder erfundene Antworten und Daten, die ein Nutzer nicht sehen darf. Leitplanken: Zugriffsrechte der Dokumente bei der Suche berücksichtigen, Antworten nur mit Quellenangabe zulassen, bei fehlender Quelle „weiß ich nicht" erzwingen. Mehr zum Einsatzfeld unter KI-Agenten für Wissensmanagement.
Entwurfsagenten bereiten Angebote, Antworten oder Berichte vor, die ein Mensch versendet. Hier zählt die Ausgabeprüfung gegen Stammdaten: Preise, Artikelnummern, Lieferzeiten. Ein Beispiel ist die KI-gestützte Angebotserstellung, bei der jeder Entwurf vor dem Versand geprüft wird.
Handelnde Agenten legen Tickets an, buchen, ändern Datensätze oder schreiben Nachrichten nach außen. Hier ist die Aktionsebene entscheidend: enge Werkzeuge, Rechte des jeweiligen Nutzers, Wertgrenzen und Freigaben. Im technischen Service heißt das etwa: Der Agent darf einen Einsatz vorschlagen, aber nicht selbst einen Techniker disponieren.
Agenten mit Webzugriff oder Posteingang sind indirekter Prompt Injection am stärksten ausgesetzt, weil sie ständig fremde Texte lesen. Für sie gilt besonders: fremde Inhalte als Daten kennzeichnen, Tool-Ergebnisse vor der Weiterverarbeitung prüfen und keine Werkzeuge anbieten, mit denen sich Daten unbemerkt nach außen schicken lassen.
Welche Voraussetzungen brauchen Guardrails?
Guardrails setzen voraus, dass Sie wissen, was der Agent tun soll, welche Daten er sehen darf und wer welche Entscheidung verantwortet. Ohne diese Klarheit bleibt jede Prüfung vage. Technisch brauchen Sie Zugriff auf die Werkzeugaufrufe, ein Rechtekonzept in den Zielsystemen und eine Protokollierung.
Organisatorisch:
- eine schriftliche Aufgabenbeschreibung des Agenten mit klaren Ausschlüssen (was er ausdrücklich nicht tun soll);
- eine Liste der Aktionen mit Folgen und je Aktion eine verantwortliche Person, die freigibt;
- eine Regel, wer bei blockierten Anfragen informiert wird und wie schnell.
Daten und Systeme:
- Stammdaten, gegen die Ausgaben geprüft werden können (Preislisten, Artikelkatalog, Kundenstatus);
- Rollen und Rechte in ERP, CRM oder Dokumentenablage, die der Agent übernehmen kann, statt eines Generalschlüssels;
- ein Protokoll aller Eingaben, Ausgaben, Werkzeugaufrufe und Prüfergebnisse, datenschutzkonform betreibbar und mit festgelegter Aufbewahrungsdauer.
Technisch:
- eine Architektur, in der jeder Werkzeugaufruf durch Ihren Code läuft, bevor er ausgeführt wird;
- Testfälle für Angriffe und Grenzfälle, die automatisiert gegen jede neue Version laufen.
Wie gehen Sie bei der Einführung vor?
Gehen Sie von den Aktionen zurück zu den Eingaben vor: Erst festlegen, was der Agent höchstens anrichten kann, dann prüfen, welche Ausgaben gefährlich wären, zuletzt die Eingaben filtern. So investieren Sie zuerst dort, wo der Schaden entsteht, statt in Filter, die sich umgehen lassen.
- Aktionen inventarisieren. Jedes Werkzeug auflisten, mit Lese- oder Schreibzugriff, Zielsystem und möglichem Schaden. Werkzeuge ohne klaren Bedarf entfernen.
- Rechte zuschneiden. Für jedes Werkzeug die engsten Berechtigungen im Zielsystem einrichten, idealerweise im Namen des anfragenden Nutzers.
- Freigaben festlegen. Alles, was nach außen geht, Geld bewegt oder Daten löscht, bekommt einen Freigabeschritt mit Wertgrenzen.
- Ausgaben validieren. Schemas definieren, Stammdatenabgleiche einbauen, Leckprüfung für Systemprompt und Geheimnisse ergänzen.
- Eingaben filtern. Themenfilter, Kennzeichnung fremder Inhalte und gegebenenfalls ein Klassifikator vor dem Hauptmodell.
- Angriffe testen. Eine Sammlung manipulierter E-Mails, Dokumente und Anfragen aufbauen und vor jedem Release durchlaufen lassen. Anthropic empfiehlt in seiner Anleitung ausdrücklich, den eigenen Agenten vor dem Einsatz mit präparierten Dokumenten, E-Mails und Tool-Ausgaben zu testen.
- Betrieb überwachen. Blockierte Anfragen, Freigabequoten und Auffälligkeiten regelmäßig auswerten und die Regeln nachschärfen. Wie Sie das in den laufenden Betrieb einbetten, beschreibt der Artikel zu AgentOps; für wiederholbare Tests eignen sich Evals.
Prüfung vor dem Go-live
Bevor ein Agent produktiv geht, sollten Sie jede dieser Fragen mit Ja beantworten können:
- Ist jedes Werkzeug begründet, und sind offene Werkzeuge (Shell, beliebige URLs, freie SQL-Abfragen) ausgeschlossen?
- Läuft jeder schreibende Aufruf mit minimalen Rechten, und setzt das Zielsystem diese Rechte selbst durch?
- Gibt es für jede folgenreiche Aktion eine Freigabe mit benannter verantwortlicher Person?
- Werden Ausgaben gegen Schema und Stammdaten geprüft, bevor ein System sie übernimmt?
- Sind fremde Inhalte im Kontext klar als Daten gekennzeichnet?
- Ist die Eingabeprüfung blockierend, wo ein paralleler Start schon Schaden anrichten könnte?
- Gibt es einen Testsatz mit Angriffen, der bestanden wurde und bei jeder Änderung erneut läuft?
- Werden alle Entscheidungen protokolliert, und liest jemand dieses Protokoll regelmäßig?
- Gibt es einen Notschalter, der den Agenten sofort stoppt, ohne den Rest der IT anzuhalten?
Wo liegen die Grenzen von Guardrails?
Guardrails senken Risiken, sie beseitigen sie nicht. OWASP hält zur Prompt Injection fest, dass unklar ist, ob es narrensichere Methoden zur Verhinderung gibt. Jeder Filter auf Basis eines Modells kann irren, und zu strenge Regeln machen einen Agenten unbrauchbar. Die Kunst liegt in der Balance zwischen Schutz und Nutzen.
Falsch-Positive. Ein zu empfindlicher Filter blockiert legitime Anfragen. Mitarbeitende umgehen den Agenten dann oder verlieren das Vertrauen. Messen Sie deshalb auch, wie oft eine Blockade unberechtigt war.
Falsch-Negative. Klassifikatoren erkennen neue Angriffsmuster nicht zuverlässig. Wer sich allein auf Eingabefilter verlässt, hat keinen Schutz, sobald einer durchrutscht. Deshalb ist die Aktionsebene das Fundament.
Laufzeit und Kosten. Jede Prüfung mit einem zweiten Modell kostet Zeit und Tokens. Bei parallel laufenden Prüfungen spart man Zeit, riskiert aber, dass der Agent schon arbeitet, bevor die Prüfung greift — das OpenAI Agents SDK dokumentiert genau diesen Effekt.
Scheinsicherheit. Ein Dashboard mit vielen grünen Prüfungen beruhigt, sagt aber nichts über ungetestete Fälle. Guardrails ohne regelmäßige Angriffstests veralten.
Freigabemüdigkeit. Wenn Menschen täglich Hunderte Freigaben klicken, prüfen sie nicht mehr. Freigaben gehören an wenige, wirklich folgenreiche Stellen, mit den Informationen, die für eine Entscheidung nötig sind.
Rechtliche Einordnung. Guardrails helfen, Anforderungen an Datenschutz und Nachvollziehbarkeit zu erfüllen, ersetzen aber keine rechtliche Prüfung. Dieser Artikel ist Orientierung, keine Rechtsberatung.
Wie fangen Sie an?
Fangen Sie mit einem einzigen Agenten und dessen Werkzeugliste an. Streichen Sie alles, was er nicht braucht, setzen Sie für schreibende Aktionen einen Freigabeschritt und prüfen Sie Ausgaben gegen ein Schema. Diese drei Maßnahmen sind mit wenig Aufwand umsetzbar und setzen dort an, wo Fehler Folgen haben — lange bevor ein Framework nötig wird.
In unserem eigenen Betrieb hat sich bewährt, Guardrails von Anfang an als Teil der Architektur zu planen und nicht nachträglich anzuflanschen: Jeder Werkzeugaufruf läuft durch eine zentrale Prüffunktion, jede Prüfung schreibt ins Protokoll, und neue Werkzeuge bekommen erst Rechte, wenn ihr Schadenspotenzial beschrieben ist.
Danach bauen Sie schrittweise aus: einen Klassifikator für Eingaben, wenn der Agent offenen Text von außen liest; eine Bibliothek wie NeMo Guardrails oder Guardrails AI, wenn mehrere Agenten dieselben Regeln teilen sollen; einen automatisierten Angriffstest, sobald der Agent regelmäßig aktualisiert wird.
Einen Überblick, welche Agenten sich für welche Prozesse eignen und wie sie in bestehende Systeme eingebunden werden, finden Sie auf der Seite zu KI-Agenten für Unternehmen. Weitere Grundlagenartikel zu Architektur und Betrieb sammelt der Wissensbereich.
Häufige Fragen
Reicht ein guter Systemprompt als Guardrail?
Nein. Ein Systemprompt beeinflusst das Modell, setzt aber nichts durch. Leitplanken, die halten müssen, gehören in Code, Berechtigungen und Freigabeschritte außerhalb des Modells.
Brauche ich ein eigenes Guardrail-Framework?
Nicht zwingend. Für viele Agenten genügen Schema-Validierung, eine Allowlist der Werkzeuge und ein Freigabeschritt. Frameworks wie NeMo Guardrails oder Guardrails AI lohnen sich, wenn Sie viele Prüfungen zentral pflegen wollen.
Machen Guardrails einen Agenten langsamer?
Jede zusätzliche Prüfung kostet Laufzeit, besonders Prüfungen mit einem zweiten Modell. Deterministische Prüfungen wie Schemas und Regeln sind dagegen kaum messbar; teure Prüfungen setzen Sie gezielt dort ein, wo das Risiko liegt.
Lässt sich Prompt Injection mit Guardrails vollständig verhindern?
Nein. Auch OWASP hält fest, dass unklar ist, ob es narrensichere Methoden gegen Prompt Injection gibt. Ziel ist deshalb, den möglichen Schaden einer gelungenen Injection klein zu halten.
Quellen
- OWASP Top 10 for LLM Applications 2025 genai.owasp.org
- OWASP LLM01:2025 Prompt Injection genai.owasp.org
- OWASP LLM05:2025 Improper Output Handling genai.owasp.org
- OWASP LLM06:2025 Excessive Agency genai.owasp.org
- Anthropic: Mitigate jailbreaks and prompt injections platform.claude.com
- OpenAI Agents SDK: Guardrails openai.github.io
- NVIDIA NeMo Guardrails Dokumentation docs.nvidia.com
- NeMo Guardrails auf GitHub github.com
- Guardrails AI auf GitHub github.com
- Llama Guard 3 Model Card huggingface.co