# Sicherheit von KI-Agenten: Bedrohungen und Schutzmaßnahmen

> KI-Agenten lesen fremde Inhalte, halten Zugangsdaten und lösen Aktionen aus. Daraus folgen vier Bedrohungsklassen: Prompt Injection, Datenabfluss, missbrauchte Identitäten und unkontrollierte Ausführung. Schutz entsteht vor allem durch Architektur: wenig Rechte, getrennte Vertrauensbereiche, Freigaben und Protokolle.

Kanonische URL: https://www.ruebstudio.de/de/wissen/ki-agenten-architektur/sicherheit-ki-agenten  
Autor: Dr.-Ing. Marcus Rüb, CEO  
Veröffentlicht: 2026-11-12

Ein Chatbot, der nur antwortet, kann falsche Sätze schreiben. Ein KI-Agent, der Postfächer liest, im ERP nachschlägt und Tickets anlegt, kann falsche Dinge tun. Damit verschiebt sich die Sicherheitsfrage vom Inhalt der Antwort zu Rechten, Datenflüssen und Aktionen. Dieser Überblick richtet sich an IT-Leitungen, die Agenten einführen oder bewerten müssen, ohne eigene Spezialisten für KI-Sicherheit im Haus zu haben.

## Was bedeutet Sicherheit bei KI-Agenten?

Sicherheit bei KI-Agenten heißt: Auch wenn das Sprachmodell manipuliert wird, darf der Agent keine Daten preisgeben, keine fremden Rechte nutzen und keine schädlichen Aktionen ausführen. Das Modell selbst gilt dabei als nicht vertrauenswürdige Komponente. Geschützt wird über die Umgebung, in der es arbeitet – Rechte, Netz, Freigaben, Protokolle.

Der Unterschied zur klassischen Anwendungssicherheit liegt in einer Eigenschaft von Sprachmodellen, die sich nicht wegkonfigurieren lässt. Das BSI beschreibt sie in seinem [Basisschutz gegen Indirect Prompt Injections](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Basisschutz_Indirect-Prompt-Injections_LLM.pdf?__blob=publicationFile) (Version 1.0 vom 14.09.2026) so: Ein LLM kann allein nicht zwischen Nutzeranweisung, Systemanweisung, externen Anweisungen und Daten unterscheiden, es verarbeitet alles als eine Kette von Tokens. Eine Rechnung im PDF-Anhang ist für das Modell im Grunde derselbe Text wie der Auftrag „Fasse die Rechnung zusammen".

Daraus folgen drei Grundsätze, die sich durch den ganzen Artikel ziehen:

- **Das Modell entscheidet nicht über Berechtigungen.** Ob eine Aktion erlaubt ist, prüft das Zielsystem, nicht der Prompt.
- **Jede Fähigkeit ist Angriffsfläche.** Jedes Tool, jeder Schreibzugriff und jede Netzverbindung erweitert, was ein Angreifer über das Modell erreichen kann.
- **Schadensbegrenzung schlägt Erkennung.** Filter fangen viele Angriffe ab, aber nicht alle. Die Architektur muss so gebaut sein, dass ein durchgekommener Angriff wenig anrichten kann.

Die einschlägigen Kataloge bestätigen diese Sicht. In den [OWASP Top 10 for LLM Applications 2025](https://genai.owasp.org/llm-top-10/) steht Prompt Injection als LLM01 auf Platz eins, „Excessive Agency" – zu viele Fähigkeiten, Rechte oder Autonomie – als LLM06. Für Agenten hat OWASP im Dezember 2025 eine eigene Liste veröffentlicht, die [OWASP Top 10 for Agentic Applications for 2026](https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/).

## Wie sieht das Bedrohungsmodell eines Agenten aus?

Ein praxistaugliches Bedrohungsmodell für Agenten hat vier Klassen: Injection (fremde Anweisungen gelangen ins Modell), Exfiltration (Daten verlassen das Haus), Identitäten (der Agent handelt mit zu viel oder fremder Berechtigung) und Ausführung (der Agent führt Code oder Aktionen aus, die niemand wollte). Fast jeder bekannte Angriff kombiniert mindestens zwei davon.

Die vier Klassen lassen sich auf die Bausteine eines Agenten abbilden – Eingänge, Modell, Werkzeuge, Ausgänge:

| Bedrohungsklasse | Wo sie ansetzt | Typisches Beispiel | OWASP-Bezug |
|---|---|---|---|
| Injection | Eingänge: E-Mails, Dokumente, Webseiten, Tool-Ergebnisse | Versteckte Anweisung in weißer Schrift in einem PDF | LLM01, ASI01 Agent Goal Hijack |
| Exfiltration | Ausgänge: Antworten, Links, Mails, API-Aufrufe | Markdown-Bild, dessen URL vertrauliche Daten enthält | LLM02 Sensitive Information Disclosure |
| Identitäten | Zugangsdaten, Tokens, Dienstkonten | Agent nutzt ein Admin-Konto statt der Rechte des Nutzers | LLM06, ASI03 Identity & Privilege Abuse |
| Ausführung | Werkzeuge, Shell, Skripte, Workflows | Agent führt einen eingeschleusten Befehl im Terminal aus | ASI02 Tool Misuse & Exploitation, ASI05 Unexpected Code Execution |

Die OWASP-Liste für Agenten nennt darüber hinaus Risiken, die quer zu diesen Klassen liegen: ASI04 Agentic Supply Chain Vulnerabilities (manipulierte Tools, Plugins oder Server), ASI06 Memory & Context Poisoning (vergifteter Langzeitspeicher), ASI07 Insecure Inter-Agent Communication, ASI08 Cascading Failures, ASI09 Human-Agent Trust Exploitation und ASI10 Rogue Agents. Für die Planung reicht es, diese Punkte als Verstärker der vier Grundklassen zu lesen: Ein vergifteter Speicher ist eine Injection mit Verzögerung, ein manipuliertes Plugin eine Ausführung mit fremdem Code.

### Injection: fremde Anweisungen im Kontext

Bei der direkten Prompt Injection gibt der Angreifer die Anweisung selbst ein. Gefährlicher für Unternehmen ist die indirekte Variante: Die Anweisung steckt in einem Inhalt, den der Agent im Auftrag eines legitimen Nutzers verarbeitet. Das BSI nennt neben dem sichtbaren Text auch Metadaten, Annotationen und Kommentare als Träger, etwa unsichtbare Unicode-Zeichen oder weiße Schrift auf weißem Hintergrund. Für einen Agenten, der eingehende Lieferantenmails sortiert, ist jede dieser Mails ein potenzieller Angriffskanal.

### Exfiltration: Daten verlassen das Haus

Ein erfolgreicher Angriff will meist an Daten. Der Weg nach draußen ist oft unscheinbar: Das BSI beschreibt Exfiltrationslinks, bei denen ein eingebettetes Bild von einem externen Server geladen wird und die Daten dabei in der URL mitwandern – ohne dass der Nutzer etwas anklicken muss. Weitere Kanäle sind ausgehende Mails, Webhooks, Suchanfragen oder Schreibzugriffe auf öffentlich erreichbare Ablagen.

### Identitäten: mit wessen Rechten handelt der Agent?

Viele Agenten laufen unter einem technischen Konto, das für alle Nutzer dasselbe ist und bequemerweise weitreichende Rechte hat. Dann reicht eine Injection, um Daten zu lesen, die der auslösende Nutzer selbst nie sehen dürfte. OWASP beschreibt unter [LLM06 Excessive Agency](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/) drei Ursachen: überflüssige Funktionen, überzogene Berechtigungen und zu viel Autonomie bei folgenreichen Aktionen.

### Ausführung: Aktionen, die niemand wollte

Agenten mit Shell-Zugriff, Code-Interpreter oder generischen HTTP-Tools können eingeschleuste Befehle tatsächlich ausführen. Das betrifft nicht nur Programmierassistenten: Auch ein Workflow-Agent, der „nur" Tickets anlegt und Bestellungen auslöst, führt Aktionen mit realen Folgen aus.

## Wann wird es gefährlich? Die kritische Kombination

Gefährlich wird ein Agent, wenn er drei Eigenschaften zugleich hat: Er verarbeitet nicht vertrauenswürdige Inhalte, er hat Zugriff auf vertrauliche Daten oder Systeme, und er kann nach außen kommunizieren oder Zustände ändern. Fehlt eine der drei, bleibt ein erfolgreicher Angriff deutlich begrenzt.

Diese Beobachtung ist inzwischen breit akzeptiert. Simon Willison hat sie im Juni 2025 als [„lethal trifecta"](https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/) beschrieben: Zugriff auf private Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und die Fähigkeit zur externen Kommunikation. Meta hat im Oktober 2025 daraus die [„Agents Rule of Two"](https://ai.meta.com/blog/practical-ai-agent-security/) abgeleitet: Solange sich Prompt Injection nicht zuverlässig erkennen lässt, soll ein Agent innerhalb einer Sitzung höchstens zwei der drei Eigenschaften erfüllen – nicht vertrauenswürdige Eingaben verarbeiten, auf sensible Systeme oder private Daten zugreifen, Zustände ändern oder extern kommunizieren. Auch das BSI nennt in seinem Leitfaden [Evasion-Attacks auf LLMs](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Evasion-Angriffe_auf_LLMs-Gegenmassnahmen.pdf?__blob=publicationFile) genau diese Faktoren als Treiber indirekter Angriffe.

Für eine IT-Leitung ist das die nützlichste Prüffrage im ganzen Thema, weil sie sich ohne KI-Fachwissen beantworten lässt. Drei Beispiele aus typischen Prozessen:

- **Agent fasst eingehende Kundenmails zusammen und schreibt einen Antwortentwurf in den Entwurfsordner.** Fremde Inhalte: ja. Interne Daten: begrenzt. Externe Kommunikation: nein, weil ein Mensch sendet. Zwei von drei – vertretbar, wenn der Entwurf nicht automatisch rausgeht.
- **Agent recherchiert im Web und legt Ergebnisse im internen Wiki ab.** Fremde Inhalte: ja. Zustandsänderung: ja. Zugriff auf vertrauliche Daten: sollte nein sein. Hat das Wiki-Konto Leserechte auf Personalseiten, ist die dritte Eigenschaft unbemerkt erfüllt.
- **Agent liest Lieferantenmails, schlägt Preise im ERP nach und versendet Bestätigungen selbstständig.** Alle drei Eigenschaften. Diese Konstruktion braucht entweder einen Menschen vor dem Versand oder eine Trennung in zwei Agenten mit getrennten Rechten.

## Welche Schutzmaßnahmen wirken?

Wirksamer Schutz ist mehrschichtig und setzt an allen vier Bedrohungsklassen an: Eingänge bereinigen und kennzeichnen, Rechte minimieren, Ausgänge filtern, folgenreiche Aktionen freigeben lassen und alles protokollieren. Die meisten dieser Maßnahmen sind klassische IT-Sicherheit, angewendet auf eine neue Art von Komponente.

Die folgende Übersicht ordnet die Maßnahmen aus den BSI-Publikationen, der OWASP-Liste und der Sicherheitsdokumentation des Model Context Protocol den vier Klassen zu.

**Gegen Injection**

- **Eingaben bereinigen:** unsichtbare Zeichen, versteckte Textebenen, Kommentare und Metadaten vor der Übergabe an das Modell entfernen oder markieren. Das BSI führt die Eingabe-Bereinigung als erste von fünf Basismaßnahmen.
- **Vertrauensbereiche trennen:** fremde Inhalte im Prompt klar als Daten kennzeichnen und vom Auftrag des Nutzers abgrenzen (BSI-Basismaßnahme „Vertrauensbereich-Trennung").
- **System-Prompt härten:** klare Prioritäten, Rollenbeschreibung, Wiederholung der Kernanweisung nach dem fremden Inhalt. Das hilft, ist aber nie die einzige Schicht.

**Gegen Exfiltration**

- **Ausgänge filtern:** Der Egress-Filter des BSI prüft die fertige Antwort, bevor sie den Nutzer erreicht, unter anderem auf eingebettete Bilder und Links zu nicht freigegebenen Adressen. Empfohlen wird eine Positivliste erlaubter Ziele; im Zweifel wird gesperrt.
- **Netzwerk begrenzen:** Der Agent darf nur die Endpunkte erreichen, die er braucht. Ein Egress-Proxy mit Positivliste ist hier wirksamer als jede Prompt-Regel.
- **Canary-Tokens:** Ein geheimes Kennzeichen im System-Prompt, das nie in einer Antwort auftauchen darf, zeigt Datenabfluss an.

**Gegen Identitätsmissbrauch**

- **Im Kontext des Nutzers handeln:** Aktionen laufen mit den Rechten des Nutzers, der sie auslöst, nicht unter einem Sammelkonto. Das BSI nennt das „Model Action Privilege Minimization", OWASP formuliert es unter LLM06 ebenso.
- **Tokens nicht durchreichen:** Die [MCP-Sicherheitsdokumentation](https://modelcontextprotocol.io/specification/draft/basic/security_best_practices) verbietet „Token Passthrough" ausdrücklich: Ein MCP-Server darf keine Tokens akzeptieren, die nicht für ihn ausgestellt wurden.
- **Berechtigungen schrittweise vergeben:** Mit einem minimalen Startumfang beginnen und zusätzliche Rechte erst anfordern, wenn eine Aktion sie braucht. Breite Sammelberechtigungen wie `files:*` oder `admin:*` vergrößern den Schaden, wenn ein Token abhandenkommt.

**Gegen unkontrollierte Ausführung**

- **Werkzeuge eng schneiden:** Ein Tool „Datei in Ordner X schreiben" statt einer Shell; Lesezugriff auf die Datenbank statt Vollzugriff. OWASP fasst das als „Least Agency" zusammen.
- **Sandboxing:** Code, Dokumente und Webinhalte in isolierten Umgebungen verarbeiten, damit ein erfolgreicher Angriff auf eine Komponente beschränkt bleibt.
- **Menschliche Freigabe:** Folgenreiche Aktionen wie Versand, Zahlung, Löschung oder Rechteänderung bestätigt ein Mensch. Das BSI nennt dies „Human Action Guardrail" und weist darauf hin, dass die Freigebenden dafür geschult sein müssen.
- **Lokale Server prüfen:** Vor dem Einbinden eines lokalen MCP-Servers soll der Client den exakten Startbefehl zeigen und eine ausdrückliche Zustimmung einholen; Server laufen möglichst in einer Sandbox mit minimalen Rechten.

**Querschnitt:** lückenlose Protokollierung von Prompts, Tool-Aufrufen und Ergebnissen, damit sich ein Vorfall nachvollziehen lässt, und Monitoring auf ungewöhnliche Muster.

Wie Guardrails technisch gebaut werden – also Eingabe-, Ausgabe- und Aktionsprüfungen im Detail –, beschreibt der Überblick zu [Guardrails für KI-Agenten](https://www.ruebstudio.de/de/wissen/ki-agenten-architektur/guardrails-ki-agenten). Der Unterschied zu diesem Artikel: Guardrails sind ein Werkzeugkasten, das Bedrohungsmodell hier entscheidet, welche Werkzeuge an welcher Stelle nötig sind.

## Welche Voraussetzungen braucht ein sicherer Agentenbetrieb?

Ein sicherer Agentenbetrieb braucht vor allem Grundlagen, die viele Unternehmen bereits haben oder haben sollten: ein sauberes Rechtekonzept mit persönlichen Konten, Netzsegmentierung mit kontrolliertem Ausgang, zentrale Protokollierung und einen Freigabeprozess für neue Software. Ohne diese Basis lässt sich auch ein gut gebauter Agent nicht absichern.

**Daten:** Bevor ein Agent auf eine Ablage zugreift, sollte klar sein, wer dort heute was sehen darf. Gewachsene Freigaben auf SharePoint oder Netzlaufwerken sind ein häufiger Fund: Der Agent erbt sie und macht sie mit einer einfachen Frage durchsuchbar.

**Systeme:** Zielsysteme müssen Berechtigungen selbst durchsetzen. Ein ERP, das jede Anfrage über die API mit vollen Rechten beantwortet, lässt sich nicht durch eine Anweisung im Prompt einschränken. Gut geeignet sind Systeme mit Dienstkonten je Aufgabe, OAuth-Scopes und Audit-Logs.

**Organisation:** Jemand muss Agenten so verantworten wie andere Anwendungen auch: mit Inventar, Eigentümer, Rechteübersicht und Abschaltweg. Wer Aktionen freigibt, braucht eine kurze Schulung darin, woran man manipulierte Vorschläge erkennt.

**Betriebsort:** Wo das Modell läuft, ist eine eigene Entscheidung. Lokaler oder souveräner Betrieb klärt, welche Daten das Haus verlassen und wer Zugriff auf Prompts und Protokolle hat. Was das konkret bedeutet, beschreibt der Überblick [Lokale KI im Unternehmen](https://www.ruebstudio.de/de/wissen/lokale-ki/lokale-ki-unternehmen). Gegen Injection schützt der Betriebsort nicht, denn auch ein lokales Modell liest die manipulierte E-Mail.

**Regulierung:** Für Hochrisiko-KI-Systeme verlangt [Artikel 15 der KI-Verordnung](https://artificialintelligenceact.eu/article/15/) Widerstandsfähigkeit gegen Versuche Unbefugter, Nutzung, Ausgaben oder Leistung durch Ausnutzen von Schwachstellen zu verändern, ausdrücklich auch gegen Datenvergiftung, Modellvergiftung und Eingaben, die das Modell zu Fehlern verleiten sollen. Ob ein Agent darunter fällt, hängt vom Einsatzzweck ab. Das ist eine Orientierung, keine Rechtsberatung.

## Wie gehe ich bei der Absicherung Schritt für Schritt vor?

Die Absicherung folgt einem festen Ablauf: Agenten inventarisieren, je Agent die drei kritischen Eigenschaften prüfen, Rechte und Werkzeuge zurückschneiden, Freigaben und Filter ergänzen, protokollieren und regelmäßig angreifen lassen. Der Ablauf funktioniert für einen einzelnen Pilotagenten ebenso wie für zwanzig Agenten im Betrieb.

1. **Inventar anlegen.** Welche Agenten, Assistenten und Automatisierungen mit Sprachmodell laufen bereits? Dazu zählen auch Copilot-Funktionen in Bürosoftware und selbst eingerichtete Werkzeuge einzelner Abteilungen.
2. **Je Agent Datenfluss skizzieren.** Welche Eingänge (Mail, Upload, Web, Tool-Ergebnisse), welche Daten, welche Werkzeuge, welche Ausgänge? Eine Seite pro Agent genügt.
3. **Kritische Kombination prüfen.** Erfüllt der Agent alle drei Eigenschaften – fremde Inhalte, vertrauliche Daten, externe Wirkung? Wenn ja: eine Eigenschaft entfernen, den Agenten aufteilen oder eine menschliche Freigabe vor die Wirkung setzen.
4. **Identität festlegen.** Läuft der Agent mit den Rechten des Nutzers oder mit einem Dienstkonto? Wenn Dienstkonto: Rechte auf das Nötige schneiden und regelmäßig prüfen. Tokens nie zwischen Diensten weiterreichen.
5. **Werkzeuge zurückschneiden.** Generische Werkzeuge (Shell, beliebige HTTP-Aufrufe, Vollzugriff auf Datenbanken) durch enge, zweckgebundene ersetzen. Nicht benötigte Tools entfernen.
6. **Ausgänge sichern.** Positivliste für Netzziele, Filter gegen eingebettete Bilder und unbekannte Links, keine automatische Darstellung externer Inhalte.
7. **Freigaben definieren.** Welche Aktionen braucht eine Bestätigung? Faustregel: alles, was nach außen geht, Geld bewegt, Daten löscht oder Rechte verändert.
8. **Protokollieren.** Prompts, Tool-Aufrufe, Parameter und Ergebnisse zentral speichern, mit Aufbewahrungsfrist und Zugriffsschutz.
9. **Angreifen lassen.** Vor dem Produktivstart und nach größeren Änderungen gezielt testen: präparierte Dokumente, Mails mit versteckten Anweisungen, Versuche, den System-Prompt auszulesen. Das BSI betont, dass seine Basismaßnahmen ein anwendungsspezifisches Red Teaming nicht ersetzen.

Schritt 3 hat die größte Hebelwirkung: Ein Agent, der die kritische Kombination gar nicht erst erreicht, braucht in den folgenden Schritten deutlich weniger Absicherung.

## Wo liegen die Grenzen der Schutzmaßnahmen?

Keine der beschriebenen Maßnahmen verhindert Prompt Injection vollständig. Das BSI hält fest, dass Abwehrmaßnahmen durch adaptive Angriffe umgangen werden können. Schutz bedeutet deshalb, den möglichen Schaden zu begrenzen und Vorfälle zu erkennen – nicht, Angriffe sicher auszuschließen.

Daraus ergeben sich einige ehrliche Grenzen, die eine IT-Leitung kennen sollte:

- **Erkennungsfilter sind probabilistisch.** Klassifikatoren und Schlagwortlisten fangen bekannte Muster ab. Neu formulierte, codierte oder in Bildern versteckte Anweisungen kommen durch.
- **Menschliche Freigabe ermüdet.** Wer täglich hundert Agentenvorschläge bestätigt, prüft irgendwann nicht mehr. OWASP führt das Ausnutzen dieses Vertrauens als eigenes Risiko (ASI09 Human-Agent Trust Exploitation). Freigaben gehören deshalb nur an Aktionen mit echten Folgen.
- **Verkettete Agenten vervielfachen Fehler.** Gibt ein Agent seine Ergebnisse an den nächsten weiter, wandert eine Injection mit. Jeder Agent in der Kette muss die Eingaben des vorherigen als fremd behandeln.
- **Langzeitspeicher konserviert Angriffe.** Was einmal im Gedächtnis eines Agenten steht, wirkt in späteren Sitzungen weiter. Speicher braucht Herkunftsangaben und Ablaufdaten.
- **Lieferkette ist schwer zu überblicken.** MCP-Server, Plugins und Agenten-Skills aus öffentlichen Quellen laufen oft mit den Rechten des Nutzers. Ein Prüfprozess wie für andere Software ist nötig, aber aufwendig.
- **Sicherheit kostet Komfort.** Weniger Rechte und mehr Freigaben machen Agenten langsamer und weniger autonom. Diese Abwägung muss bewusst getroffen werden, nicht nebenbei.

Wann ein Agent trotz Schutzmaßnahmen die falsche Wahl ist: wenn eine Aufgabe alle drei kritischen Eigenschaften braucht, keine menschliche Freigabe verträgt und ein Fehler schwere Folgen hätte. Dann ist ein fest programmierter Ablauf mit klaren Regeln oft die sicherere Lösung.

## Wie fange ich an?

Beginnen Sie mit einer Bestandsaufnahme und einem einzigen Agenten mit begrenztem Risiko: einem, der fremde Inhalte liest, aber nur Entwürfe erzeugt. Daran lassen sich Rechtekonzept, Protokollierung und Freigabeprozess erproben, bevor Agenten mit Wirkung nach außen dazukommen.

Ein pragmatischer Start in drei Schritten:

1. **Diese Woche:** Liste aller Agenten und KI-Funktionen erstellen und für jeden die drei Fragen beantworten: Liest er fremde Inhalte? Sieht er vertrauliche Daten? Kann er nach außen wirken?
2. **Diesen Monat:** Für jeden Agenten mit drei Ja eine Entscheidung treffen – aufteilen, Rechte entziehen oder Freigabe einbauen. Protokollierung für alle Agenten einschalten.
3. **Dieses Quartal:** Einen strukturierten Test mit präparierten Dokumenten und Mails durchführen und die BSI-Basismaßnahmen als Prüfliste nutzen.

Wer Agenten von Anfang an so plant, dass Daten, Modelle und Protokolle unter eigener Kontrolle bleiben, findet Bausteine dafür im Bereich [souveräne KI](https://www.ruebstudio.de/de/souveraene-ki). Einen Überblick über typische Einsatzfelder von Agenten, an denen sich das Bedrohungsmodell gut üben lässt, gibt die Seite zu [KI-Agenten](https://www.ruebstudio.de/de/ki-agenten).

Stand der Quellen: November 2026.

## Häufige Fragen

### Lässt sich Prompt Injection mit einem guten System-Prompt verhindern?

Nein. Das BSI weist darauf hin, dass es keine zuverlässige Gegenmaßnahme gibt, die das Problem vollständig beseitigt. Ein gehärteter System-Prompt ist eine von mehreren Schichten, die Schadensbegrenzung muss in der Architektur liegen.

### Ist ein lokal betriebenes Modell automatisch sicherer?

Lokaler Betrieb klärt, wo Daten verarbeitet werden. Gegen eingeschleuste Anweisungen in Dokumenten oder E-Mails schützt er nicht, denn auch ein lokales Modell liest diese Inhalte.

### Welche Agenten sollte eine IT-Leitung zuerst prüfen?

Die Agenten, die gleichzeitig fremde Inhalte verarbeiten, auf interne Daten zugreifen und nach außen senden oder schreiben können. Diese Kombination ist die Voraussetzung für die meisten Datenabflüsse.

### Brauche ich für Agentensicherheit ein eigenes KI-Sicherheitsteam?

Für den Einstieg nicht. Die wirksamsten Maßnahmen sind klassische IT-Sicherheit: Rechtevergabe, Netzsegmentierung, Freigabeprozesse, Protokollierung. Für kritische Anwendungen ist ein anwendungsspezifisches Red Teaming sinnvoll.

## Quellen

- [OWASP Top 10 for LLM Applications 2025](https://genai.owasp.org/llm-top-10/)
- [OWASP LLM06:2025 Excessive Agency](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/)
- [OWASP Top 10 for Agentic Applications for 2026](https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/)
- [BSI: Evasion-Attacks auf LLMs – Gegenmaßnahmen in der Praxis](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Evasion-Angriffe_auf_LLMs-Gegenmassnahmen.pdf?__blob=publicationFile)
- [BSI: Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Basisschutz_Indirect-Prompt-Injections_LLM.pdf?__blob=publicationFile)
- [Simon Willison: The lethal trifecta for AI agents](https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/)
- [Meta AI: Agents Rule of Two](https://ai.meta.com/blog/practical-ai-agent-security/)
- [Model Context Protocol: Security Best Practices](https://modelcontextprotocol.io/specification/draft/basic/security_best_practices)
- [EU AI Act, Artikel 15: Genauigkeit, Robustheit und Cybersicherheit](https://artificialintelligenceact.eu/article/15/)
