Zum Inhalt springen

AgentOps: KI-Agenten zuverlässig betreiben

Ein KI-Agent ist nach dem Go-live nicht fertig, sondern fängt erst an, echte Arbeit zu verrichten. Ab diesem Tag ändern sich Modelle, Schnittstellen, Daten und der Prozess selbst, ohne dass jemand am Agenten etwas angefasst hat. AgentOps beschreibt, wie Sie diesen Betrieb so organisieren, dass der Agent auch nach einem Jahr noch verlässlich das tut, wofür er gebaut wurde.

Was ist AgentOps und wofür wird es eingesetzt?

AgentOps ist die Betriebsdisziplin für KI-Agenten: Zuständigkeiten, Überwachung, Wartung, Änderungs- und Störungsmanagement für Systeme, die mit einem Sprachmodell selbstständig mehrere Schritte ausführen und dabei Werkzeuge aufrufen. Es überträgt bewährte IT-Betriebspraxis auf Software, deren Verhalten nicht vollständig deterministisch ist.

Der Unterschied zu klassischem Anwendungsbetrieb liegt in drei Eigenschaften von Agenten:

  • Nicht-deterministische Ausgaben. Dieselbe Eingabe kann zu unterschiedlichen Antworten und unterschiedlichen Werkzeugaufrufen führen. Ein grüner Health-Check sagt deshalb wenig darüber, ob die Ergebnisse fachlich stimmen.
  • Mehrstufige Abläufe. Ein Agent liest zum Beispiel eine Anfrage, sucht in der Wissensbasis, fragt ein ERP ab und schreibt einen Angebotsentwurf. Anthropic weist in seinem Leitfaden Building effective agents darauf hin, dass die Autonomie von Agenten höhere Kosten und das Risiko sich aufschaukelnder Fehler mit sich bringt.
  • Abhängigkeit von fremden Modellen. Das Sprachmodell gehört in der Regel nicht Ihnen. Es wird vom Anbieter weiterentwickelt, ersetzt und irgendwann abgeschaltet.

Eingesetzt wird AgentOps überall dort, wo ein Agent nicht nur als Demo läuft, sondern in einem echten Prozess Arbeit übernimmt: Angebotsentwürfe, Ticketvorqualifizierung im Service, Recherche in internen Dokumenten oder Vorbereitung von Vertriebskontakten. Welche Agententypen in Unternehmen typisch sind, zeigt die Übersicht zu KI-Agenten für Fachabteilungen.

Wie funktioniert AgentOps? Die Bausteine

AgentOps besteht aus sechs Bausteinen: klaren Zuständigkeiten, Beobachtbarkeit, Qualitätsmessung, Änderungsmanagement, Störungsmanagement und Kostenkontrolle. Keiner davon ist neu, aber jeder muss an die Eigenheiten von Agenten angepasst werden. Fehlt ein Baustein, fällt das meist erst Wochen nach dem Go-live auf.

Zuständigkeiten

Ein Agent hat zwei Eigentümer: die Fachabteilung, die verantwortet, ob die Ergebnisse fachlich stimmen, und den IT-Betrieb, der verantwortet, dass das System läuft, sicher ist und Updates bekommt. Beide sollten namentlich benannt sein. Ohne fachliche Zuständigkeit bemerkt niemand, dass die Qualität langsam nachlässt; ohne technische Zuständigkeit bleibt ein abgelaufener API-Schlüssel tagelang unentdeckt.

Beobachtbarkeit

Für jeden Lauf eines Agenten sollte nachvollziehbar sein, welche Eingabe kam, welche Modellaufrufe und Werkzeugaufrufe stattfanden, wie viele Tokens verbraucht wurden, wie lange jeder Schritt dauerte und was am Ende herauskam. Dafür bietet sich Tracing an, wie man es aus verteilten Systemen kennt. Das OpenTelemetry-Projekt pflegt eigene semantische Konventionen für generative KI, die Spans, Metriken und Events für GenAI-Clients sowie für das Model Context Protocol (MCP) beschreiben. Wer sich an solche Konventionen hält, bleibt beim Wechsel des Observability-Werkzeugs flexibel.

Qualitätsmessung

Technische Metriken zeigen, ob der Agent läuft, nicht ob er gut arbeitet. Dafür brauchen Sie fachliche Prüfungen: eine feste Sammlung realer Testfälle mit erwarteten Ergebnissen (oft „Evals" genannt), Stichproben, die ein Mensch bewertet, und Signale aus dem Alltag, etwa wie oft Mitarbeitende einen Entwurf des Agenten verwerfen oder stark umschreiben.

Änderungsmanagement

Jede Änderung an Prompt, Modell, Werkzeugdefinition oder Wissensbasis ist eine Änderung am Produktivsystem. Sie gehört versioniert, vor der Freigabe gegen die Testfälle geprüft und so ausgerollt, dass Sie bei Problemen auf den vorherigen Stand zurückkehren können.

Störungsmanagement

Agenten fallen anders aus als klassische Software. Neben harten Fehlern (Modell nicht erreichbar, Werkzeug liefert Fehler) gibt es weiche Fehler: Der Agent läuft, liefert aber falsche oder unvollständige Ergebnisse. Für beide Fälle braucht es definierte Reaktionen, siehe den Abschnitt zu Grenzen und Risiken.

Kostenkontrolle

Bei API-Modellen bezahlen Sie pro Token. Ein Agent, der in eine Schleife gerät oder bei jedem Lauf zu viel Kontext lädt, verursacht Kosten, die erst auf der Monatsrechnung auffallen. Die OWASP-Liste der Top 10 Risiken für LLM-Anwendungen 2025 führt dieses Problem als eigenen Punkt „Unbounded Consumption". Budgets pro Lauf und pro Tag sowie Alarme bei Ausreißern gehören deshalb zum Betrieb.

Einsatzfelder und Varianten des Betriebs

Wie aufwendig der Betrieb ist, hängt weniger von der Technik als vom Einsatz ab: ob der Agent nur Entwürfe vorbereitet oder selbst in Systeme schreibt, ob er intern oder mit Kunden arbeitet und ob das Modell in der Cloud oder im eigenen Rechenzentrum läuft. Diese drei Achsen bestimmen den Umfang von AgentOps.

Entwurfs-Agenten mit menschlicher Freigabe

Der Agent bereitet vor, ein Mensch prüft und gibt frei (siehe Human-in-the-Loop). Beispiele sind Angebotsentwürfe oder Antwortvorschläge im Service. Hier ist der Betrieb am einfachsten, weil jeder Fehler vor der Wirkung auffallen kann. Der wichtigste Betriebswert ist die Verwerfungsquote: Steigt sie, stimmt etwas mit Daten, Prompt oder Modell nicht. Konkrete Beispiele finden Sie bei den Agenten für Angebotserstellung und technischen Service.

Handelnde Agenten mit Schreibrechten

Der Agent legt über Tool Use selbst Datensätze an, verschickt Nachrichten oder ändert Status in Fremdsystemen. OWASP beschreibt das Risiko als „Excessive Agency" und nennt als Ursachen zu viele Funktionen, zu weitreichende Rechte oder zu viel Autonomie bei folgenreichen Aktionen. Im Betrieb heißt das: minimal nötige Rechte, Protokollierung jeder Schreibaktion, Obergrenzen pro Lauf und ein schneller Weg, den Agenten anzuhalten.

Wissens-Agenten

Agenten, die Fragen aus internen Dokumenten beantworten, altern mit ihrer Wissensbasis. Wenn neue Handbücher fehlen oder veraltete Fassungen weiter im Index liegen, antworten sie korrekt formuliert, aber inhaltlich falsch. Betrieb heißt hier vor allem: Pflege der Quellen, Neuindexierung und Kontrolle, welche Dokumente überhaupt durchsucht werden. Mehr dazu bei den Agenten für Wissensmanagement.

Cloud-Modell oder eigener Betrieb

Mit einem API-Modell übernimmt der Anbieter den Betrieb der Modellinfrastruktur, gibt aber den Takt der Modellwechsel vor. Läuft das Modell im eigenen Rechenzentrum, entscheiden Sie selbst, wann Sie wechseln, tragen dafür aber Hardware, Updates, Sicherheitspatches und Kapazitätsplanung; wie man einen solchen Server auslegt, beschreibt der Artikel zu Hardware für lokale LLMs. Was das für Datenhoheit und Infrastruktur bedeutet, beschreibt die Seite zu souveräner KI.

Welche Voraussetzungen braucht der Betrieb?

Bevor ein Agent live geht, sollten vier Dinge stehen: benannte Verantwortliche, eine Sammlung realer Testfälle, technische Protokollierung jedes Laufs und ein dokumentierter Rückfallweg auf manuelle Bearbeitung. Ohne diese Grundlagen lässt sich später weder messen, ob der Agent gut arbeitet, noch sauber reagieren, wenn er es nicht tut.

Daten. Für die Qualitätsmessung brauchen Sie echte Beispiele aus dem Prozess, mit dem Ergebnis, das ein erfahrener Mitarbeiter erzeugt hätte. 30 bis 100 gut ausgewählte Fälle sind für den Anfang ein praktikabler Umfang; wichtiger als die Menge ist, dass schwierige Fälle und Randfälle dabei sind.

Systeme. Der Agent braucht eigene technische Identitäten mit eigenen Zugangsdaten statt geteilter Benutzerkonten. Nur so lassen sich Schreibaktionen zuordnen, Rechte begrenzen und Schlüssel rotieren. Dazu kommt ein Ort für Protokolle und Traces, auf den der IT-Betrieb Zugriff hat.

Organisation. Klären Sie, wer Änderungen am Prompt freigeben darf, wer bei einer Störung informiert wird und wer entscheidet, den Agenten abzuschalten. Ein Betriebshandbuch von wenigen Seiten genügt, solange es diese Fragen beantwortet. Wie sich solche Regeln in eine schlanke KI-Governance einfügen, zeigt der gleichnamige Artikel.

Regulierung. Fällt ein Agent unter die Hochrisiko-Kategorien des EU AI Act, verlangt Artikel 26 von Betreibern unter anderem menschliche Aufsicht durch kompetente Personen, Überwachung des Betriebs nach der Gebrauchsanweisung des Anbieters und die Aufbewahrung automatisch erzeugter Protokolle, soweit sie unter ihrer Kontrolle stehen, für mindestens sechs Monate. Die meisten Büroagenten fallen nicht in diese Kategorie; ob Ihr Fall betroffen ist, sollten Sie rechtlich prüfen lassen. Dieser Abschnitt ist eine Orientierung, keine Rechtsberatung.

Vorgehen in Schritten: vom Go-live zum Regelbetrieb

Der Übergang in den Regelbetrieb gelingt am besten in fünf Schritten: Betriebsziele festlegen, Messung einrichten, eine begleitete Anlaufphase fahren, Wartungsrhythmus vereinbaren und Modellwechsel vorausplanen. Diese Reihenfolge stellt sicher, dass Sie messen können, bevor Sie etwas ändern.

1. Betriebsziele festlegen

Legen Sie fest, was „funktioniert" bedeutet, in Zahlen, die Sie messen können: Anteil der Läufe ohne technischen Fehler, Anteil der Entwürfe, die ohne große Änderung übernommen werden, maximale Laufzeit, maximale Kosten pro Lauf. Das Google-SRE-Handbuch beschreibt mit dem Error Budget ein bewährtes Prinzip: Aus dem Zielwert ergibt sich, wie viel Unzuverlässigkeit in einem Zeitraum erlaubt ist, und solange dieses Budget nicht aufgebraucht ist, dürfen Änderungen ausgerollt werden. Auf Agenten übertragen lässt sich dasselbe für fachliche Fehler anwenden.

2. Messung einrichten

Tracing für jeden Lauf, ein Dashboard mit den Betriebszielen, Alarme für harte Fehler und Kostenausreißer. Dazu ein automatischer Lauf der Testfälle, der bei jeder Änderung und zusätzlich in festem Rhythmus startet, etwa wöchentlich. Der feste Rhythmus ist wichtig, weil sich das Verhalten auch ohne eigene Änderung verschieben kann, etwa wenn sich Daten in den angebundenen Systemen ändern.

3. Begleitete Anlaufphase

In den ersten Wochen prüfen Fachleute mehr Ergebnisse als später nötig. Jede Abweichung wird kategorisiert: Datenproblem, Prompt-Problem, Werkzeugfehler, Modellgrenze oder Prozessfrage. Aus dieser Liste ergeben sich die ersten Korrekturen und neue Testfälle. Erst wenn die Fehlerquote stabil im Zielbereich liegt, sinkt der Prüfanteil auf Stichproben.

4. Wartungsrhythmus vereinbaren

Wartung ist bei Agenten keine Ausnahme, sondern Daueraufgabe. Typische wiederkehrende Arbeiten sind: Prüfung der Qualitätsmetriken, Auswertung verworfener Ergebnisse, Pflege der Wissensbasis, Aktualisierung von Werkzeugen nach Änderungen an angebundenen Systemen, Rotation von Zugangsdaten und Abgleich der Kosten mit dem Budget. Legen Sie fest, wer das wie oft macht.

5. Modell- und API-Wechsel vorausplanen

Modellanbieter ersetzen Modelle regelmäßig. Anthropic etwa unterscheidet in seiner Übersicht zu Modell-Abkündigungen die Stufen Active, Legacy, Deprecated und Retired und sagt für öffentlich verfügbare Modelle mindestens 60 Tage Vorlauf vor der Abschaltung zu. Ein Beispiel aus derselben Übersicht (Stand Oktober 2026): Für claude-sonnet-4-5-20250929 wurde die Abkündigung am 30. September 2026 bekanntgegeben, die Abschaltung ist für den 30. November 2026 geplant. Anfragen an abgeschaltete Modelle schlagen fehl.

Nicht nur Modelle ändern sich. Laut derselben Seite wurden mit der API-Version 2026-10-21 die Parameter temperature, top_p und top_k entfernt; Anfragen, die sie setzen, liefern dort einen Fehler. Ein Agent, der diese Parameter verwendet, muss vor einem Wechsel der API-Version angepasst werden. Planen Sie deshalb:

  • die Modellversion fest zu konfigurieren, statt einen „immer aktuellsten" Alias zu verwenden,
  • Abkündigungen der genutzten Anbieter zu beobachten und als Termin im Betriebskalender einzutragen,
  • jeden Modellwechsel wie ein Release zu behandeln: Testfälle gegen das neue Modell laufen lassen, Unterschiede bewerten, Prompts anpassen, dann umstellen.

Grenzen und Risiken im Betrieb

Die größten Betriebsrisiken bei Agenten sind schleichender Qualitätsverlust, unbemerkte Fehlhandlungen in Fremdsystemen, Manipulation über Eingaben und wachsende Kosten. Sie entstehen selten durch einen einzelnen großen Fehler, sondern durch viele kleine Änderungen, die niemand zusammen betrachtet. AgentOps soll genau diese Lücke schließen.

Drift. Der Agent wird nicht schlechter, weil sich sein Code ändert, sondern weil sich seine Umgebung ändert: neue Produktbezeichnungen, geänderte Formulare, eine neue Version des ERP, ein neues Modell. Ohne regelmäßige Messung gegen feste Testfälle fällt das erst auf, wenn sich Mitarbeitende beschweren.

Prompt Injection. OWASP führt Prompt Injection als ersten Punkt seiner Liste für 2025. Ein Agent, der E-Mails, Webseiten oder hochgeladene Dokumente liest, kann darin versteckte Anweisungen finden und ihnen folgen. Im Betrieb begrenzen Sie den Schaden über enge Rechte, Freigabeschritte vor kritischen Aktionen und Protokolle, mit denen sich ein Vorfall nachvollziehen lässt.

Stille Fehler. Ein Werkzeug liefert leere Ergebnisse statt eines Fehlers, und der Agent formuliert trotzdem eine plausible Antwort, oft eine Halluzination. Solche Fälle erkennen Sie nur, wenn Werkzeugergebnisse im Trace sichtbar sind und Prüfungen auch auf unplausibel leere Rückgaben achten.

Abhängigkeit vom Anbieter. Ein neues Modell kann bei Ihrem Prozess besser oder schlechter abschneiden als das alte. Wer keine Testfälle hat, kann das vor der Umstellung nicht beurteilen und muss sich auf die Ankündigung verlassen.

Wann der Ansatz nicht passt. Für einen Agenten, der wenige Male im Monat eine unkritische Zusammenfassung erstellt, ist ein vollständiger AgentOps-Prozess überdimensioniert. Hier genügen feste Modellversion, einfache Protokollierung und eine benannte Ansprechperson. Umgekehrt gilt: Wenn ein Prozess keine Fehler toleriert und sich nicht durch menschliche Freigabe absichern lässt, ist ein Agent möglicherweise das falsche Werkzeug.

Was im Notfall passiert. Jeder Agent braucht einen Schalter, mit dem er sofort angehalten werden kann, und einen beschriebenen Rückfallweg: Die Arbeit läuft wieder manuell, bis die Ursache behoben ist. Diesen Weg sollten Sie einmal üben, bevor er gebraucht wird.

Wie fange ich mit AgentOps an?

Beginnen Sie mit einem Agenten, der bereits läuft oder kurz vor dem Go-live steht, und klären Sie zuerst Zuständigkeit, Protokollierung und Testfälle. Diese drei Punkte decken den größten Teil der Risiken ab und lassen sich in wenigen Tagen umsetzen. Werkzeuge und Dashboards können danach schrittweise folgen.

Ein pragmatischer Einstieg in vier Punkten:

  1. Inventur. Listen Sie alle Agenten und Automatisierungen mit Sprachmodell auf, die im Unternehmen laufen, mit Modell und Modellversion, angebundenen Systemen, Rechten und Verantwortlichen. Oft ist das die erste vollständige Übersicht.
  2. Fünf Kennzahlen. Fehlerquote, Verwerfungsquote, Laufzeit, Kosten pro Lauf und Anzahl der Läufe. Mehr braucht es am Anfang nicht.
  3. Testfälle sammeln. Bitten Sie die Fachabteilung um 30 echte, anonymisierte Fälle mit dem erwarteten Ergebnis. Damit können Sie jede künftige Änderung prüfen.
  4. Kalender pflegen. Tragen Sie bekannte Abkündigungstermine der genutzten Modelle und API-Versionen ein und planen Sie die Migration mit Vorlauf ein.

In unserem eigenen Betrieb hat sich bewährt, Betrieb und Weiterentwicklung im selben Rhythmus zu besprechen: Was die Messung zeigt, wird zur nächsten Änderung, und jede Änderung wird wieder gemessen. Wer zusätzlich Rahmenwerke für die Governance sucht, findet im NIST AI Risk Management Framework eine frei verfügbare Struktur; NIST hat dazu im Juli 2024 ein eigenes Profil für generative KI (NIST AI 600-1) veröffentlicht.

Wenn Sie den Aufbau einer KI-Organisation insgesamt planen, also Rollen, Prioritäten und Betrieb mehrerer Agenten, hilft die Seite zum KI-Aufbau im Unternehmen bei der Einordnung. Begriffe wie LLMOps, Tracing oder Evals erklärt das KI-Lexikon.

Häufige Fragen

Ist AgentOps dasselbe wie MLOps oder LLMOps?

Nein. MLOps betreibt trainierte Modelle, LLMOps betreibt Anwendungen rund um Sprachmodelle. AgentOps ergänzt das um mehrstufige Abläufe, Werkzeugaufrufe und Schreibrechte in Fremdsystemen, die eigene Überwachung und Freigaben brauchen.

Wie lange warnt ein Modellanbieter vor der Abschaltung eines Modells?

Das legt jeder Anbieter selbst fest. Anthropic nennt für öffentlich verfügbare Modelle mindestens 60 Tage Vorlauf vor der Abschaltung; andere Anbieter haben eigene Fristen, die Sie vertraglich prüfen sollten.

Braucht ein KI-Agent eine eigene Bereitschaft rund um die Uhr?

Nur, wenn der Prozess rund um die Uhr läuft und ein Ausfall nicht warten kann. Für die meisten Büroprozesse genügen Betriebszeiten der Fachabteilung plus ein sauberer Rückfall auf manuelle Bearbeitung.

Wer sollte im Unternehmen für einen KI-Agenten verantwortlich sein?

Fachlich die Abteilung, deren Prozess der Agent bearbeitet, technisch der IT-Betrieb. Beide Rollen sollten namentlich benannt sein, bevor der Agent live geht.

Quellen

  1. Anthropic: Model deprecations (abgerufen Oktober 2026) platform.claude.com
  2. Anthropic: Building effective agents (19.12.2024) anthropic.com
  3. Google SRE Book: Embracing Risk (Error Budgets) sre.google
  4. OWASP Top 10 for LLM Applications 2025 genai.owasp.org
  5. OWASP LLM06:2025 Excessive Agency genai.owasp.org
  6. OpenTelemetry: Semantic Conventions for Generative AI github.com
  7. EU AI Act, Artikel 26: Pflichten der Betreiber von Hochrisiko-KI-Systemen artificialintelligenceact.eu
  8. NIST AI Risk Management Framework nist.gov