Kosten und Latenz von KI-Agenten optimieren
Ein KI-Agent ruft ein Sprachmodell nicht einmal auf, sondern oft zehn- oder zwanzigmal pro Aufgabe: planen, Werkzeug aufrufen, Ergebnis lesen, nächsten Schritt wählen. Jeder Aufruf schickt den gesamten bisherigen Kontext erneut mit. Deshalb wachsen Kosten und Antwortzeiten bei Agenten schneller als bei einem einfachen Chat. Dieser Überblick zeigt die fünf wichtigsten Hebel, wie sie zusammenwirken und wo sie die Qualität gefährden. Stand der Herstellerangaben: Oktober 2026.
Was bedeutet Kosten- und Latenzoptimierung bei KI-Agenten?
Gemeint ist, dieselbe Aufgabe mit weniger abgerechneten Tokens und kürzerer Wartezeit zu erledigen, ohne dass Ergebnisse schlechter werden. Kosten entstehen fast vollständig aus Eingabe- und Ausgabetokens pro Modellaufruf. Latenz entsteht aus der Verarbeitung der Eingabe, der Erzeugung der Ausgabe und der Zahl der Schritte, die der Agent hintereinander ausführt.
Bei Agenten ist das Verhältnis anders als bei einzelnen Anfragen. Ein typischer Ablauf, etwa das Prüfen einer eingehenden Bestellung gegen Rahmenvertrag und Lagerbestand, sieht so aus:
- Der Agent erhält Systemprompt, Tool-Definitionen und die Bestellung.
- Er ruft ein Werkzeug auf, zum Beispiel eine Abfrage im ERP.
- Das Ergebnis wird an den Kontext angehängt, der nächste Aufruf schickt alles erneut.
- Nach mehreren Runden schreibt er eine Zusammenfassung und einen Vorschlag.
Der Systemprompt und die Tool-Beschreibungen werden dabei in jeder Runde mitgeschickt. Bei langen Tool-Listen machen sie schnell den größten Teil der Eingabe aus. Genau dort setzen die meisten Hebel an. Optimierung heißt deshalb selten „billigeres Modell", sondern meist „weniger wiederholte Arbeit".
Wie entstehen Kosten und Wartezeit bei einem Agenten?
Kosten ergeben sich aus der Zahl der Eingabe- und Ausgabetokens multipliziert mit dem Preis des Modells, summiert über alle Schritte. Wartezeit setzt sich aus der Zeit bis zum ersten Token, der Generierungsdauer der Ausgabe und den Werkzeugaufrufen zwischen den Schritten zusammen. Ohne Messung pro Schritt optimieren Sie blind.
Drei Messgrößen sollten Sie für jeden Modellaufruf protokollieren:
- Eingabetokens, getrennt nach neu verarbeitet und aus dem Cache gelesen. Die APIs der großen Anbieter liefern diese Werte im
usage-Objekt der Antwort mit. - Ausgabetokens, einschließlich eventueller Denkschritte des Modells.
- Zeiten: Zeit bis zum ersten Token, Gesamtdauer des Aufrufs, Dauer des Werkzeugaufrufs danach.
Vor dem Versand lässt sich die Eingabe zählen. Anthropic bietet dafür einen eigenen Endpunkt an, der laut Dokumentation zum Token Counting kostenlos ist, Systemprompt, Tools, Bilder und PDFs berücksichtigt und ausdrücklich eine Schätzung liefert. Wichtig beim Modellwechsel: Laut derselben Dokumentation nutzen neuere Claude-Modelle einen anderen Tokenizer, und derselbe Text ergibt dort ungefähr 30 Prozent mehr Tokens als auf älteren Modellen. Alte Messwerte lassen sich also nicht einfach übertragen.
Aus diesen Daten erkennen Sie, welcher Schritt teuer ist und welcher langsam. Das sind oft verschiedene Schritte: Ein langer Kontext treibt die Kosten, eine lange Ausgabe treibt die Wartezeit.
Welche Hebel gibt es, um Kosten und Latenz zu senken?
Es gibt fünf Hebel mit unterschiedlicher Wirkung: Prompt-Caching, Modellkaskade, Batch-Verarbeitung, Kontextpflege und eigene Inferenz. Caching und Kontextpflege wirken auf Kosten und Latenz zugleich. Die Kaskade spart vor allem Kosten. Batch spart Kosten und kostet Wartezeit. Eigene Inferenz verschiebt Kosten von variabel zu fix.
Prompt-Caching
Beim Caching speichert der Anbieter den Verarbeitungszustand eines unveränderten Prompt-Anfangs und nutzt ihn bei der nächsten Anfrage erneut. Bei Claude wird laut Anthropic-Dokumentation zum Prompt Caching der Prefix in der Reihenfolge tools, system, messages gebildet. Ein Cache-Schreibvorgang kostet dort das 1,25-Fache des normalen Eingabepreises bei fünf Minuten Lebensdauer und das 2-Fache bei einer Stunde; ein Cache-Treffer kostet standardmäßig das 0,1-Fache, bei einigen aktuellen Modellen noch weniger. Die Ausgabe ändert sich laut derselben Quelle nicht.
OpenAI aktiviert Caching bei unterstützten Modellen automatisch. Laut OpenAI-Dokumentation beginnt es bei aktuellen Modellen ab 1.024 Tokens, und zwischengespeicherte Eingabetokens sind um bis zu 95 Prozent rabattiert. Beide Anbieter empfehlen dasselbe Prinzip: stabile Inhalte nach vorn, wechselnde Inhalte wie Zeitstempel oder Nutzerdaten nach hinten.
Für Agenten heißt das konkret: Tool-Definitionen und Systemprompt nicht pro Aufruf umbauen, keine Uhrzeit in den Systemprompt schreiben, die Reihenfolge der Tools fest halten.
Modellkaskade
Eine Kaskade schickt jede Anfrage zuerst an ein kleines, günstiges Modell und eskaliert nur dann an ein größeres, wenn das Ergebnis unsicher oder ungenügend ist. Eine Variante ist das Routing: Ein Klassifikator entscheidet vorab, welches Modell eine Aufgabe bekommt. Die Forschungsarbeit FrugalGPT von Chen, Zaharia und Zou berichtet, dass eine solche Kaskade in ihren Experimenten die Leistung des stärksten Einzelmodells mit bis zu 98 Prozent geringeren Kosten erreichen konnte. Das ist ein Laborergebnis auf bestimmten Datensätzen, keine Zusage für Ihren Prozess.
In der Praxis bewährt sich eine Aufteilung nach Schrittart: Klassifizieren, Felder extrahieren und Formatieren auf einem kleinen Modell, Planen und Abwägen auf einem großen. Wie Sie das passende Modell je Aufgabe finden, behandelt der geplante Überblick zur Modellwahl.
Batch-Verarbeitung
Nicht jede Aufgabe muss sofort fertig sein. Nächtliche Auswertungen, das Vorsortieren eines Postfachs oder das Anreichern von Stammdaten können warten. Anthropic gibt in der Dokumentation zur Message Batches API einen Preisnachlass von 50 Prozent an; die meisten Batches seien in weniger als einer Stunde fertig, nicht abgeschlossene Anfragen verfallen nach 24 Stunden. OpenAI nennt in der Batch-API-Dokumentation ebenfalls 50 Prozent Rabatt und ein Zeitfenster von 24 Stunden, mit eigenen, getrennten Ratenlimits.
Batch passt zu Agenten nur, wenn ein Schritt keine Rückkopplung braucht. Ein mehrstufiger Agent mit Werkzeugaufrufen lässt sich nicht als ein Batch ausführen; einzelne, unabhängige Teilaufgaben schon.
Kontextpflege
Jede Runde verlängert den Kontext. Werkzeugergebnisse, etwa ein komplettes JSON aus dem ERP, bleiben im Verlauf und werden bei jedem weiteren Aufruf erneut bezahlt. Kontextpflege heißt: Werkzeugantworten auf die benötigten Felder kürzen, abgeschlossene Zwischenschritte zusammenfassen, Dokumente gezielt per Suche statt vollständig einfügen, wie es der Überblick zu RAG im Unternehmen beschreibt.
Das spart nicht nur Geld. Die Studie Lost in the Middle von Liu et al. zeigt, dass Sprachmodelle Informationen am Anfang oder Ende eines langen Kontexts oft besser nutzen als in der Mitte. Ein kürzerer, sauberer Kontext ist also häufig auch ein besserer.
Eigene Inferenz
Wer ein offenes Modell selbst betreibt, zahlt keine Tokens, sondern Hardware, Strom und Betrieb. Inferenz-Server wie vLLM nutzen dafür eigene Techniken: Die Arbeit von Kwon et al. zu PagedAttention berichtet einen 2- bis 4-fach höheren Durchsatz gegenüber damaligen Vergleichssystemen bei gleicher Latenz. Zusätzlich kann vLLM laut Dokumentation zum Prefix Caching bereits verarbeitete Prompt-Anfänge wiederverwenden, also dasselbe Prinzip wie das Caching der API-Anbieter.
Eigene Inferenz lohnt sich vor allem bei hohem, gleichmäßigem Volumen oder wenn Daten das Haus nicht verlassen dürfen. Welche Hardware dafür nötig ist, zeigt der Artikel zu Hardware für lokale LLMs; Hintergrund zum Betrieb im eigenen Rechenzentrum finden Sie unter souveräne KI.
Wie wirken die Hebel zusammen und wo leidet die Qualität?
Die Hebel addieren sich nicht einfach, sie beeinflussen sich gegenseitig. Kontextpflege kann den Cache zerstören, wenn sie den stabilen Prompt-Anfang verändert. Eine Kaskade bricht den Cache, weil jedes Modell einen eigenen hat. Und jeder Hebel kann Qualität kosten, wenn er ohne Messung eingeführt wird.
Die wichtigsten Wechselwirkungen:
| Kombination | Was passiert | Worauf achten |
|---|---|---|
| Caching + Kontextpflege | Kürzen in der Mitte des Prompts macht den Cache ab dieser Stelle ungültig | Nur am Ende kürzen oder nach dem Kürzen einen neuen stabilen Stand schaffen |
| Caching + Kaskade | Jedes Modell baut seinen eigenen Cache auf | Kaskade auf Schritte mit kurzem Kontext beschränken |
| Batch + Caching | Cache-Einträge mit kurzer Lebensdauer laufen zwischen Batch-Anfragen leicht ab | Laut Anthropic-Dokumentation ist Cache-Vorwärmen innerhalb eines Batches nicht möglich |
| Kaskade + Qualität | Das kleine Modell liefert plausible, aber falsche Antworten | Eskalationskriterium prüfen, nicht nur die Selbsteinschätzung des Modells |
| Eigene Inferenz + Qualität | Offene Modelle sind bei manchen Aufgaben schwächer | Gleiche Testmenge wie für das API-Modell verwenden |
Qualität sichern Sie mit einer festen Testmenge, im Fachjargon Evals: 50 bis 200 echte, anonymisierte Fälle aus dem Prozess mit bekanntem richtigem Ergebnis. Jede Änderung an Modell, Prompt oder Kontext läuft zuerst gegen diese Menge. Steigt die Fehlerquote, wird die Änderung verworfen, egal wie viel sie spart.
Welche Voraussetzungen braucht die Optimierung?
Sie brauchen drei Dinge: eine Protokollierung pro Modellaufruf, eine Testmenge mit bekannten richtigen Ergebnissen und eine Architektur, in der Modell, Prompt und Kontextaufbau austauschbar sind. Fehlt eines davon, wird Optimierung zum Ratespiel und Qualitätsverluste fallen erst im Betrieb auf.
Daten. Protokollieren Sie pro Aufruf: Agent, Schritt, Modell, Eingabetokens (neu und aus dem Cache), Ausgabetokens, Zeit bis zum ersten Token, Gesamtzeit, Ergebnis der Qualitätsprüfung. Eine einfache Tabelle in einer Datenbank genügt am Anfang; wie das in einen geordneten Betrieb übergeht, beschreibt der Überblick zu AgentOps.
Systeme. Der Agent sollte das Modell pro Schritt über eine Konfiguration wählen können, nicht fest im Code. Werkzeugantworten sollten in einer Schicht gekürzt werden, die Sie zentral anpassen können. Für Batch-Aufgaben brauchen Sie einen Weg, Ergebnisse asynchron abzuholen und weiterzuverarbeiten.
Organisation. Jemand muss festlegen, was „gut genug" ist. Für ein Angebot gilt ein anderer Maßstab als für eine interne Ticket-Vorsortierung. Ohne diesen Maßstab gibt es keine Grundlage, um Kosten gegen Qualität abzuwägen. Wie sich das in konkreten Prozessen anfühlt, zeigen die Beispiele zu KI-Agenten für den technischen Service und zur Angebotserstellung.
Wie gehe ich Schritt für Schritt vor?
Gehen Sie in einer festen Reihenfolge vor: erst messen, dann die Hebel ohne Qualitätsrisiko, dann die mit Risiko. Jeder Schritt wird einzeln eingeführt und gegen die Testmenge geprüft. So wissen Sie bei jedem Effekt, woher er kommt, und können ihn bei Bedarf zurücknehmen.
- Ist-Stand messen. Eine Woche Betrieb protokollieren. Ergebnis: Kosten und Latenz pro Aufgabe und pro Schritt, die teuersten drei Schritte.
- Prompt für Caching ordnen. Tool-Definitionen und Systemprompt stabil an den Anfang, Wechselndes ans Ende. Cache-Trefferquote im
usage-Objekt prüfen. - Werkzeugantworten kürzen. Nur die Felder zurückgeben, die der Agent für den nächsten Schritt braucht. Testmenge laufen lassen.
- Ausgabe begrenzen. Strukturierte Ausgaben mit festem Schema statt freiem Text, wo es passt. Die Ausgabe wird Token für Token erzeugt, lange Antworten verlängern die Wartezeit also direkt.
- Schritte zusammenlegen oder parallelisieren. Unabhängige Werkzeugaufrufe gleichzeitig statt nacheinander ausführen. Das senkt die Gesamtdauer, ohne die Kosten zu erhöhen.
- Nicht eilige Aufgaben in Batch verlagern. Nächtliche Läufe, Massenauswertungen.
- Kaskade einführen. Für einfache Schritte ein kleineres Modell, mit klarer Eskalationsregel. Testmenge laufen lassen und Fehler einzeln ansehen.
- Eigene Inferenz prüfen. Erst, wenn Volumen und Datenlage es rechtfertigen und die Schritte 1 bis 7 erledigt sind.
In unserem eigenen Betrieb hat sich bewährt, nach jedem Schritt mindestens einige Tage echten Betrieb abzuwarten, bevor der nächste kommt. Manche Effekte zeigen sich erst bei Randfällen, die in der Testmenge fehlen.
Wo liegen Grenzen und Risiken?
Die größten Risiken sind unbemerkter Qualitätsverlust, Abhängigkeit von Preismodellen einzelner Anbieter und Optimierung an der falschen Stelle. Wer nur Tokenkosten betrachtet, übersieht, dass ein Fehler im Ergebnis meist teurer ist als die gesparten Tokens. Und Preise sowie Cache-Regeln ändern sich mit jedem neuen Modell.
- Stille Qualitätsverluste. Ein kleineres Modell liefert flüssigen Text, der falsch ist. Ohne Testmenge fällt das erst beim Kunden auf.
- Cache-Annahmen veralten. Mindestlängen, Lebensdauer und Rabatte unterscheiden sich je Modell und Anbieter. Die Anthropic-Dokumentation listet zum Beispiel unterschiedliche Mindestlängen von 512 bis 4.096 Tokens je nach Modell. Prüfen Sie nach jedem Modellwechsel die Trefferquote.
- Batch und Fristen. Wenn ein Batch nicht rechtzeitig fertig wird, verfallen Anfragen. Für Abläufe mit festen Zusagen ist Batch ungeeignet.
- Eigene Inferenz unterschätzt. Hardware, Updates, Überwachung, Bereitschaft und Auslastung kosten Zeit und Geld. Bei schwankendem Volumen steht teure Hardware oft still.
- Falscher Fokus. Wenn ein Agent zwanzig Schritte für eine Aufgabe braucht, die mit fünf lösbar wäre, ist das Design das Problem, nicht der Tokenpreis.
- Messaufwand. Protokolle mit Prompt-Inhalten können personenbezogene Daten enthalten. Speichern Sie nur Kennzahlen oder pseudonymisieren Sie die Inhalte.
Wie fange ich an?
Beginnen Sie mit einem einzelnen Agenten, der bereits produktiv läuft, und messen Sie eine Woche lang Kosten und Wartezeit pro Schritt. Danach ordnen Sie den Prompt für Caching und kürzen Werkzeugantworten. Diese beiden Schritte tragen kein Qualitätsrisiko und zeigen schnell, wie groß das Potenzial ist.
Parallel bauen Sie die Testmenge auf. Sie ist die Voraussetzung für alle weiteren Hebel und lohnt sich auch unabhängig von Kosten, weil sie jede künftige Änderung am Agenten absichert.
Erst danach kommen Kaskade, Batch und gegebenenfalls eigene Inferenz. Zu jedem dieser Themen entstehen vertiefende Artikel, unter anderem zur Berechnung von Token-Kosten und zur Kostenkontrolle über ganze Agentenflotten; sie erscheinen nach und nach im Wissensbereich. Einen Überblick über Einsatzfelder und Bausteine von Agenten finden Sie auf der Seite zu KI-Agenten.
Häufige Fragen
Welcher Hebel bringt bei Agenten meist am schnellsten etwas?
Prompt-Caching, wenn Systemprompt und Tool-Definitionen lang und stabil sind. Es verändert die Antworten nicht und lässt sich ohne Umbau der Agentenlogik einschalten.
Leidet die Qualität, wenn ich ein kleineres Modell einsetze?
Das hängt von der Aufgabe ab. Klassifizieren, Extrahieren und Umformatieren gelingen kleinen Modellen oft gut; mehrstufiges Planen weniger. Entscheiden Sie anhand einer Testmenge, nicht nach Gefühl.
Lohnt sich eigene Inferenz auf eigener Hardware?
Bei hohem, gleichmäßigem Volumen oder wenn Daten das Haus nicht verlassen dürfen, kann sie sich lohnen. Rechnen Sie Hardware, Strom, Betrieb und Auslastung ehrlich gegen die API-Kosten.
Wie messe ich Latenz bei einem Agenten richtig?
Getrennt nach Zeit bis zum ersten Token, Gesamtzeit pro Modellaufruf und Gesamtzeit der Aufgabe über alle Schritte. Ein Agent mit zehn Schritten ist langsam, auch wenn jeder einzelne Aufruf schnell ist.
Quellen
- Anthropic: Prompt caching (Dokumentation) platform.claude.com
- Anthropic: Batch processing – Message Batches API platform.claude.com
- Anthropic: Token counting platform.claude.com
- OpenAI: Prompt caching developers.openai.com
- OpenAI: Batch API developers.openai.com
- Chen, Zaharia, Zou (2023): FrugalGPT arxiv.org
- Kwon et al. (2023): Efficient Memory Management for Large Language Model Serving with PagedAttention arxiv.org
- vLLM: Automatic Prefix Caching docs.vllm.ai
- Liu et al. (2023): Lost in the Middle arxiv.org