# Evals für KI-Agenten: Qualität messbar machen

> Sie messen einen KI-Agenten objektiv mit einem festen Satz realer Testfälle, klaren Erfolgskriterien je Fall und automatischen Bewertern, die das Ergebnis und den Lösungsweg prüfen. Jeder Fall läuft mehrfach; vorab festgelegte Schwellen entscheiden, ob der Agent gut genug ist.

Kanonische URL: https://www.ruebstudio.de/de/wissen/ki-agenten-architektur/evals-ki-agenten  
Autor: Dr.-Ing. Marcus Rüb, CEO  
Veröffentlicht: 2026-11-10

Ein KI-Agent, der in der Demo überzeugt, kann im Alltag trotzdem jede fünfte Anfrage falsch beantworten – und niemand merkt es, solange nur nach Gefühl geprüft wird. Evals machen aus „scheint zu funktionieren" eine Zahl, die man vergleichen, verfolgen und vertraglich festhalten kann. Dieser Überblick zeigt, was Sie messen sollten, mit welchen Bewertern, und wie Sie daraus eine belastbare Abnahme ableiten.

## Was sind Evals und wofür werden sie eingesetzt?

Evals sind systematische, wiederholbare Tests für das Verhalten eines Sprachmodells oder KI-Agenten. Ein fester Satz von Aufgaben mit klaren Erfolgskriterien wird automatisch durchgespielt und bewertet. Das Ergebnis ist eine Kennzahl, mit der Sie Versionen vergleichen, Rückschritte erkennen und entscheiden, ob ein Agent produktiv gehen darf.

Klassische Softwaretests gehen davon aus, dass dieselbe Eingabe immer dieselbe Ausgabe liefert. Bei Sprachmodellen gilt das nicht: Dieselbe Kundenanfrage kann einmal korrekt und einmal fehlerhaft beantwortet werden. Evals tragen dem Rechnung, indem sie viele Fälle mehrfach laufen lassen und Wahrscheinlichkeiten statt einzelner Treffer auswerten. Eine kurze Begriffserklärung finden Sie im Lexikon unter [Evals (KI-Evaluierung)](https://www.ruebstudio.de/de/lexikon/evals-ki-evaluierung).

Typische Einsatzzwecke im Unternehmen:

- **Modellwahl:** Welches Modell löst Ihre Aufgaben zu welchen Kosten zuverlässig genug?
- **Änderungskontrolle:** Hat der neue Prompt, das neue Werkzeug oder die erweiterte Wissensbasis etwas verschlechtert?
- **Abnahme:** Erfüllt der Agent die vereinbarten Qualitätsschwellen, bevor er an echte Kunden oder Mitarbeitende geht?
- **Betrieb:** Bleibt die Qualität stabil, wenn der Anbieter eine neue Modellversion ausrollt?

Wer [KI-Agenten für Angebot, Service oder Vertrieb](https://www.ruebstudio.de/de/ki-agenten) einführt, braucht Evals spätestens an dem Punkt, an dem der Agent eigenständig handelt – also Datensätze anlegt, E-Mails verschickt oder Preise nennt.

## Wie funktioniert eine Eval? Die Bausteine

Eine Eval besteht aus Aufgaben, Versuchen, Bewertern und einer Auswertung. Jede Aufgabe hat eine definierte Eingabe und ein Erfolgskriterium; der Agent bearbeitet sie mehrfach, Bewerter prüfen Ergebnis und Lösungsweg, und eine Kennzahl fasst alles zusammen. Diese Begriffe verwendet auch Anthropic in seinem Leitfaden zu Agenten-Evals.

Der Beitrag [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) vom Januar 2026 unterscheidet folgende Bausteine:

- **Aufgabe (Task):** ein einzelner Test mit definierter Eingabe und Erfolgskriterium, etwa „Erstelle aus dieser Anfrage-Mail ein Angebot für drei Positionen".
- **Versuch (Trial):** ein einzelner Durchlauf einer Aufgabe. Weil Modellausgaben schwanken, läuft jede Aufgabe mehrmals.
- **Bewerter (Grader):** die Logik, die einen Aspekt der Leistung bewertet. Eine Aufgabe kann mehrere Bewerter mit mehreren Prüfungen haben.
- **Transkript (Trace):** die vollständige Aufzeichnung eines Versuchs mit Ausgaben, Werkzeugaufrufen und Zwischenergebnissen.
- **Ergebnis (Outcome):** der Endzustand der Umgebung nach dem Versuch.

Der letzte Punkt ist für Agenten entscheidend. Anthropic nennt als Beispiel einen Buchungsagenten: Wichtiger als seine Aussage, der Flug sei gebucht, ist, ob die Reservierung tatsächlich in der Datenbank steht. Übertragen auf Ihren Betrieb heißt das: Prüfen Sie, ob das Ticket wirklich im richtigen Status im Ticketsystem liegt, nicht nur, ob der Agent das behauptet.

Ein einzelner Testfall lässt sich als einfache Datenstruktur ablegen:

```yaml
id: angebot-017
eingabe: "Anfrage-Mail vom 03.10.: 40 Stück Halter Typ B, Lieferung KW 46"
erwartet:
  positionen: 1
  artikelnummer: "HB-200"
  menge: 40
pruefungen:
  - typ: code        # Feldvergleich gegen den Datensatz im System
  - typ: modell      # Rubrik: Ton, Vollständigkeit, keine erfundenen Rabatte
versuche: 5
```

## Welche Bewertungsarten gibt es?

Es gibt drei Arten von Bewertern: codebasierte Prüfungen, Sprachmodelle als Bewerter und Menschen. Codebasierte Prüfungen sind schnell und eindeutig, aber starr. Modellbewerter erfassen Nuancen, müssen aber kalibriert werden. Menschliche Bewertung liefert die höchste Qualität, ist aber langsam und teuer – sie dient vor allem zum Eichen der anderen beiden.

**Codebasierte Bewerter** vergleichen Felder, prüfen Formate, führen Tests aus oder kontrollieren, welche Werkzeuge in welcher Reihenfolge aufgerufen wurden. Laut der [Claude-Dokumentation zu Evaluierungen](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) sind sie am schnellsten und zuverlässigsten, verlieren aber an Aussagekraft, sobald ein Urteil nicht regelbasiert ist. Anthropic weist im Agenten-Leitfaden zusätzlich darauf hin, dass sie bei gültigen, aber anders formulierten Lösungen fälschlich anschlagen.

**Modellbasierte Bewerter** (oft „LLM-as-a-Judge" genannt) bewerten eine Antwort anhand einer Rubrik, vergleichen zwei Antworten paarweise oder prüfen Aussagen in natürlicher Sprache. Die Claude-Dokumentation empfiehlt drei Dinge: detaillierte, klare Rubriken; ein eindeutiges Ausgabeformat wie „korrekt/inkorrekt" oder eine Skala von 1 bis 5; und den Bewerter vor dem Urteil begründen zu lassen. Die [OpenAI-Leitlinien zu Evals](https://developers.openai.com/api/docs/guides/evaluation-best-practices) raten ebenfalls zu paarweisen Vergleichen oder Bestanden/Nicht-bestanden-Urteilen und dazu, die Antwortlänge zu kontrollieren, weil Modellbewerter längere Antworten bevorzugen.

Diese Verzerrungen sind gut untersucht. Die Studie [Judging LLM-as-a-Judge](https://arxiv.org/abs/2306.05685) von Zheng et al. benennt Positions-, Längen- und Selbstbevorzugungs-Verzerrungen; zugleich erreichten starke Modelle als Bewerter dort über 80 % Übereinstimmung mit menschlichen Präferenzen, also etwa das Niveau, auf dem Menschen untereinander übereinstimmen.

**Menschliche Bewertung** durch Fachleute bleibt der Maßstab. In der Praxis bewerten Fachleute eine Stichprobe, und die automatischen Bewerter werden so lange angepasst, bis ihr Urteil mit dem menschlichen übereinstimmt. Erst dann lohnt es sich, sie in der Breite einzusetzen.

| Bewerter | Stärke | Schwäche | Typischer Einsatz |
|---|---|---|---|
| Code | schnell, eindeutig, reproduzierbar | starr bei gültigen Varianten | Felder, Status, Werkzeugaufrufe |
| Sprachmodell | erfasst Nuancen, skaliert | schwankt, braucht Kalibrierung | Ton, Vollständigkeit, Begründung |
| Mensch | höchste Qualität | langsam, teuer | Stichprobe, Eichung |

## Was messen Sie bei Agenten anders als bei Chatbots?

Bei einem Chatbot bewerten Sie vor allem die Antwort. Bei einem Agenten zählen zusätzlich der Lösungsweg und der Endzustand der Systeme: welche Werkzeuge er aufruft, ob er Regeln einhält, wie viele Schritte er braucht und ob er bei wiederholten Läufen verlässlich dasselbe Ergebnis erzielt.

Für Agenten haben sich drei Messebenen bewährt:

1. **Ergebnis:** Stimmt der Endzustand? Der Datensatz im ERP, der Ticketstatus, die erzeugte Datei.
2. **Weg:** Hat der Agent die richtigen Werkzeuge in sinnvoller Reihenfolge genutzt, keine unnötigen Schreibzugriffe gemacht und Freigaberegeln beachtet? Anthropic nennt als Beispiel für Dialogagenten eine Vorgabe wie „in weniger als 10 Gesprächsrunden abgeschlossen".
3. **Verlässlichkeit:** Gelingt die Aufgabe nicht nur einmal, sondern bei jedem Versuch?

Für die dritte Ebene gibt es zwei Kennzahlen. **pass@k** ist die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt – sinnvoll, wenn ein Mensch aus mehreren Vorschlägen auswählt. **pass^k** ist die Wahrscheinlichkeit, dass alle k Versuche gelingen – entscheidend, wenn der Agent ohne Kontrolle handelt. Die Kennzahl pass^k wurde mit dem Benchmark [τ-bench](https://arxiv.org/abs/2406.12045) eingeführt; dort lag pass^8 im Bereich Einzelhandel selbst für damals aktuelle Agenten unter 25 %.

Wie stark der Unterschied ausfällt, rechnet Anthropic im genannten Leitfaden vor: Bei 75 % Erfolg pro Versuch liegt die Wahrscheinlichkeit, dass drei Versuche in Folge gelingen, nur bei rund 42 % ([Quelle](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)). Ein Agent, der „meistens" richtig liegt, ist für einen unbeaufsichtigten Prozess also oft nicht verlässlich genug.

## Welche Arten von Evals brauchen Sie?

Sie brauchen zwei Arten: Fähigkeits-Evals, die zeigen, was der Agent noch nicht gut kann, und Regressions-Evals, die sicherstellen, dass er Gelerntes nicht wieder verlernt. Fähigkeits-Evals starten mit niedriger Erfolgsquote, Regressions-Evals sollten nahezu vollständig bestanden werden.

Anthropic beschreibt diese Aufteilung so: **Fähigkeits-Evals** fragen, was der Agent gut kann, und sollten mit einer niedrigen Erfolgsquote beginnen, damit das Team ein Ziel hat. **Regressions-Evals** fragen, ob der Agent noch alles beherrscht, was er früher konnte, und sollten nahezu 100 % erreichen. Fälle aus der Fähigkeits-Eval, die dauerhaft bestanden werden, wandern in die Regressions-Suite.

Daneben lohnt sich eine Unterscheidung nach Inhalt:

- **Kernfälle:** die häufigsten echten Anfragen, etwa Standardangebote oder wiederkehrende Störungsmeldungen.
- **Grenzfälle:** unvollständige, mehrdeutige, sehr lange oder irrelevante Eingaben. Die Claude-Dokumentation nennt unter anderem irrelevante, übermäßig lange und mehrdeutige Eingaben ausdrücklich.
- **Negativfälle:** Situationen, in denen der Agent etwas *nicht* tun soll – keinen Rabatt zusagen, keine Datei löschen, an einen Menschen übergeben. Anthropic warnt, dass einseitige Evals einseitige Optimierung erzeugen, etwa einen Agenten, der für fast jede Frage eine Suche startet.

Was in diesem Überblick bewusst fehlt, ist die technische Einbindung: Wie Evals in der CI-Pipeline laufen und wie sie sich zu Unit- und Integrationstests verhalten, behandelt der Themenbereich Entwicklung. Hier geht es darum, *was* gemessen wird und ab wann ein Ergebnis reicht.

## Welche Voraussetzungen brauchen Sie?

Sie brauchen echte Geschäftsfälle als Testmaterial, Fachleute, die eindeutig entscheiden können, was richtig ist, eine Testumgebung, in der der Agent gefahrlos handeln darf, und vollständige Protokolle jedes Laufs. Ohne diese vier Punkte messen Evals eher die Testdaten als den Agenten.

**Daten:** Aussagekräftige Testfälle stammen aus dem echten Betrieb – aus Ticketsystemen, Postfächern, bisherigen manuellen Prüfungen und Fehlerberichten. OpenAI nennt Datensätze, die nicht dem Produktionsverkehr entsprechen, als typischen Fehler; die Claude-Dokumentation verlangt, dass Evals die reale Verteilung Ihrer Aufgaben abbilden. Personenbezogene Daten sollten Sie vor der Verwendung pseudonymisieren.

**Fachwissen:** Für jeden Fall muss feststehen, was ein richtiges Ergebnis ist. Anthropic schlägt als Qualitätsprobe vor, dass zwei Fachleute unabhängig voneinander zum selben Urteil „bestanden/nicht bestanden" kommen sollten. Gelingt das nicht, ist die Aufgabe zu unscharf formuliert.

**Testumgebung:** Agenten mit Schreibrechten brauchen eine Kopie oder Sandbox von ERP, CRM oder Ticketsystem, die sich vor jedem Versuch auf einen definierten Zustand zurücksetzen lässt. Sonst beeinflussen sich Versuche gegenseitig.

**Protokollierung:** Jeder Lauf sollte mit Eingabe, Werkzeugaufrufen, Zwischenschritten und Ergebnis gespeichert werden. OpenAI empfiehlt, schon in der Entwicklung alles zu protokollieren, um daraus neue Testfälle zu gewinnen.

**Organisation:** Legen Sie fest, wer Schwellen definiert, wer Ergebnisse freigibt und wer bei einem Rückschritt entscheidet. Für die Abnahme gehören Fachbereich und IT an einen Tisch.

## Wie gehen Sie in Schritten vor?

Beginnen Sie klein: Erfolgskriterien festlegen, 20 bis 50 echte Fälle sammeln, einfache Bewerter bauen, mehrfach laufen lassen, Ergebnisse mit Fachleuten abgleichen und dann Schwellen für die Abnahme festschreiben. Danach wächst das Testset mit jedem neuen Fehler aus dem Betrieb.

1. **Erfolgskriterien formulieren.** Was heißt „gut genug" für diesen Prozess? Beispiele: Artikelnummer und Menge korrekt, keine erfundenen Konditionen, Übergabe an einen Menschen bei Reklamationen. Kriterien müssen messbar sein.
2. **Testfälle sammeln.** Laut Anthropic sind 20 bis 50 einfache Aufgaben aus echten Fehlern ein guter Start; viele Teams warten zu lange, weil sie glauben, Hunderte zu brauchen. Mischen Sie Kern-, Grenz- und Negativfälle.
3. **Bewerter bauen.** Alles, was sich per Code prüfen lässt, per Code prüfen. Für den Rest eine Modellrubrik mit klarer Ausgabe. Die Claude-Dokumentation empfiehlt, möglichst automatisierbar zu bewerten, und zieht mehr Fälle mit automatischer Bewertung wenigen handbewerteten Fällen vor.
4. **Mehrfach laufen lassen.** Jeder Fall mehrere Versuche, damit Sie Verlässlichkeit (pass^k) und nicht nur Glückstreffer sehen.
5. **Transkripte lesen.** Prüfen Sie Fehlschläge von Hand. Anthropic berichtet, dass eine Erfolgsquote von 0 % über viele Versuche häufiger auf eine fehlerhafte Aufgabe als auf einen unfähigen Agenten hinweist. Auch Bewerter haben Fehler.
6. **Modellbewerter kalibrieren.** Eine Stichprobe von Fachleuten bewerten lassen und mit dem Modellbewerter vergleichen. Erst bei stabiler Übereinstimmung breit einsetzen.
7. **Schwellen festlegen.** Zum Beispiel: Regressions-Suite vollständig bestanden, Kernfälle mit einer vorab vereinbarten pass^k-Quote, Negativfälle ohne einen einzigen Verstoß. Die Schwelle hängt davon ab, was ein Fehler kostet.
8. **Dauerhaft betreiben.** Bei jeder Änderung an Prompt, Modell, Werkzeug oder Wissensbasis laufen lassen und jeden neuen Fehler aus dem Betrieb als Testfall aufnehmen.

In unserem eigenen Betrieb hat sich bewährt, die Schwellen *vor* dem ersten Testlauf schriftlich festzuhalten. Wer sie erst nach den Ergebnissen festlegt, passt sie unbewusst an das an, was der Agent gerade schafft.

## Wo liegen Grenzen und Risiken?

Evals messen nur, was im Testset steht. Ein zu kleines, zu sauberes oder veraltetes Testset erzeugt falsche Sicherheit, Modellbewerter können systematisch danebenliegen, und hohe Erfolgsquoten können bedeuten, dass die Aufgaben zu leicht geworden sind. Evals ersetzen außerdem nicht die Überwachung im laufenden Betrieb, wie sie der Überblick zu [AgentOps](https://www.ruebstudio.de/de/wissen/ki-agenten-entwicklung/agentops-ki-agenten-betreiben) beschreibt.

- **Abdeckung:** Was nicht im Testset ist, wird nicht gemessen. Neue Anfragetypen im Betrieb tauchen in alten Evals nicht auf.
- **Überanpassung:** Wird lange gegen dasselbe Testset optimiert, lernt das Team die Fälle statt das Problem. Halten Sie einen Teil der Fälle zurück, der nur zur Abnahme verwendet wird.
- **Sättigung:** Anthropic beschreibt, wie sich ein öffentlicher Benchmark wie SWE-bench Verified binnen eines Jahres der Sättigung nähert: Die Ergebnisse stiegen dort laut Anthropic von rund 40 % auf über 80 %. Dasselbe passiert mit internen Testsets; dann braucht es schwerere Fälle.
- **Fehlerhafte Bewerter:** Ein Bewerter, der gültige Lösungen ablehnt, lässt einen guten Agenten schlecht aussehen. Anthropic schildert einen Fall, in dem das Ergebnis eines Benchmarks deutlich stieg, nachdem Fehler in der Bewertung behoben waren.
- **Verzerrte Modellbewerter:** Positions-, Längen- und Selbstbevorzugung sind dokumentiert. Die Claude-Dokumentation empfiehlt in einem Codebeispiel, zum Bewerten ein anderes Modell zu verwenden als zum Erzeugen.
- **Kosten:** Viele Fälle mal viele Versuche mal Modellbewerter ergeben viele API-Aufrufe. Planen Sie das Budget ein (Stellschrauben dafür im Artikel [Kosten und Latenz von KI-Agenten optimieren](https://www.ruebstudio.de/de/wissen/ki-agenten-architektur/kosten-latenz-ki-agenten)) und trennen Sie eine schnelle Kern-Suite von der vollständigen Abnahme-Suite.

Wann der Ansatz nicht passt: Für einen internen Prototyp, den drei Personen testen, ist eine vollständige Eval-Suite überdimensioniert – ein Dutzend dokumentierter Testfälle reicht. Und für Aufgaben, bei denen selbst Fachleute sich nicht einig sind, was richtig ist, liefern Evals keine eindeutige Zahl, sondern zuerst die Erkenntnis, dass das Erfolgskriterium geklärt werden muss.

## Wie fangen Sie an?

Wählen Sie einen Prozess, in dem der Agent bereits arbeitet oder bald arbeiten soll, und sammeln Sie diese Woche 20 echte Fälle samt richtiger Lösung. Legen Sie für jeden Fall fest, was geprüft wird, lassen Sie den Agenten jeden Fall fünfmal bearbeiten und lesen Sie die Fehlschläge.

Ein pragmatischer Einstieg in drei Schritten:

1. **Eine Tabelle genügt.** Spalten: Eingabe, erwartetes Ergebnis, Prüfart, Ergebnis je Versuch. Werkzeuge kommen später.
2. **Fehler sind Rohstoff.** Jede Beschwerde und jede manuelle Korrektur aus dem Betrieb wird zum neuen Testfall.
3. **Eine Zahl für die Freigabe.** Vereinbaren Sie mit dem Fachbereich, welche Quote erreicht sein muss, bevor der Agent ohne menschliche Freigabe handeln darf.

Wer Agenten für konkrete Abläufe wie [Angebotserstellung](https://www.ruebstudio.de/de/ki-agenten/angebotserstellung) oder [technischen Service](https://www.ruebstudio.de/de/ki-agenten/technischer-service) plant, sollte die Eval-Fälle parallel zur Prozessbeschreibung sammeln. Die Diskussion „Was ist hier eigentlich ein richtiges Ergebnis?" klärt häufig mehr über den Prozess als jede Anforderungsliste.

## Häufige Fragen

### Wie viele Testfälle brauche ich für den Anfang?

Anthropic nennt 20 bis 50 einfache Aufgaben aus echten Fehlern als guten Start. Wichtiger als die Menge ist, dass die Fälle Ihre tatsächlichen Anfragen abbilden und eindeutig bewertbar sind.

### Kann ich ein Sprachmodell als Bewerter einsetzen?

Ja, für offene Antworten ist das üblich. Das Bewertermodell muss aber vorher an menschlichen Urteilen kalibriert werden, weil es bekannte Verzerrungen etwa zugunsten längerer Antworten hat.

### Was ist der Unterschied zwischen pass@k und pass^k?

pass@k ist die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt. pass^k verlangt, dass alle k Versuche gelingen, und misst damit Verlässlichkeit.

### Ersetzen Evals klassische Softwaretests?

Nein. Unit- und Integrationstests prüfen den deterministischen Code um den Agenten herum, Evals prüfen das nicht deterministische Verhalten des Modells. Ein Agent braucht beides.

### Wie oft sollte ich Evals laufen lassen?

Bei jeder Änderung an Prompt, Modell, Werkzeugen oder Wissensbasis, außerdem regelmäßig gegen neue Modellversionen des Anbieters. Nur so fallen Rückschritte auf, bevor Nutzer sie bemerken.

## Quellen

- [Anthropic Engineering: Demystifying evals for AI agents (09.01.2026)](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)
- [Claude Docs: Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
- [OpenAI API Docs: Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)
- [Zheng et al.: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (2023)](https://arxiv.org/abs/2306.05685)
- [Yao et al.: τ-bench – A Benchmark for Tool-Agent-User Interaction in Real-World Domains (2024)](https://arxiv.org/abs/2406.12045)
