Evals (KI-Evaluierung): Definition und Bedeutung für Unternehmen
Evals (kurz für Evaluations) sind wiederholbare Tests, die die Ausgaben eines KI-Systems automatisch gegen vorher festgelegte Erfolgskriterien bewerten. Für KI-Agenten sind sie das Messinstrument, ohne das sich nicht sagen lässt, ob ein neues Modell, ein geänderter Prompt oder ein zusätzliches Werkzeug den Agenten besser oder schlechter macht.
OpenAI beschreibt Evals in seiner API-Dokumentation als Tests, die prüfen, ob Modellausgaben die von Ihnen festgelegten Stil- und Inhaltskriterien erfüllen, und nennt sie besonders wichtig beim Wechsel auf neue Modelle.
Wie funktionieren Evals?
Ein Eval besteht aus Aufgaben mit festen Eingaben und Erfolgskriterien, einem oder mehreren Durchläufen je Aufgabe und einer Bewertungslogik. Das Ergebnis ist eine Kennzahl, etwa der Anteil bestandener Aufgaben, die sich zwischen zwei Versionen direkt vergleichen lässt.
Anthropic unterscheidet in einem Beitrag zu Agenten-Evals vom Januar 2026 folgende Bausteine:
- Aufgabe (Task): ein einzelner Test mit definierten Eingaben und Erfolgskriterien, etwa „Anfrage mit drei Positionen und Sonderlänge, erwartet: Angebot mit Zuschlag".
- Durchlauf (Trial): ein Versuch an einer Aufgabe. Weil Modellausgaben zwischen Läufen schwanken, laufen Aufgaben mehrfach.
- Bewerter (Grader): die Logik, die einen Aspekt des Ergebnisses bewertet.
- Transkript und Endzustand: bei Agenten zählt nicht nur die Antwort, sondern auch, welche Werkzeuge aufgerufen wurden und in welchem Zustand das Zielsystem am Ende ist.
Für die Bewertung nennt die Claude-Dokumentation drei Wege: Code-basierte Prüfung (schnell und zuverlässig, aber ohne Nuancen), menschliche Bewertung (flexibel, aber langsam und teuer) und Bewertung durch ein Sprachmodell (schnell und flexibel, die Zuverlässigkeit muss vorher geprüft werden). Die Dokumentation empfiehlt, eher viele automatisch bewertbare Fälle anzulegen als wenige handbewertete.
Beispiel und Abgrenzung
Ein Agent extrahiert Positionen aus eingehenden Bestellungen. Der Eval enthält 40 echte, anonymisierte Bestellungen samt korrekter Positionsliste, darunter Fälle mit Freitext und fehlender Artikelnummer. Vor dem Wechsel auf ein neues Modell laufen alle Fälle mehrfach; erst wenn die Quote nicht sinkt, geht die Änderung live.
Evals sind der Oberbegriff. Davon zu unterscheiden sind drei verwandte Begriffe:
- Golden Dataset: die geprüfte Sammlung von Testfällen mit richtigen Antworten, also das Material, auf dem ein Eval läuft.
- LLM-as-a-Judge: eine der drei Bewertungsarten, bei der ein Sprachmodell die Ausgabe nach einer Bewertungsskala beurteilt.
- Regressionstest: ein Einsatzzweck von Evals. Anthropic trennt Capability-Evals, die neue Fähigkeiten messen und niedrig starten, von Regressions-Evals, die nahezu vollständig bestehen sollen und Rückschritte melden.
Worauf achten?
Evals messen nur, was in den Testfällen steht. Fehlen Sonderfälle wie leere Eingaben, sehr lange Dokumente oder mehrdeutige Anfragen, meldet der Eval Erfolg, während der Agent im Alltag scheitert. Auch Halluzinationen fallen nur auf, wenn Fälle sie gezielt provozieren.
- Fälle aus echten Vorgängen und echten Fehlern ableiten, nicht aus Wunschbeispielen.
- Eine Bewertung durch ein Sprachmodell an einer Stichprobe mit menschlichem Urteil abgleichen.
- Evals vor dem ersten Produktivbetrieb anlegen: Anthropic merkt an, dass sie umso schwerer zu bauen sind, je länger man wartet.
Wer KI-Agenten im Unternehmen betreibt, sollte keine Modell- oder Prompt-Änderung ohne Eval-Lauf ausrollen. Ein Austausch des Large Language Models ist dabei ein typischer Anlass.
Häufige Fragen
Wie viele Testfälle braucht ein erster Eval?
Anthropic nennt 20 bis 50 einfache Aufgaben, die aus echten Fehlern stammen, als guten Anfang. Wichtiger als die Zahl ist, dass die Fälle Ihre echten Vorgänge und deren Sonderfälle abbilden.
Ersetzen Evals die fachliche Abnahme durch Menschen?
Nein. Evals prüfen automatisch und wiederholbar, was sich als Kriterium formulieren lässt. Fachleute legen diese Kriterien fest und prüfen regelmäßig Stichproben, ob die automatische Bewertung noch stimmt.
Reicht ein einzelner Testlauf pro Fall?
Bei Sprachmodellen meist nicht, weil die Ausgaben zwischen Läufen schwanken. Mehrere Durchläufe je Aufgabe zeigen, ob ein Agent zuverlässig oder nur gelegentlich richtig arbeitet.
Brauchen Evals eine bestimmte Software?
Nein. Ein Eval kann ein einfaches Skript mit einer Tabelle aus Eingaben und erwarteten Ergebnissen sein. Modellanbieter wie OpenAI bieten zusätzlich eigene Werkzeuge dafür an.
Quellen
- Anthropic Engineering: Demystifying evals for AI agents (9. Januar 2026) anthropic.com
- Claude-Dokumentation: Define success criteria and build evaluations (abgerufen Oktober 2026) platform.claude.com
- OpenAI API-Dokumentation: Evals (abgerufen Oktober 2026) developers.openai.com