Das richtige Sprachmodell für Ihren Agenten wählen
Ein KI-Agent ist nur so verlässlich wie das Sprachmodell, das seine Entscheidungen trifft. Anders als ein Chatbot muss er Werkzeuge aufrufen, Regeln einhalten und mehrere Schritte nacheinander richtig ausführen. Die Frage „Welches LLM?“ ist deshalb keine Geschmacksfrage, sondern eine Architekturentscheidung mit Folgen für Kosten, Datenschutz und Betrieb. Dieser Überblick zeigt, nach welchen Kriterien Sie auswählen und wie Sie die Entscheidung absichern.
Was bedeutet Modellwahl bei einem KI-Agenten?
Modellwahl heißt, für jede Aufgabe eines Agenten festzulegen, welches Sprachmodell sie ausführt, wo es läuft und unter welchen Bedingungen Sie es wechseln. Bei Agenten zählt weniger, wie gut ein Modell formuliert, sondern ob es Werkzeuge korrekt aufruft, Vorgaben einhält und bei Unklarheit nachfragt statt zu raten.
Ein Chatbot beantwortet eine Frage, und ein Mensch liest die Antwort. Ein Agent dagegen legt etwa einen Angebotsentwurf im ERP an, ordnet ein Service-Ticket zu oder sucht im Dokumentenarchiv nach dem passenden Prüfbericht. Jeder dieser Schritte ist ein Aufruf eines Werkzeugs mit festen Parametern. Ein Modell, das in einem von zwanzig Fällen ein Pflichtfeld vergisst oder eine falsche Kundennummer einsetzt, ist im Chat kaum auffällig, im Agenten aber ein Betriebsrisiko.
Die Modellwahl umfasst deshalb drei Entscheidungen:
- Welches Modell (Hersteller, Modellfamilie, Größe)
- Wo es läuft (Anbieter-API, Cloud-Region, eigener Server)
- Wie es eingesetzt wird (ein Modell für alles oder verschiedene Modelle je Teilaufgabe)
Nach welchen Kriterien wählen Sie das Modell aus?
Fünf Kriterien tragen die Entscheidung: Zuverlässigkeit beim Tool Use, Datenhoheit, Kosten pro erledigter Aufgabe, Latenz und Sprachqualität im Deutschen. Gewichten Sie sie nach Ihrem Prozess, bevor Sie Modelle vergleichen – sonst gewinnt das Modell mit der lautesten Ankündigung, nicht das passende.
Anthropic nennt in seiner Anleitung zur Modellwahl Fähigkeiten, Geschwindigkeit und Kosten als Grundkriterien. Für Agenten im Unternehmen kommen Datenhoheit und Sprache hinzu.
Zuverlässigkeit beim Tool Use
Das wichtigste Kriterium für Agenten. Prüfen Sie, ob das Modell die richtige Funktion wählt, alle Pflichtparameter korrekt füllt, keine Werkzeuge aufruft, wenn keines passt, und über mehrere Runden konsistent bleibt. Öffentliche Benchmarks geben eine erste Orientierung: Das Berkeley Function Calling Leaderboard misst in Version 4 (Stand der Seite: April 2026), wie genau Modelle Funktionen aufrufen, inklusive Mehrrunden-Dialogen und agentischer Aufgaben.
Noch aufschlussreicher ist die Frage der Wiederholbarkeit. Die Autoren von τ-bench führten dafür die Kennzahl pass^k ein, die misst, wie zuverlässig ein Agent dieselbe Aufgabe über k wiederholte Versuche löst. Laut der Studie von 2024 löste selbst gpt-4o weniger als die Hälfte der Aufgaben und lag im Handelsszenario bei pass^8 unter 25 %. Die Zahlen beziehen sich auf damalige Modelle; die Lehre gilt weiter: Ein einmal gelöster Testfall beweist nichts über den Dauerbetrieb.
Datenhoheit
Wo werden Eingaben verarbeitet, wie lange gespeichert, und darf der Anbieter sie zum Training nutzen? Bei API-Modellen steht die Antwort in den Vertrags- und Datenschutzunterlagen des Anbieters. Ein Beispiel: Laut OpenAI-Dokumentation werden API-Daten standardmäßig nicht zum Training genutzt, Missbrauchs-Protokolle aber bis zu 30 Tage aufbewahrt; für die Region Europa mit Speicherung und Verarbeitung im EWR und der Schweiz sind zusätzliche Vereinbarungen nötig.
Wenn Daten das Haus gar nicht verlassen dürfen – etwa Konstruktionsdaten, Personalakten oder Unterlagen mit Geheimhaltungsvereinbarung –, kommen offene Modelle auf eigener Hardware in Frage. Wann sich das rechnet, beschreibt der Überblick Lokale KI im Unternehmen.
Kosten pro erledigter Aufgabe
Der Preis pro Million Token ist nur ein Teil der Rechnung. Ein Agent ruft das Modell pro Vorgang oft mehrfach auf, schickt lange Kontexte mit und wiederholt Schritte nach Fehlern. Rechnen Sie deshalb in Kosten pro erfolgreich abgeschlossenem Vorgang: Ein günstiges Modell, das jeden fünften Fall an einen Menschen zurückgibt, kann teurer sein als ein teureres Modell, das fast alles erledigt.
Einige Anbieter bieten zudem Stellschrauben innerhalb eines Modells. Anthropic beschreibt etwa einen Parameter, der Denkaufwand gegen Latenz und Kosten abwägt, und hält dessen Anpassung oft für den besseren Hebel als einen Modellwechsel (Quelle).
Latenz
Wartet ein Mensch auf die Antwort – etwa ein Servicetechniker vor Ort –, zählen Sekunden. Läuft der Agent im Hintergrund und bereitet über Nacht Angebotsentwürfe vor, spielt Latenz kaum eine Rolle. Messen Sie die Gesamtdauer eines Vorgangs mit allen Werkzeugaufrufen, nicht die Antwortzeit eines einzelnen Aufrufs.
Sprachqualität im Deutschen
Viele Modelle sind vor allem auf englische Daten trainiert. Für deutsche E-Mails, Fachbegriffe aus Ihrer Branche und förmliche Anrede lohnt ein gesonderter Test. Herstellerangaben wie „über 100 Sprachen“ (so etwa die Modellkarte von Qwen3-32B) sagen wenig darüber, wie gut ein Modell ein technisches Gutachten auf Deutsch zusammenfasst.
Welche Modellvarianten gibt es?
Grundsätzlich stehen drei Wege offen: kommerzielle Modelle über eine API, offene Modelle auf eigener oder gemieteter Infrastruktur und angepasste Modelle durch Fine-Tuning. In der Praxis kombinieren viele Agenten zwei dieser Wege, je nach Teilaufgabe und Datenklasse.
API-Modelle
Kommerzielle Modelle von Anthropic, OpenAI, Google oder Mistral erreichen Sie über eine Schnittstelle. Vorteile: kein eigener Betrieb, schneller Zugang zu neuen Modellversionen, meist hohe Zuverlässigkeit beim Tool Use. Nachteile: Abhängigkeit vom Anbieter, Daten verlassen Ihr Netz, Modelle werden nach einer gewissen Zeit abgekündigt und müssen ersetzt werden.
Offene Modelle (Open Weights)
Bei offenen Modellen laden Sie die Gewichte herunter und betreiben sie selbst, etwa mit einem Inferenz-Server wie vLLM. Achten Sie auf die Lizenz: Qwen3-32B steht laut Modellkarte unter Apache 2.0. Die Llama-3.1-Lizenz verlangt dagegen unter anderem einen sichtbaren Hinweis „Built with Llama“ bei Weitergabe und eine gesonderte Lizenz für Anbieter mit mehr als 700 Millionen monatlich aktiven Nutzern. Das betrifft kaum ein mittelständisches Unternehmen, zeigt aber: „offen“ heißt nicht „bedingungslos“.
Technisch braucht Tool Use bei offenen Modellen mehr Sorgfalt. vLLM etwa übersetzt die Textausgabe des Modells über einen modellspezifischen Parser in Werkzeugaufrufe; die Dokumentation weist darauf hin, dass Argumente ohne strikte Einstellungen gelegentlich fehlerhaft sein können und kleinere Llama-Modelle häufig am erwarteten Format scheitern.
Fine-Tuning
Beim Fine-Tuning trainieren Sie ein Modell mit eigenen Beispielen nach. Das hilft bei festem Ausgabeformat, eigener Fachsprache oder wiederkehrenden Klassifikationen. Für aktuelles Wissen aus Ihren Dokumenten ist es meist der falsche Weg – hier passt ein Abruf aus Ihren Quellen zur Laufzeit (RAG) besser, weil Sie Inhalte ändern können, ohne neu zu trainieren.
Kombination mehrerer Modelle
Ein Agent muss nicht mit einem einzigen Modell arbeiten. Häufig übernimmt ein leistungsfähiges Modell Planung und schwierige Entscheidungen, während kleinere Modelle Routinearbeit erledigen: Mails klassifizieren, Felder aus Lieferscheinen auslesen, Texte kürzen. Auch sensible Schritte lassen sich auf ein lokales Modell legen, unkritische auf eine API. Den Rahmen für solche Entscheidungen über Modelle hinaus beschreibt die Landkarte KI-Tools im Unternehmen auswählen.
Welche Voraussetzungen brauchen Sie für eine belastbare Wahl?
Sie brauchen drei Dinge: eine klare Beschreibung der Aufgaben des Agenten, eine Einstufung Ihrer Daten nach Schutzbedarf und einen Testsatz mit echten Fällen. Ohne Testsatz vergleichen Sie Eindrücke, nicht Modelle – und können später nicht prüfen, ob ein Wechsel etwas verbessert.
Aufgabenbeschreibung. Zerlegen Sie den Prozess in Schritte. Beim Agenten für die Angebotserstellung etwa: Anfrage lesen, Artikel im Katalog finden, Preise aus dem ERP holen, Entwurf schreiben, Rückfragen formulieren. Jeder Schritt stellt andere Anforderungen an das Modell.
Datenklassen. Legen Sie fest, welche Daten an einen externen Anbieter dürfen, welche nur in eine EU-Region und welche nur auf eigene Server. Diese Einstufung schließt oft schon ganze Modellgruppen aus, bevor Sie überhaupt testen.
Testsatz. Sammeln Sie 30 bis 100 echte, anonymisierte Fälle mit erwartetem Ergebnis, darunter bewusst schwierige: unvollständige Anfragen, widersprüchliche Angaben, Fälle, in denen der Agent ablehnen oder nachfragen soll. Anthropic bezeichnet einen guten Evaluationssatz in seiner Anleitung als wichtigsten Schritt des gesamten Auswahlprozesses.
Organisation. Klären Sie, wer die Testergebnisse bewertet. Fachleute aus dem Prozess erkennen falsche Artikelnummern oder unpassende Formulierungen schneller als die IT.
Wie gehen Sie bei der Auswahl Schritt für Schritt vor?
Gehen Sie in sechs Schritten vor: Kriterien gewichten, Kandidaten vorfiltern, Testsatz ausführen, mehrfach wiederholen, Kosten pro Vorgang rechnen, Entscheidung dokumentieren. Der Ablauf dauert mit fertigem Testsatz wenige Tage und lässt sich bei jedem neuen Modell wiederholen.
- Kriterien gewichten. Legen Sie fest, was ein Ausschlusskriterium ist (zum Beispiel: Daten dürfen die EU nicht verlassen) und was gewichtet wird (Kosten, Latenz).
- Kandidaten vorfiltern. Streichen Sie Modelle, die an Ausschlusskriterien scheitern. Nutzen Sie öffentliche Ranglisten nur, um die Liste auf drei bis fünf Kandidaten zu verkürzen.
- Testsatz ausführen. Lassen Sie jeden Kandidaten alle Fälle mit identischen Prompts und Werkzeugdefinitionen bearbeiten. Bewerten Sie nicht nur das Endergebnis, sondern auch, ob die Werkzeugaufrufe korrekt waren.
- Wiederholen. Führen Sie jeden Fall mehrfach aus. Ein Modell, das einen Fall in drei von fünf Läufen löst, ist für einen Agenten ohne menschliche Kontrolle nicht geeignet – siehe pass^k oben.
- Kosten pro Vorgang rechnen. Messen Sie Tokenverbrauch und Anzahl der Aufrufe je erledigtem Vorgang und rechnen Sie mit den aktuellen Preisen des Anbieters oder den Betriebskosten Ihres Servers.
- Entscheidung dokumentieren. Halten Sie fest, welches Modell in welcher Version für welche Aufgabe gewählt wurde und warum. Das erleichtert spätere Wechsel und beantwortet Fragen von Datenschutz oder Revision.
Zwei Startstrategien haben sich bewährt und werden auch in der Anthropic-Dokumentation beschrieben: Entweder Sie beginnen mit einem kleinen, schnellen Modell und wechseln nur bei nachgewiesenen Lücken nach oben. Oder Sie beginnen mit einem leistungsfähigen Modell, stellen sicher, dass die Aufgabe grundsätzlich lösbar ist, und optimieren dann Richtung kleinerer Modelle. Für komplexe Agenten mit viel Eigenständigkeit empfiehlt die Dokumentation den zweiten Weg; Sie wissen dann zuerst, ob das Vorhaben überhaupt trägt.
Welche Grenzen und Risiken hat die Modellwahl?
Die größten Risiken liegen in falscher Sicherheit durch Benchmarks, in der Abhängigkeit von einem Anbieter und in stillen Verhaltensänderungen nach Modellwechseln. Keine Modellwahl ersetzt Prüfmechanismen im Agenten selbst – Freigaben, Plausibilitätsprüfungen und Protokolle bleiben Pflicht.
Benchmarks sind nicht Ihr Prozess. Öffentliche Tests bilden Flugbuchungen oder Online-Handel ab, nicht Ihre Stücklisten. Auch die Betreiber von τ-bench weisen im Repository darauf hin, dass die ursprünglichen Aufgaben überholt sind, und verweisen auf Nachfolgeversionen. Ranglisten veralten schnell.
Anbieterbindung. Wer Prompts, Werkzeugdefinitionen und Formatvorgaben eng auf ein Modell zuschneidet, zahlt beim Wechsel doppelt. Halten Sie die Anbindung austauschbar und den Testsatz anbieterneutral.
Abkündigungen und Updates. API-Anbieter ersetzen Modelle regelmäßig. Ein neues Modell kann bei Ihrem Testsatz besser abschneiden und trotzdem in einzelnen Fällen anders reagieren. Ohne Tests merken Sie das erst im Betrieb.
Betriebsaufwand bei eigenen Modellen. Ein offenes Modell auf eigener Hardware braucht Updates, Überwachung und jemanden, der den Inferenz-Server versteht. Das ist machbar, aber kein Nebenbei-Projekt.
Keine Rechtsberatung. Fragen zur Auftragsverarbeitung, zu Drittlandübermittlungen oder zum EU AI Act klären Sie mit Ihrem Datenschutzbeauftragten oder einer Kanzlei. Die Hinweise hier dienen nur der Orientierung.
Wann passt welcher Weg nicht?
Ein API-Modell passt nicht, wenn Daten Ihr Netz vertraglich oder regulatorisch nicht verlassen dürfen. Ein offenes Modell passt nicht, wenn Sie keinen Betrieb dafür aufbauen wollen. Fine-Tuning passt nicht, wenn sich das zugrunde liegende Wissen häufig ändert.
Daneben gibt es Fälle, in denen die Modellwahl nicht das eigentliche Problem ist: Wenn Stammdaten unvollständig sind, Schnittstellen fehlen oder der Prozess selbst nicht beschrieben ist, scheitert jedes Modell. In unserem eigenen Betrieb hat sich gezeigt, dass saubere Werkzeugdefinitionen mit klaren Feldbeschreibungen oft mehr bewirken als ein Modellwechsel.
Wie fangen Sie an?
Beginnen Sie mit einem einzigen, klar umrissenen Vorgang und einem kleinen Testsatz. Testen Sie zwei bis drei Modelle, darunter mindestens eines, das zu Ihren Datenschutzvorgaben passt. Nach wenigen Tagen wissen Sie, ob die Aufgabe lösbar ist und welches Modell sie zu vertretbaren Kosten erledigt.
Konkret:
- Wählen Sie einen Prozess mit vielen gleichartigen Fällen, etwa Service-Tickets im technischen Service.
- Stufen Sie die beteiligten Daten ein und streichen Sie Modelle, die nicht passen.
- Bauen Sie 30 echte Testfälle mit erwartetem Ergebnis.
- Lassen Sie jeden Kandidaten jeden Fall fünfmal bearbeiten und zählen Sie die Fälle, die in allen Läufen richtig waren.
- Rechnen Sie die Kosten pro erledigtem Vorgang und entscheiden Sie dann.
Müssen sensible Daten im Haus bleiben, lohnt der Blick auf souveräne KI mit offenen Modellen auf eigener Infrastruktur. Einen Überblick über Agenten-Einsatzfelder finden Sie unter KI-Agenten, Fachbegriffe erklärt das Lexikon.
Häufige Fragen
Welches LLM ist für Unternehmensagenten am besten geeignet?
Das lässt sich nicht pauschal beantworten. Ein Modell, das im Kundenservice zuverlässig arbeitet, kann bei der Auswertung technischer Prüfberichte scheitern; entscheidend ist ein Test mit Ihren eigenen Fällen.
Brauche ich für einen Agenten immer das größte Modell?
Nein. Viele Teilaufgaben wie Klassifizieren, Felder extrahieren oder Weiterleiten erledigen kleinere Modelle ausreichend; das große Modell lohnt sich dort, wo der Agent planen oder mehrdeutige Fälle entscheiden muss.
Wie oft sollte ich die Modellwahl überprüfen?
Spätestens bei jedem neuen Modell, das Ihr Anbieter veröffentlicht, und wenn ein bisheriges Modell abgekündigt wird. Mit einem fertigen Testsatz wird ein solcher Vergleich zur Routine.
Kann ich das Modell später wechseln?
Ja, wenn Prompts, Tool-Definitionen und Tests nicht fest an einen Anbieter gebunden sind. Eine dünne Abstraktionsschicht im Code und ein eigener Testsatz machen den Wechsel planbar.
Quellen
- Anthropic: Choosing the right model platform.claude.com
- Berkeley Function Calling Leaderboard (BFCL) V4 gorilla.cs.berkeley.edu
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains arxiv.org
- sierra-research/tau-bench (GitHub) github.com
- OpenAI API: Your data developers.openai.com
- Llama 3.1 Community License Agreement dev.meta.ai
- Qwen3-32B Model Card (Hugging Face) huggingface.co
- vLLM: Tool Calling docs.vllm.ai