Machbarkeit von KI-Use-Cases prüfen: Daten, Systeme, Fehlertoleranz
Viele KI-Vorhaben scheitern nicht an der Idee, sondern an etwas, das man vor dem Start hätte sehen können: Die Daten liegen in einem System ohne Schnittstelle, niemand darf in das ERP zurückschreiben, oder ein falsches Ergebnis wäre so teuer, dass am Ende doch jeder Fall von Hand geprüft wird. Eine Machbarkeitsanalyse soll genau das früh sichtbar machen. Sie muss dafür kein Gutachten sein, sondern eine Reihe kurzer, getrennter Prüfungen mit echten Fällen.
Was ist eine Machbarkeitsanalyse für KI und wofür braucht man sie?
Eine Machbarkeitsanalyse für KI klärt vor der Umsetzung, ob ein Use-Case mit den vorhandenen Daten, Systemen und Strukturen funktionieren kann und ob die verbleibenden Fehler tragbar sind. Sie beantwortet nicht, ob sich der Use-Case lohnt, sondern ob er sich überhaupt verlässlich betreiben lässt. Nutzen und Machbarkeit gehören getrennt bewertet.
Die Trennung ist wichtig, weil beide Fragen unterschiedliche Leute brauchen. Ob ein KI-Agent für die Angebotserstellung wertvoll wäre, weiß der Vertrieb. Ob er an die Preislisten, Stücklisten und das CRM herankommt, weiß die IT. Ob ein falsch kalkuliertes Angebot verkraftbar ist, entscheidet die Geschäftsleitung. Wer das alles in eine Zahl zwischen 1 und 10 presst, verliert genau die Information, die er für die Entscheidung braucht.
Typische Anlässe für eine Machbarkeitsanalyse:
- Eine Fachabteilung hat einen konkreten Wunsch, etwa Tickets im Service vorzusortieren oder Lieferscheine gegen Bestellungen abzugleichen.
- Aus einem Workshop liegt eine Liste von Ideen vor, und es soll entschieden werden, welche zuerst angegangen wird.
- Ein Anbieter hat ein Werkzeug vorgeführt, und es ist offen, ob es mit den eigenen Daten genauso funktioniert wie in der Demo.
In allen drei Fällen ist die Frage dieselbe: Was müsste stimmen, damit das im Alltag läuft, und stimmt es?
Welche Dimensionen der Machbarkeit gibt es?
Bewährt haben sich fünf Dimensionen, die sich unabhängig voneinander prüfen lassen: Datenlage, Systemzugriff, Fehlertoleranz, Modellfähigkeit und Organisation. Jede bekommt ein eigenes Ergebnis — Ja, Nein oder „Ja unter Bedingung“. Ein Gesamturteil entsteht erst daraus, nicht durch Durchschnittsbildung.
Ein Durchschnitt wäre irreführend, weil die Dimensionen sich nicht gegenseitig ausgleichen. Ein Use-Case mit hervorragenden Daten und einem leistungsfähigen Modell ist trotzdem nicht machbar, wenn das Ergebnis nirgends hingeschrieben werden darf. Deshalb gilt: Jede Dimension kann den Use-Case allein stoppen.
| Dimension | Kernfrage | Typisches Ausschlusskriterium |
|---|---|---|
| Datenlage | Liegen die nötigen Informationen vor, aktuell und auffindbar? | Wissen steckt nur in Köpfen |
| Systemzugriff | Kann ein Agent lesen und dorthin schreiben, wo das Ergebnis gebraucht wird? | Kein Lese- oder Schreibweg erlaubt |
| Fehlertoleranz | Was kostet ein falsches Ergebnis, und wer fängt es ab? | Fehler unbemerkt und nicht umkehrbar |
| Modellfähigkeit | Löst ein aktuelles Modell die Aufgabe an echten Fällen? | Ergebnisse auch mit gutem Kontext unbrauchbar |
| Organisation | Gibt es einen Verantwortlichen, und sind Mitbestimmung und Datenschutz geklärt? | Niemand übernimmt den Prozess |
Daneben gibt es die Betriebsfrage — Kosten pro Fall, Antwortzeit, Überwachung. Sie entscheidet selten über Ja oder Nein, aber oft über den Zuschnitt, etwa ob ein Modell in der Cloud oder auf eigener Hardware laufen soll. Wer Daten nicht an externe Anbieter geben will, sollte die Optionen für souveräne KI auf eigener Infrastruktur gleich mitdenken.
Wie prüft man die Datenlage?
Die Datenlage ist machbar, wenn eine Fachkraft für eine Handvoll echter Fälle alle Informationen findet, die sie zur Bearbeitung braucht, und zwar in Dokumenten oder Systemen statt im Gedächtnis von Kollegen. Der Schnelltest dazu ist einfach: Lassen Sie eine Person fünf aktuelle Fälle bearbeiten und notieren, woher jede Information kam.
Dieser „Quellentest“ bringt in wenigen Stunden mehr als jede Datenbestandsaufnahme. Für jeden Fall entsteht eine Liste: Kundendaten aus dem CRM, Preise aus einer Excel-Datei auf dem Laufwerk, Lieferzeit telefonisch beim Einkauf erfragt, Sonderkonditionen „weiß ich halt“. Die letzten beiden Punkte sind die kritischen. Was nur mündlich oder aus Erfahrung kommt, kann auch ein Agent nicht wissen.
Prüfen Sie dabei vier Eigenschaften:
- Vorhanden: Gibt es die Information überhaupt schriftlich?
- Auffindbar: Lässt sie sich über eine Ablage, eine Suche oder eine Schnittstelle erreichen, oder steckt sie in einem Postfach?
- Aktuell: Wer pflegt sie, und woran erkennt man eine veraltete Version?
- Eindeutig: Gibt es mehrere widersprüchliche Fassungen, etwa drei Preislisten mit unterschiedlichem Stand?
Fehlende Daten sind nicht automatisch ein Ausschlusskriterium. Oft genügt es, eine Tabelle zu pflegen oder eine Ablage aufzuräumen. Das ist dann eine Bedingung: „Machbar, sobald die Konditionen in einer gepflegten Liste stehen.“ Ein echtes Nein ist es, wenn das nötige Wissen grundsätzlich nicht dokumentierbar ist oder niemand bereit ist, es zu pflegen. Wie man Dokumente und Stammdaten im Detail bewertet, wird in einem eigenen Artikel zur Datenlage vertieft.
Wie prüft man Systemzugriff und Integration?
Der Systemzugriff ist machbar, wenn es für jede benötigte Information einen technischen und rechtlich zulässigen Leseweg gibt und für das Ergebnis einen Ort, an den geschrieben werden darf. Der Schnelltest: Zeichnen Sie für einen Fall den Weg jeder Information ein und markieren Sie, wo eine Schnittstelle, ein Export oder nur eine Oberfläche existiert.
Bei KI-Agenten wird die Schreibseite oft unterschätzt. Ein Agent, der eine gute Antwort formuliert, die dann jemand von Hand ins Ticketsystem kopiert, ist ein Assistent, kein KI-Agent im engeren Sinn. Das kann völlig ausreichen, ändert aber die Erwartung an den Nutzen. Klären Sie deshalb früh:
- Lesen: Hat das System eine dokumentierte Schnittstelle (REST, OData, Datenbankzugriff), einen regelmäßigen Export oder nur eine Bedienoberfläche?
- Schreiben: Darf ein technischer Benutzer Datensätze anlegen oder ändern, etwa Entwürfe im CRM oder Kommentare im Ticket? Gibt es einen Entwurfsstatus, der eine Freigabe erzwingt?
- Identität und Rechte: Unter welchem Konto arbeitet der Agent? Sieht er mehr als die Person, für die er arbeitet? Im Wissensmanagement ist das die entscheidende Frage, weil Berechtigungen aus der Dateiablage verloren gehen können, wenn der Suchindex sie nicht übernimmt.
- Betrieb: Wer betreut das Quellsystem, und gibt es Wartungsfenster oder Mengenbegrenzungen, die einen Agenten ausbremsen?
Ein Nein in dieser Dimension ist selten endgültig. Häufig gibt es einen Umweg — einen nächtlichen Export, ein Postfach als Eingang, einen Entwurf statt einer direkten Buchung. Notieren Sie solche Umwege als Bedingung und schätzen Sie, ob sie im Alltag stabil laufen würden. Für Abläufe wie den technischen Service ist das häufig der Punkt, an dem sich entscheidet, ob ein Agent nur vorschlägt oder selbst handelt.
Wie viel Fehlertoleranz hat ein Use-Case?
Die Fehlertoleranz ist ausreichend, wenn falsche Ergebnisse entweder wenig kosten, rechtzeitig von einem Menschen bemerkt werden oder sich leicht rückgängig machen lassen. Der Schnelltest ist eine Fehlerkostentabelle: Für jede Art von Fehler wird festgehalten, was passiert, wer es bemerkt und wie teuer die Korrektur ist.
KI-Modelle machen Fehler, auch gute. Die Frage ist nicht, ob, sondern welche und mit welchen Folgen. Das Guidebook von Google PAIR weist darauf hin, dass falsch-positive und falsch-negative Ergebnisse meist nicht gleich schwer wiegen und man sie deshalb nicht standardmäßig gleich gewichten sollte. Für einen Agenten, der Service-Tickets vorsortiert, heißt das: Ein dringendes Ticket, das als „normal“ einsortiert wird, ist ein anderes Problem als ein normales Ticket, das fälschlich als dringend markiert wird.
Eine einfache Fehlerkostentabelle für einen Angebotsentwurf könnte so aussehen:
| Fehler | Wer bemerkt ihn? | Folge, wenn unbemerkt | Umkehrbar? |
|---|---|---|---|
| Falscher Artikel vorgeschlagen | Vertrieb bei Freigabe | Falsche Lieferung | Ja, mit Aufwand |
| Veralteter Preis | Eventuell niemand | Marge geht verloren | Nein, nach Annahme |
| Tippfehler im Anschreiben | Vertrieb | Unprofessioneller Eindruck | Ja |
Daraus folgt der Zuschnitt. Ist ein Fehler unbemerkt und nicht umkehrbar, braucht der Use-Case eine Freigabe durch einen Menschen an genau dieser Stelle oder eine technische Prüfung, etwa einen Abgleich des Preises gegen die gültige Liste. PAIR nennt als Fall, in dem KI vermutlich nicht die bessere Wahl ist, Aufgaben, bei denen die Kosten von Fehlern sehr hoch sind und den Nutzen einer geringfügig höheren Erfolgsquote überwiegen. Wenn sich ein Fehler weder abfangen noch umkehren lässt, ist das ein Nein.
Wie prüft man, ob ein Modell die Aufgabe kann?
Die Modellfähigkeit ist belegt, wenn ein aktuelles Sprachmodell an einer Stichprobe echter Fälle Ergebnisse liefert, die ein Fachexperte als brauchbar bewertet, und zwar mit dem Kontext, den der spätere Agent auch hätte. Der Schnelltest: zwanzig bis dreißig echte Fälle, von Hand mit dem Modell bearbeitet und gegen vorher festgelegte Kriterien bewertet.
Wichtig ist die Reihenfolge. Erst werden die Erfolgskriterien festgelegt, dann wird getestet. Anthropic beschreibt in der Dokumentation zu Erfolgskriterien und Evaluierungen, dass gute Kriterien spezifisch, messbar, erreichbar und relevant sein sollen und dass die meisten Anwendungen mehrere Kriterien zugleich brauchen. Für einen Use-Case im Service könnten das sein: richtige Kategorie, vollständige Rückfragen, keine erfundenen Ersatzteilnummern.
So läuft der Test in der Praxis:
- Fälle auswählen: echte, aktuelle Fälle, darunter einige schwierige und einige Grenzfälle, nicht nur die sauberen Beispiele aus der Demo.
- Kontext mitgeben: genau die Dokumente und Daten, die der Agent später über die Systeme bekäme — nicht mehr, sonst ist das Ergebnis geschönt.
- Kriterien vorher aufschreiben: Was ist ein brauchbares Ergebnis, was ein gefährlicher Fehler?
- Bewerten lassen: von der Fachkraft, die den Prozess heute macht, ohne dass sie weiß, welches Ergebnis von welchem Versuch stammt, falls mehrere Varianten verglichen werden.
- Fehler sortieren: Lag es am Modell, an fehlendem Kontext oder an einer unklaren Aufgabe?
Der fünfte Schritt ist der aufschlussreichste. Sehr oft zeigt sich, dass das Modell die Aufgabe kann, aber Informationen fehlen — dann ist das ein Befund für die Datenlage, nicht für die Modellfähigkeit. Prüfen Sie auch die Gegenrichtung: PAIR hält fest, dass eine regel- oder heuristikbasierte Lösung oft genauso gut oder besser funktioniert als eine KI-Variante. Wenn die Aufgabe sich vollständig in feste Regeln fassen lässt, ist ein klassisches Programm oft die robustere Wahl.
Welche organisatorischen Voraussetzungen braucht ein KI-Use-Case?
Organisatorisch machbar ist ein Use-Case, wenn eine benannte Person den Prozess verantwortet, die Betroffenen beteiligt sind und rechtliche Pflichten wie Datenschutz und Mitbestimmung vor dem Start geklärt werden können. Der Schnelltest ist ein Gespräch von einer Stunde mit Fachbereich, IT, Datenschutz und, falls vorhanden, Betriebsrat — mit einer festen Fragenliste.
Die Fragenliste:
- Verantwortung: Wer entscheidet über Änderungen am Prozess und wer bewertet die Qualität im Betrieb? Ohne diese Person bleibt jeder Agent ein Experiment.
- Mitbestimmung: Nach § 87 Abs. 1 Nr. 6 BetrVG hat der Betriebsrat ein Mitbestimmungsrecht bei der Einführung und Anwendung technischer Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Ob ein konkreter Agent darunter fällt, ist eine Einzelfallfrage; sie gehört deshalb früh auf den Tisch, nicht kurz vor dem Start.
- Datenschutz: Art. 35 DSGVO verlangt eine Datenschutz-Folgenabschätzung, wenn eine Verarbeitung, insbesondere mit neuen Technologien, voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen mit sich bringt. Ob das zutrifft, sollte der Datenschutz bewerten, bevor Zeit in die Umsetzung fließt.
- Regulierung: Der EU AI Act führt in Anhang III unter anderem KI-Systeme für Personalauswahl, für Entscheidungen über Beförderung oder Kündigung und für die Überwachung und Bewertung von Leistung und Verhalten von Beschäftigten als Hochrisiko-Bereich. Ein Agent, der Angebote entwirft, liegt in aller Regel nicht dort, einer, der Bewerbungen vorsortiert, schon.
- Kompetenz: Artikel 4 des AI Act verpflichtet Anbieter und Betreiber, Maßnahmen zur KI-Kompetenz ihres Personals zu ergreifen; die Pflicht gilt seit dem 2. Februar 2025. Für die Machbarkeit heißt das: Wer mit dem Agenten arbeitet, muss wissen, was er kann und wo er irrt; was das konkret bedeutet, erläutert der Beitrag zur KI-Kompetenz nach Art. 4 AI Act.
- Akzeptanz: Wollen die Menschen, die den Prozess heute machen, diese Unterstützung? PAIR rät ausdrücklich davon ab, Aufgaben zu automatisieren, bei denen die Betroffenen das klar ablehnen.
Diese Punkte sind eine Orientierung und keine Rechtsberatung. Sie dienen dazu, rechtzeitig zu erkennen, wo eine Fachprüfung nötig ist.
Wie läuft eine Machbarkeitsanalyse in Schritten ab?
Eine schlanke Machbarkeitsanalyse folgt fünf Schritten: Use-Case präzise beschreiben, Ausschlusskriterien prüfen, Schnelltests je Dimension durchführen, Ergebnisse als Ja, Nein oder Bedingung festhalten und daraus einen Zuschnitt für den Pilot ableiten. Sie dauert meist wenige Tage bis zwei Wochen und braucht vor allem Zeit von Fachkräften.
- Use-Case präzise beschreiben. Ein Satz reicht: Auslöser, Eingang, Ergebnis, Ziel-System. Zum Beispiel: „Bei einer Anfrage per E-Mail erstellt der Agent einen Angebotsentwurf im CRM, den der Vertrieb freigibt.“ Ohne diese Präzision lässt sich keine Dimension prüfen.
- Ausschlusskriterien zuerst. Fragen Sie in einem kurzen Termin die Punkte ab, die sofort zum Nein führen würden: kein Verantwortlicher, Hochrisiko-Einstufung ohne Bereitschaft zum Aufwand, kein denkbarer Schreibweg. Das spart die Tests für Use-Cases, die ohnehin nicht kommen.
- Schnelltests parallel. Quellentest, Integrationsskizze, Fehlerkostentabelle, Modelltest und Organisationsgespräch lassen sich gleichzeitig durchführen, weil sie unterschiedliche Leute brauchen.
- Ergebnis je Dimension. Für jede Dimension ein Wort und eine Begründung in zwei Sätzen. Bedingungen konkret formulieren: was genau, wer, bis wann.
- Zuschnitt ableiten. Aus Bedingungen wird der Pilot: mit Freigabe statt direkter Buchung, nur für eine Produktgruppe, nur lesend im ersten Schritt.
Das Ergebnis ist ein bis zwei Seiten lang. Wenn mehrere Use-Cases verglichen werden, kommt die Nutzenbewertung dazu; wie man beides in einer Matrix gegenüberstellt, ohne die Ausschlusskriterien zu verwässern, behandelt ein eigener Artikel zur Priorisierung. Für Abläufe wie Angebotserstellung, Wissensmanagement oder Vertrieb lassen sich die Fragen oben fast unverändert übernehmen.
Wer einen größeren Rahmen sucht, findet im AI Risk Management Framework des NIST eine ausführliche Systematik. Version 1.0 erschien am 26. Januar 2023 und gliedert sich in die Funktionen Govern, Map, Measure und Manage; seit dem 26. Juli 2024 gibt es mit NIST AI 600-1 ein ergänzendes Profil für generative KI. Für eine erste Machbarkeitsentscheidung ist das meist mehr als nötig, als Prüfliste für spätere Phasen aber nützlich.
Wo liegen die Grenzen einer schnellen Machbarkeitsprüfung?
Schnelltests zeigen, ob ein Use-Case grundsätzlich funktionieren kann, aber nicht, wie er sich über Monate im Betrieb verhält. Seltene Sonderfälle, schleichend veraltende Daten und Gewöhnungseffekte bei der Freigabe tauchen in zwanzig Testfällen nicht auf. Die Prüfung ersetzt also keinen Pilot mit Messung, sondern bereitet ihn vor.
Typische Fallstricke:
- Geschönte Testfälle. Wer nur saubere Beispiele auswählt, testet die Demo, nicht den Alltag. Nehmen Sie bewusst die unordentlichen Fälle mit.
- Zu viel Kontext im Test. Wenn im Modelltest Informationen mitgegeben werden, die der Agent später nicht bekäme, ist das Ergebnis zu optimistisch.
- Freigabe als Feigenblatt. Ein Mensch, der hundert Entwürfe am Tag freigibt, prüft irgendwann nicht mehr genau. Wenn die Fehlertoleranz nur durch eine Freigabe hergestellt wird, muss diese realistisch leistbar sein.
- Machbar heißt nicht sinnvoll. Eine positive Machbarkeit sagt nichts darüber, ob sich der Aufwand lohnt. Dafür braucht es die Nutzenseite, etwa eine ROI-Berechnung für KI-Projekte.
- Veraltete Bewertung. Modelle und Werkzeuge ändern sich schnell. Ein Nein bei der Modellfähigkeit von vor einem Jahr sollte mit aktuellen Modellen neu geprüft werden, ein Nein bei Daten oder Organisation dagegen nicht.
Bei Use-Cases mit Hochrisiko-Bezug oder sensiblen Personendaten reicht eine Schnellprüfung ohnehin nicht als Grundlage. Dort zeigt sie nur, welche ausführlicheren Prüfungen nötig sind.
Wie fange ich mit der Machbarkeitsanalyse an?
Fangen Sie mit einem einzigen Use-Case an, der einen klaren Verantwortlichen hat und häufig genug vorkommt, um zwanzig echte Fälle zu sammeln. Beschreiben Sie ihn in einem Satz, führen Sie den Quellentest mit fünf Fällen durch und klären Sie die Ausschlusskriterien. Danach wissen Sie meist schon, ob sich die weiteren Tests lohnen.
Ein guter erster Kandidat erfüllt drei Bedingungen: Die nötigen Informationen liegen überwiegend schriftlich vor, Fehler werden vor einer Wirkung nach außen bemerkt, und die Fachkraft, die den Prozess heute macht, möchte entlastet werden. Angebotsentwürfe, Ticketvorsortierung oder Antworten auf wiederkehrende interne Fragen erfüllen das oft; weitere Kandidaten zeigen die KI-Use-Cases nach Abteilung. Personalentscheidungen, Zahlungsfreigaben oder Aussagen mit rechtlicher Bindung erfüllen es selten.
Halten Sie das Ergebnis schriftlich fest, auch wenn es ein Nein ist. Ein begründetes Nein mit der Bedingung, unter der es zum Ja würde, ist eine wertvolle Grundlage für die nächste Runde. Welche Arten von KI-Agenten sich für welche Prozesse eignen, hilft beim Formulieren der ersten Use-Case-Beschreibung.
Häufige Fragen
Wie lange dauert eine Machbarkeitsanalyse für einen KI-Use-Case?
Mit Schnelltests je Dimension meist wenige Tage bis zwei Wochen, je nachdem, wie schnell Testfälle und Zugänge bereitstehen. Eine Studie über Monate ist für die meisten Agenten-Use-Cases nicht nötig.
Brauche ich für den Test schon eine fertige Integration?
Nein. Der Modelltest läuft mit kopierten echten Fällen von Hand, der Systemtest prüft nur, ob Lese- und Schreibwege technisch und rechtlich offenstehen.
Was ist der häufigste Grund, warum ein Use-Case scheitert?
Selten das Modell, häufiger fehlender Datenzugriff oder ungeklärte Zuständigkeit. Deshalb lohnt es sich, Daten und Organisation zuerst zu prüfen.
Ersetzt die Machbarkeitsprüfung eine Datenschutz-Folgenabschätzung?
Nein. Sie zeigt nur, ob eine Folgenabschätzung oder eine Abstimmung mit dem Betriebsrat nötig ist, damit diese rechtzeitig eingeplant wird.
Quellen
- Anthropic: Define success criteria and build evaluations platform.claude.com
- Google PAIR Guidebook: User Needs + Defining Success pair.withgoogle.com
- NIST: AI Risk Management Framework nist.gov
- Art. 35 DSGVO – Datenschutz-Folgenabschätzung gdpr-info.eu
- § 87 BetrVG – Mitbestimmungsrechte gesetze-im-internet.de
- EU AI Act, Anhang III: Hochrisiko-KI-Systeme artificialintelligenceact.eu
- EU AI Act, Artikel 4: KI-Kompetenz artificialintelligenceact.eu