Zum Inhalt springen

KI-Pilotprojekt planen: Design, Umfang, Erfolgskriterien

Viele KI-Vorhaben im Mittelstand starten als „Pilot" und enden nie: Das System läuft irgendwo nebenher, niemand misst etwas Belastbares, und nach Monaten weiß keiner, ob es sich lohnt. Dieser Überblick zeigt, wie Sie einen KI-Pilot so anlegen, dass er nach fester Zeit eine klare Entscheidung liefert: weitermachen, anpassen oder beenden. Stand: Oktober 2026.

Was ist ein KI-Pilotprojekt und wofür ist es da?

Ein KI-Pilotprojekt ist ein zeitlich begrenzter Einsatz eines KI-Systems im echten Betrieb, mit echten Nutzern und echten Vorgängen, um eine vorher formulierte Hypothese zu prüfen. Sein Zweck ist eine Investitionsentscheidung, nicht der Beweis, dass KI „irgendwie funktioniert". Ohne vereinbarte Entscheidung am Ende ist es kein Pilot, sondern ein Testlauf ohne Ende.

Die Abgrenzung zu den Nachbarphasen hilft, den Umfang richtig zu wählen:

  • Machbarkeits-Prototyp (Proof of Concept): prüft mit Test- oder Beispieldaten, ob eine Aufgabe technisch lösbar ist. Ergebnis: „geht" oder „geht nicht".
  • Pilot: prüft im Betrieb, ob die Lösung bei echten Daten, echten Ausnahmen und echten Menschen den erhofften Nutzen bringt und angenommen wird. Ergebnis: eine begründete Go/Adjust/Stop-Entscheidung.
  • Produktivbetrieb: skaliert eine Lösung, deren Nutzen belegt ist, mit Betrieb, Überwachung, Support und Verantwortlichkeiten.

Dass dieser Schritt oft scheitert, ist dokumentiert: Laut einer Prognose von Gartner aus dem Jahr 2024, wiedergegeben von Intelligent CIO, sollten mindestens 30 % der Projekte mit generativer KI bis Ende 2025 nach dem Proof of Concept aufgegeben werden – genannt wurden unter anderem schlechte Datenqualität, steigende Kosten und unklarer Geschäftsnutzen. Für agentische KI rechnete Gartner im Juni 2025 laut W.Media damit, dass mehr als 40 % der Projekte bis Ende 2027 eingestellt werden könnten. Beides sind Prognosen, keine Messungen. Sie zeigen aber, wo die Lücke liegt: beim Nachweis des Nutzens, nicht bei der Technik.

Wie ist ein guter KI-Pilot aufgebaut?

Ein guter Pilot besteht aus sechs Bausteinen: einer prüfbaren Hypothese, einer gemessenen Ausgangslage, einem eng geschnittenen Umfang, einem Messplan, einer festen Laufzeit und vorab vereinbarten Entscheidungsschwellen. Fehlt einer davon, lässt sich das Ergebnis hinterher beliebig deuten – und genau das verhindert eine klare Entscheidung.

Hypothese

Die Hypothese verbindet eine Maßnahme mit einer messbaren Wirkung in einem bestimmten Prozess. Schlecht: „KI hilft im Vertrieb." Brauchbar: „Wenn ein KI-Agent für Standardanfragen einen Angebotsentwurf aus Anfrage-Mail und Artikelstamm erstellt, liegt die mittlere Durchlaufzeit von Eingang bis Versand unter dem heutigen Wert, ohne dass die Fehlerquote in der Nachkontrolle steigt." Die Hypothese nennt Prozess, Maßnahme, Kennzahl und eine Gegenbedingung, die nicht schlechter werden darf.

Ausgangslage (Baseline)

Ohne gemessene Ausgangslage gibt es keinen Vergleich. Messen Sie die Zielkennzahl vor dem Start, im selben Prozessausschnitt und mit derselben Methode, mit der Sie später den Pilot messen. Häufig stehen die Daten schon in Ticketsystem, ERP oder Mailarchiv: Zeitstempel für Eingang und Versand, Anzahl der Rückfragen, Korrekturen in der Freigabe. Wo nichts erfasst wird, lassen Sie zwei bis drei Wochen lang von Hand mitschreiben.

Umfang

Der Umfang legt fest, welche Vorgänge, welche Nutzer und welche Systeme im Pilot sind – und welche ausdrücklich nicht. Ein enger Schnitt ist kein Zeichen mangelnder Ambition, sondern Voraussetzung für eine saubere Messung: ein Produktbereich, ein Standort, eine Anfrageart.

Messplan

Der Messplan beschreibt, welche Kennzahlen wie oft und aus welcher Quelle erhoben werden. Die Claude-Dokumentation von Anthropic empfiehlt Erfolgskriterien, die spezifisch, messbar, erreichbar und relevant sind, und betont, dass die meisten Anwendungsfälle mehrere Dimensionen zugleich brauchen. Für einen Pilot heißt das: Nutzen, Qualität, Akzeptanz und Kosten getrennt messen.

Laufzeit und Entscheidungsschwellen

Laufzeit und Schwellen stehen vor dem Start fest und werden von der entscheidenden Person unterschrieben. Typisch sind drei Ausgänge: Go (Schwellen erreicht, Übergang in den Produktivbetrieb wird geplant), Adjust (Teilziele erreicht, ein klar benannter Engpass wird in einer zweiten, kurzen Runde behoben) und Stop (Schwellen verfehlt oder Gegenbedingung verletzt). Ein „wir schauen noch ein paar Monate" ist kein zulässiger Ausgang.

Welche Pilotformen gibt es?

Nicht jeder Pilot sieht gleich aus. Je nach Risiko und Reifegrad bieten sich vier Formen an, die sich in der Frage unterscheiden, wie viel Verantwortung das KI-System im Pilot schon trägt. Je mehr Verantwortung, desto strenger müssen Schwellen, Rückfallebene und Überwachung sein.

Schattenbetrieb. Das System verarbeitet echte Vorgänge parallel, seine Ergebnisse gehen aber nicht nach außen. Mitarbeitende arbeiten wie bisher; anschließend vergleichen Sie die Ergebnisse von Mensch und KI. Diese Form eignet sich für Klassifikation, Extraktion und Entwürfe, bei denen Fehler teuer wären. Sie misst Qualität gut, Akzeptanz und Zeitersparnis aber kaum.

Assistenzbetrieb mit Freigabe. Das System erstellt Entwürfe – ein Angebot, eine Ticketantwort, einen Prüfbericht –, ein Mensch prüft und gibt frei. Das ist die häufigste und meist sinnvollste Form, weil sie echte Arbeitszeit, echte Korrekturen und echte Akzeptanz misst, ohne dass ungeprüfte Ergebnisse den Betrieb verlassen. Für Angebote ist das die typische Ausgangslage eines Angebots-Agenten, im Service die eines Agenten für den technischen Service.

Teilautonomer Betrieb. Für klar abgegrenzte Standardfälle handelt das System selbst, alles andere geht an einen Menschen. Diese Form braucht eine verlässliche Fallunterscheidung und eine Stichprobenkontrolle der autonom erledigten Vorgänge. Sie lohnt sich erst, wenn ein Assistenzpilot gezeigt hat, dass die Qualität bei den Standardfällen stabil ist.

A/B-Vergleich. Zwei vergleichbare Gruppen arbeiten im selben Zeitraum, eine mit, eine ohne KI-Unterstützung. Das liefert die sauberste Aussage über die Wirkung, braucht aber genug Vorgänge und Personen, damit Zufall und Einzelleistungen das Ergebnis nicht dominieren.

Ob die Technik und die Datenlage überhaupt tragen, klärt man vor dem Pilot – die Machbarkeitsanalyse für KI-Use-Cases prüft dafür Daten, Systemzugriff, Fehlertoleranz, Modellfähigkeit und Organisation getrennt. Der Pilot setzt dort an, wo die Machbarkeit mit Ja beantwortet ist, und fragt nicht mehr „geht das?“, sondern „lohnt es sich im Betrieb?“. Ein kurzer Machbarkeits-Prototyp kann dazwischenliegen; wie es danach weitergeht, ist der Übergang in die Produktion mit Betrieb, Monitoring und Verantwortlichkeiten. Beide Schritte haben eigene Fragen und gehören nicht in die Pilotlaufzeit.

Welche Voraussetzungen braucht ein Pilot?

Ein Pilot braucht drei Dinge, bevor er startet: Zugang zu echten Daten und Systemen, eine verantwortliche Person auf Fachseite und geklärte Rahmenbedingungen für Datenschutz und Mitbestimmung. Fehlt eines davon, verbraucht der Pilot seine Laufzeit mit Organisation statt mit Messung.

Daten und Systeme. Klären Sie vorab, welche Systeme das KI-System lesen und schreiben darf: Postfach, ERP, Dokumentenablage, Ticketsystem. Lesezugriff reicht für viele Piloten; Schreibzugriff nur dort, wo der Assistenzbetrieb ihn braucht. Prüfen Sie stichprobenartig die Datenqualität – fehlende Artikelstammdaten oder veraltete Preislisten machen jeden Agenten schlecht, und das ist dann kein KI-Problem.

Fachliche Verantwortung. Benennen Sie eine Person, die den Prozess kennt, im Pilot Ansprechpartner für die Nutzer ist und Zeit für Auswertung hat. Daneben steht die entscheidende Person mit Budgetverantwortung. Beide sind nicht dasselbe wie das Projektteam, das das System baut.

Mitbestimmung. Kann das System Verhalten oder Leistung von Beschäftigten erfassen – etwa über Protokolle, wer wie viele Entwürfe wie schnell freigegeben hat –, berührt das in der Regel das Mitbestimmungsrecht des Betriebsrats nach § 87 Abs. 1 Nr. 6 BetrVG. Binden Sie den Betriebsrat vor dem Start ein und vereinbaren Sie, dass Pilotdaten nicht zur individuellen Leistungsbewertung dienen. Das ist eine Orientierung, keine Rechtsberatung.

KI-Kompetenz. Seit dem 2. Februar 2025 verlangt Artikel 4 der europäischen KI-Verordnung von Anbietern und Betreibern von KI-Systemen Maßnahmen zur KI-Kompetenz der Personen, die mit den Systemen arbeiten. Für einen Pilot heißt das praktisch: eine kurze, dokumentierte Einweisung der Nutzer in Funktionsweise, Grenzen und den Umgang mit Fehlern. Ein gemeinsamer Workshop zum Start erledigt das oft nebenbei.

Datenschutz. Klären Sie, wo das Modell läuft und welche Daten es sieht. Für sensible Daten kommen Modelle infrage, die im eigenen Rechenzentrum oder bei einem europäischen Anbieter laufen; Hintergründe dazu finden Sie unter souveräne KI. Ein Pilot mit Echtdaten ist datenschutzkonform betreibbar, wenn Rechtsgrundlage, Auftragsverarbeitung und Löschfristen geklärt sind.

Wie gehen Sie beim Planen Schritt für Schritt vor?

Planen Sie in sieben Schritten: Prozess auswählen, Hypothese formulieren, Ausgangslage messen, Umfang schneiden, Messplan und Schwellen festlegen, Steckbrief unterschreiben lassen, dann bauen und starten. Die ersten sechs Schritte kosten wenig Zeit, entscheiden aber darüber, ob am Ende eine belastbare Aussage steht.

  1. Prozess auswählen. Gute Kandidaten sind häufig, regelbasiert mit Ausnahmen und textlastig: Angebotsanfragen, Serviceanfragen, Lieferantendokumente, interne Wissensfragen. Schlechte Kandidaten sind selten, politisch umstritten oder ohne erfasste Daten.
  2. Hypothese formulieren. Eine Maßnahme, eine Hauptkennzahl, eine oder zwei Gegenbedingungen. Schreiben Sie sie so, dass ein Außenstehender sie am Ende mit Ja oder Nein beantworten kann.
  3. Ausgangslage messen. Dieselbe Kennzahl, derselbe Prozessausschnitt, dieselbe Methode wie im Pilot. Notieren Sie auch die Streuung: Wenn die Durchlaufzeit heute zwischen einer Stunde und drei Tagen schwankt, brauchen Sie mehr Vorgänge, um einen Unterschied zu erkennen.
  4. Umfang schneiden. Legen Sie fest, welche Vorgangsarten, Nutzer und Systeme dabei sind und welche nicht. Schreiben Sie die Ausschlüsse ausdrücklich auf, damit der Umfang während der Laufzeit nicht wächst.
  5. Messplan und Schwellen festlegen. Pro Dimension eine Kennzahl, eine Quelle und eine Schwelle für Go und Stop. Legen Sie fest, wie viele Vorgänge mindestens durchlaufen müssen, bevor ausgewertet wird.
  6. Steckbrief unterschreiben lassen. Die entscheidende Person bestätigt Hypothese, Umfang, Laufzeit und Schwellen schriftlich. Das schützt später vor nachträglich verschobenen Zielen.
  7. Bauen, einweisen, starten. Erst jetzt entsteht das System. Halten Sie den Bau schlank: Es muss den Pilotumfang zuverlässig abdecken, nicht den späteren Vollausbau.

Ein Pilot-Steckbrief kann so knapp sein wie das folgende Beispiel. Die Zahlen sind Platzhalter für Ihre eigenen Messwerte, keine Erwartungswerte:

pilot: angebotsentwurf-standardanfragen
hypothese: >
  Ein KI-Agent erstellt für Standardanfragen einen Angebotsentwurf
  aus Anfrage-Mail und Artikelstamm; die Durchlaufzeit liegt unter
  der Baseline, die Korrekturquote in der Freigabe steigt nicht.
umfang:
  enthalten: [Standardanfragen Produktbereich A, Innendienst Team Nord]
  ausgeschlossen: [Sonderanfertigungen, Rahmenverträge, Exportkunden]
laufzeit: { start: 2026-11-09, ende: 2026-12-18, min_vorgaenge: 150 }
baseline:
  durchlaufzeit_median_h: <gemessen>
  korrekturquote: <gemessen>
kennzahlen:
  nutzen: durchlaufzeit_median_h        # Quelle: Zeitstempel ERP
  qualitaet: korrekturquote             # Quelle: Freigabeprotokoll
  akzeptanz: anteil_genutzter_entwuerfe # Quelle: Agentenlog
  kosten: kosten_pro_vorgang            # Quelle: API-Abrechnung
schwellen:
  go: "durchlaufzeit < baseline UND korrekturquote <= baseline"
  stop: "korrekturquote > baseline ODER akzeptanz < 0.5"
entscheidung_durch: Leitung Vertrieb Innendienst

Welche Erfolgskriterien taugen für einen KI-Pilot?

Taugliche Erfolgskriterien decken vier Dimensionen ab: Nutzen im Prozess, Qualität der Ergebnisse, Akzeptanz bei den Nutzern und Kosten im Betrieb. Jede Dimension bekommt eine Kennzahl mit Quelle und Schwelle. Wer nur eine Dimension misst, entscheidet auf halber Information.

DimensionBeispielkennzahlTypische Quelle
NutzenDurchlaufzeit, Vorgänge pro Person und TagERP- oder Ticket-Zeitstempel
QualitätKorrekturquote, Fehler in der StichprobeFreigabeprotokoll, Prüfung
AkzeptanzAnteil genutzter Entwürfe, RückmeldungenAgentenlog, kurze Umfrage
KostenModell- und Betriebskosten pro VorgangAbrechnung des Anbieters

Zwei Regeln helfen bei der Wahl. Erstens: Gegenbedingungen gehören dazu. Eine schnellere Bearbeitung ist wertlos, wenn die Fehlerquote steigt. Zweitens: Qualitative Eindrücke sind wertvoll, aber kein Ersatz für Zahlen. Halten Sie Rückmeldungen strukturiert fest, etwa mit einer Skala von 1 bis 5 und einem Freitextfeld, und werten Sie sie neben den Kennzahlen aus.

Für die technische Qualität eines KI-Systems lohnt zusätzlich ein kleiner Testsatz aus echten, anonymisierten Vorgängen mit bekanntem richtigem Ergebnis. Er läuft vor dem Start und nach jeder Änderung am System. So erkennen Sie, ob eine Anpassung während der Laufzeit etwas verschlechtert hat.

Wo liegen Grenzen und Risiken?

Ein Pilot kann nur beantworten, was im Pilotumfang vorkommt. Seltene Ausnahmen, Spitzenlasten und Langzeiteffekte bleiben oft unsichtbar. Hinzu kommen typische Planungsfehler, die das Ergebnis verzerren. Wer sie kennt, kann sie im Steckbrief ausschließen oder zumindest offen benennen.

  • Ziel ohne Ausgangslage. Ohne Baseline wird jedes Ergebnis zu einer Meinungsfrage.
  • Schwellen nach dem Start verschoben. Wer die Kriterien während der Laufzeit anpasst, misst am Ende nur, was gerade gut aussieht.
  • Umfang wächst mit. „Können wir auch noch …" ist die häufigste Ursache für Piloten ohne Ende.
  • Vorzeigeteam statt Normalbetrieb. Ein Pilot nur mit den technikaffinsten Personen überschätzt die Akzeptanz.
  • Neuheitseffekt. In den ersten Tagen wird mehr ausprobiert und mehr gelobt. Werten Sie Anfangs- und Endphase getrennt aus.
  • Kosten ausgeblendet. Modellkosten, Integrationsaufwand und Pflege gehören in die Rechnung, sonst ist das Go nicht belastbar. Wie Sie aus den Pilot-Messwerten eine Wirtschaftlichkeitsrechnung über die gesamte Laufzeit machen, zeigt der Artikel zur ROI-Berechnung für KI-Projekte – der Pilot liefert dafür die gemessenen statt geschätzten Eingangswerte.
  • Kein Plan für das Danach. Auch ein erfolgreicher Pilot scheitert, wenn niemand Betrieb, Überwachung und Weiterentwicklung übernimmt.

Strukturierte Risikoarbeit muss dabei nicht schwer sein. Das freiwillig nutzbare AI Risk Management Framework des NIST gliedert sie in vier Funktionen – Govern, Map, Measure und Manage. Für einen Pilot genügt es oft, diese vier Fragen kurz im Steckbrief zu beantworten: Wer verantwortet was, wo greift das System ein, wie wird gemessen, und was passiert bei einem Fehler? Wie diese Fragen später dauerhaft im Unternehmen geregelt werden, beschreibt der Überblick zur KI-Governance.

Und schließlich: Nicht jeder Prozess braucht einen Agenten. Gartner wies laut W.Media darauf hin, dass viele als agentisch bezeichnete Anwendungsfälle keine agentische Umsetzung erfordern. Ein Pilot darf auch zeigen, dass eine einfache Regel, ein Formular oder eine bessere Vorlage genügt.

Wie fangen Sie an?

Beginnen Sie mit einer Liste von drei bis fünf Prozesskandidaten und bewerten Sie sie nach Häufigkeit, Datenlage und Schmerz. Wählen Sie den Kandidaten, dessen Daten heute schon erfasst und zugänglich sind, statt den mit der größten Vision, und schreiben Sie dafür den Steckbrief, bevor jemand ein Werkzeug auswählt.

Ein pragmatischer Einstieg in den ersten zwei Wochen:

  1. Kandidatenliste mit den Fachbereichen erstellen und eine Ausgangsmessung für die zwei besten Kandidaten anstoßen.
  2. Für den gewählten Prozess Hypothese, Umfang, Kennzahlen und Schwellen schriftlich festhalten.
  3. Entscheidende Person, fachliche Verantwortung und Betriebsrat einbinden; Datenzugänge klären.
  4. Einen kurzen Machbarkeitstest mit wenigen echten, anonymisierten Vorgängen fahren, um grobe technische Hürden auszuschließen.
  5. Erst dann den Pilot bauen und mit Enddatum starten.

In unserem eigenen Betrieb hat sich vor allem eine Regel bewährt: Das Enddatum steht im Kalender aller Beteiligten, bevor das erste Mal ein Modell aufgerufen wird. Welche Agententypen sich für typische Prozesse im Mittelstand eignen, zeigt die Übersicht zu KI-Agenten; wer den Aufbau von KI-Kompetenz im Unternehmen grundsätzlicher angehen will, findet Orientierung unter KI-Aufbau. Begriffe wie Human-in-the-Loop oder Halluzination erklärt das KI-Lexikon.

Häufige Fragen

Wie lange sollte ein KI-Pilotprojekt dauern?

So lange, bis genug echte Vorgänge durchgelaufen sind, um die Hypothese zu prüfen, und keinen Tag länger. In vielen Büroprozessen sind das einige Wochen; entscheidend ist, dass das Enddatum vor dem Start feststeht.

Was ist der Unterschied zwischen Proof of Concept und Pilot?

Ein Proof of Concept zeigt mit Testdaten, dass etwas technisch geht. Ein Pilot prüft im echten Betrieb mit echten Nutzern, ob es sich lohnt und angenommen wird.

Wer sollte über das Ergebnis des Piloten entscheiden?

Eine vorher benannte Person mit Budgetverantwortung für den Prozess, nicht das Projektteam selbst. Sie unterschreibt die Erfolgskriterien vor dem Start und entscheidet am Ende anhand dieser Kriterien.

Muss der Betriebsrat bei einem KI-Pilotprojekt beteiligt werden?

Sobald das System Verhalten oder Leistung von Beschäftigten erfassen kann, greift in der Regel die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG. Binden Sie den Betriebsrat früh ein; das ist eine Orientierung, keine Rechtsberatung.

Ist ein abgebrochener Pilot ein Misserfolg?

Nein, wenn der Abbruch auf vorher vereinbarten Kriterien beruht. Ein sauber beendeter Pilot liefert eine belastbare Nein-Entscheidung und spart die Kosten eines Rollouts, der nicht getragen hätte.

Quellen

  1. Intelligent CIO: Gartner predicts 30% of generative AI projects will be abandoned after proof of concept by end of 2025 (August 2024) intelligentcio.com
  2. W.Media: Over 40 percent of Agentic AI projects could face the axe by end of 2027: Gartner (Juni 2025) w.media
  3. Anthropic: Define your success criteria (Claude-Dokumentation) platform.claude.com
  4. NIST: AI Risk Management Framework nist.gov
  5. Betriebsverfassungsgesetz § 87 Mitbestimmungsrechte gesetze-im-internet.de
  6. EU AI Act, Artikel 4: KI-Kompetenz artificialintelligenceact.eu