KI-Leitung im Mittelstand: Head of AI, CAIO oder externe KI-Leitung?
Sobald ein Unternehmen KI nicht nur ausprobiert, sondern in Angeboten, Service oder Wissensarbeit einsetzt, stellt sich die Frage nach der Zuständigkeit. Laut einer Bitkom-Umfrage unter 604 Unternehmen ab 20 Beschäftigten nutzten im Sommer 2025 bereits 36 Prozent KI, weitere 47 Prozent planten oder diskutierten den Einsatz. Wer dabei die Verantwortung trägt, ist in vielen Häusern ungeklärt. Dieser Überblick vergleicht die gängigen Rollenmodelle – intern, extern und hybrid – und zeigt, welches zu welcher Ausgangslage passt. Es geht hier um die Frage, wer KI verantwortet; was das Unternehmen mit KI erreichen will, behandelt der Artikel zur KI-Strategie im Mittelstand.
Was bedeutet KI-Leitung und wofür braucht man sie?
KI-Leitung heißt: Eine benannte Person entscheidet, welche KI-Anwendungen das Unternehmen verfolgt, in welcher Reihenfolge, mit welchen Daten und unter welchen Regeln – und sie steht dafür gegenüber der Geschäftsführung ein. Ohne diese Rolle entstehen KI-Projekte zufällig in einzelnen Abteilungen, und niemand hat den Überblick über Kosten, Risiken und Nutzen.
Die Rolle hat viele Namen: Head of AI, Chief AI Officer (CAIO), KI-Verantwortlicher, KI-Beauftragter, externe KI-Leitung. Entscheidend ist nicht der Titel, sondern drei Dinge:
- Mandat: Die Person darf Prioritäten setzen und Projekte stoppen, nicht nur beraten.
- Zeit: Die Aufgabe ist in der Arbeitszeit eingeplant und nicht „nebenbei“ zu erledigen.
- Zugang: Die Person kommt an Fachbereiche, IT, Datenschutz und Geschäftsführung heran.
International ist die Entwicklung deutlich. In der CEO-Studie 2026 des IBM Institute for Business Value gaben 76 Prozent der befragten Organisationen an, einen Chief AI Officer zu haben, nach 26 Prozent im Vorjahr; befragt wurden 2.000 CEOs und vergleichbare Führungskräfte in 33 Regionen. Mittelständische Unternehmen weist die Mitteilung nicht gesondert aus. Für den Mittelstand zeigen sie vor allem, dass KI als Führungsaufgabe verstanden wird – nicht, dass jedes Unternehmen eine Vorstandsposition dafür schaffen muss.
Welche Aufgaben gehören zur KI-Leitung?
Die KI-Leitung bündelt fünf Aufgabenblöcke: Anwendungsfälle auswählen und priorisieren, Architektur und Werkzeuge festlegen, Regeln und Risiken steuern, Kompetenz im Haus aufbauen und den laufenden Betrieb überwachen. Wie viel davon eine Person selbst erledigt und was sie delegiert, unterscheidet die Rollenmodelle.
1. Anwendungsfälle und Prioritäten. Wo bringt KI im eigenen Unternehmen tatsächlich etwas – im Angebotsprozess, im technischen Service, bei der Suche in Handbüchern und Prüfberichten? Die KI-Leitung sammelt Ideen aus den Fachbereichen, bewertet sie nach Aufwand, Datenlage und Risiko und entscheidet die Reihenfolge. Beispiele für typische Einsatzfelder finden Sie in der Übersicht zu KI-Agenten für Fachabteilungen.
2. Architektur und Werkzeuge. Welche Modelle, welche Plattformen, Cloud oder eigener Betrieb? Hier fallen Entscheidungen mit langer Wirkung: Wo liegen die Daten, wie stark bindet man sich an einen Anbieter, was läuft im eigenen Rechenzentrum? Wer sich mit Betrieb im eigenen Haus beschäftigt, findet Grundlagen unter souveräne KI.
3. Regeln und Risiken. Welche Daten dürfen in welche Systeme? Wer gibt eine neue Anwendung frei? Was passiert, wenn ein Modell falsche Antworten liefert? Die KI-Leitung schreibt diese Regeln nicht allein, sondern zusammen mit Datenschutz, Informationssicherheit und – wo vorhanden – Betriebsrat. Wie ein solches Regelwerk aufgebaut ist, beschreibt der Artikel zur KI-Governance; hier geht es um die Person, die es verantwortet.
4. Kompetenz und Schulung. Artikel 4 des AI Act verlangt von Anbietern und Betreibern von KI-Systemen Maßnahmen, die die KI-Kompetenz ihres Personals unterstützen. Die EU-Kommission stellt in ihren Fragen und Antworten klar, dass dafür kein Zertifikat nötig ist und eine interne Dokumentation der Maßnahmen genügen kann. Organisieren muss diese Maßnahmen trotzdem jemand. Was Artikel 4 im Einzelnen verlangt, erläutert der Beitrag zur KI-Kompetenz nach Art. 4 AI Act.
5. Betrieb und Weiterentwicklung. KI-Anwendungen sind nach dem Start nicht fertig. Modelle ändern sich, Prompts müssen nachgeschärft, Fehlerfälle ausgewertet und Kosten beobachtet werden. Diese Daueraufgabe wird beim Rollenzuschnitt am häufigsten unterschätzt.
Welche Rollenmodelle gibt es?
Für den Mittelstand kommen im Wesentlichen fünf Modelle in Frage: KI als Nebenaufgabe einer bestehenden Führungskraft, ein interner Head of AI, ein Chief AI Officer auf oberster Ebene, eine externe KI-Leitung auf Teilzeitbasis und ein hybrides Modell aus interner Ansprechperson und externer Leitung. Keines ist grundsätzlich überlegen.
| Modell | Ebene | Typischer Zeitanteil | Passt, wenn … |
|---|---|---|---|
| Nebenrolle (IT-Leitung, Digitalisierung) | Bereichsleitung | Teil einer bestehenden Stelle | erste ein bis zwei Anwendungsfälle |
| Head of AI (intern) | unterhalb der Geschäftsführung | Vollzeit, oft mit Team | mehrere produktive Anwendungen |
| Chief AI Officer | oberste Führungsebene | Vollzeit | KI verändert das Geschäftsmodell |
| Externe KI-Leitung | berichtet an Geschäftsführung | Teilzeit, je nach Phase | Aufbauphase ohne eigenes Profil im Haus |
| Hybrid | intern + extern | interne Person plus externe Leitung | Wissen soll ins Haus übergehen |
KI als Nebenrolle
In vielen Unternehmen übernimmt die IT-Leitung, die Digitalisierungsverantwortliche oder ein technisch interessierter Bereichsleiter das Thema zusätzlich. Das ist für den Einstieg pragmatisch: Die Person kennt Systeme und Menschen, es entsteht keine neue Stelle.
Die Schwäche liegt im Zeitbudget und im Blickwinkel. Wer bereits für Netzwerk, ERP und Arbeitsplätze zuständig ist, behandelt KI leicht als weiteres Werkzeug, das installiert werden muss – und nicht als Frage, welche Prozesse sich ändern sollen. Das Modell funktioniert, wenn die Geschäftsführung ausdrücklich Zeit freistellt und die Fachbereiche verpflichtend einbindet.
Interner Head of AI
Ein Head of AI ist eine eigene Führungsrolle, meist unterhalb der Geschäftsführung angesiedelt, oft mit einem kleinen Team aus Entwicklung und Datenarbeit. Die Rolle ist sinnvoll, wenn mehrere KI-Anwendungen im Betrieb laufen und die Weiterentwicklung dauerhaft Kapazität braucht.
Der Engpass ist die Besetzung. Gesucht wird jemand, der Technik, Prozesse und Führung zusammenbringt – ein Profil, das auch Konzerne und Softwarehäuser suchen. Wer zu früh einstellt, riskiert außerdem, dass eine teure Stelle zunächst vor allem Grundlagen klärt, die eine erfahrene Person von außen schneller strukturieren könnte.
Chief AI Officer
Der CAIO sitzt auf oberster Führungsebene und verantwortet KI unternehmensweit, einschließlich Strategie, Budget und Risiko. Das Modell stammt aus Konzernen und Behörden, in denen KI viele Geschäftsbereiche gleichzeitig betrifft.
Im Mittelstand ist eine eigene Vorstandsposition selten angemessen. Häufiger ist, dass ein Mitglied der Geschäftsführung die Verantwortung formell übernimmt und die operative Leitung an einen Head of AI oder eine externe Leitung delegiert. Ein CAIO lohnt sich vor allem dort, wo KI Produkte oder Geschäftsmodell verändert – etwa wenn KI-Funktionen Teil des verkauften Produkts werden.
Externe KI-Leitung
Bei der externen KI-Leitung (englisch oft „Fractional Head of AI“) übernimmt eine erfahrene Person von außen die Leitungsrolle in Teilzeit. Sie berichtet an die Geschäftsführung, setzt Prioritäten, steuert Dienstleister und baut Strukturen auf – ohne Festanstellung.
Der Vorteil: Erfahrung aus mehreren Projekten ist sofort verfügbar, und der Zeitumfang lässt sich an die Phase anpassen. Die Grenze: Eine externe Person ist nicht jeden Tag im Haus, kennt informelle Abläufe weniger gut und kann interne Verantwortung nicht ersetzen. Ohne eine interne Ansprechperson versandet das Modell. Wie eine solche Leitung aufgebaut sein kann, beschreibt die Seite zum KI-Aufbau mit externer Leitung.
Hybrides Modell
Im hybriden Modell arbeitet eine interne Person – oft aus IT oder einem Fachbereich – mit einer externen KI-Leitung zusammen. Die externe Leitung bringt Methode und Erfahrung, die interne Person trägt Wissen und Verantwortung ins Unternehmen und übernimmt mit der Zeit immer mehr Aufgaben.
Dieses Modell ist für viele mittelständische Unternehmen ein realistischer Mittelweg, weil es zwei Probleme gleichzeitig adressiert: das fehlende Profil im Haus und die Abhängigkeit von Externen. Wichtig ist ein von Anfang an vereinbartes Ziel, wann und wie die Leitung schrittweise nach innen übergeht.
Welche Voraussetzungen braucht jede Variante?
Unabhängig vom Modell scheitert KI-Leitung selten an der Person, sondern an fehlenden Rahmenbedingungen: kein Mandat der Geschäftsführung, keine zugänglichen Daten, kein Budget für Pilotprojekte, keine Zeit in den Fachbereichen. Diese vier Punkte sollten geklärt sein, bevor jemand benannt wird.
Mandat der Geschäftsführung. Die Rolle braucht eine schriftliche Beschreibung: Wofür ist sie zuständig, was darf sie entscheiden, wem berichtet sie? Ohne das wird die KI-Leitung zum Beratungsgremium ohne Wirkung.
Daten und Systeme. KI-Anwendungen brauchen Zugriff auf die Dokumente und Systeme, aus denen sie Antworten erzeugen: Angebotsvorlagen, Servicetickets, technische Dokumentation, ERP-Daten. Wenn diese verstreut, veraltet oder nur in Köpfen vorhanden sind, ist die erste Aufgabe der KI-Leitung Aufräumarbeit, nicht Modellauswahl.
Budget für Erprobung. Ein Anwendungsfall lässt sich selten am Schreibtisch bewerten. Die KI-Leitung braucht einen Rahmen, in dem sie Prototypen bauen und wieder verwerfen kann.
Zeit in den Fachbereichen. Die Menschen, die den Prozess kennen, müssen an Anforderungen, Tests und Bewertung mitarbeiten. Diese Zeit wird oft nicht eingeplant und ist dann der eigentliche Engpass.
Abstimmung mit Datenschutz und Mitbestimmung. Werden personenbezogene Daten verarbeitet oder ändern sich Arbeitsabläufe von Beschäftigten, müssen Datenschutzbeauftragte und gegebenenfalls Betriebsrat früh eingebunden werden. Dieser Artikel ist keine Rechtsberatung; für die konkrete Ausgestaltung sollten Sie fachkundigen Rat einholen.
Wie gehen Sie bei der Entscheidung vor?
Die Wahl des Rollenmodells folgt aus einer ehrlichen Bestandsaufnahme: Wie viele Anwendungsfälle gibt es, wie weit sind sie, wer im Haus kann die Aufgabe übernehmen, und wie schnell soll es gehen? Die folgenden Schritte führen in überschaubarer Zeit zu einer begründeten Entscheidung.
- Bestand erfassen. Welche KI-Werkzeuge werden bereits genutzt – offiziell und inoffiziell? Wer nutzt welche Chat-Assistenten mit welchen Daten? Diese Liste ist oft länger als erwartet.
- Anwendungsfälle sammeln und bewerten. In jedem Fachbereich nach wiederkehrenden, textlastigen Aufgaben fragen. Jede Idee kurz nach Nutzen, Datenlage und Risiko einordnen.
- Zielbild für zwölf Monate festlegen. Wie viele Anwendungen sollen bis dahin im Betrieb sein? Daraus ergibt sich der Kapazitätsbedarf deutlich besser als aus allgemeinen Empfehlungen.
- Interne Kandidaten prüfen. Gibt es jemanden mit technischem Verständnis, Prozessblick und Akzeptanz in den Fachbereichen? Wenn ja, wie viel Zeit kann diese Person realistisch freigestellt werden?
- Modell wählen. Bei wenigen Anwendungsfällen und einer starken internen Person: Nebenrolle mit klarem Zeitbudget. Bei hohem Bedarf und vorhandenem Profil auf dem Arbeitsmarkt: Head of AI. Fehlt das Profil im Haus: externe oder hybride Leitung.
- Mandat schriftlich festhalten. Zuständigkeit, Entscheidungsrechte, Berichtsweg und Budgetrahmen.
- Nach sechs Monaten überprüfen. Passt das Modell noch zur Zahl und Reife der Anwendungen? Ein Wechsel von extern zu intern ist ein normaler Schritt, kein Scheitern.
Wo liegen Grenzen und Risiken?
Jedes Rollenmodell hat typische Fehlerbilder: Die Nebenrolle verhungert am Zeitmangel, die neue Vollzeitstelle findet keine ausreichende Arbeitsgrundlage, die externe Leitung bleibt ohne Verankerung im Haus. Wer diese Muster kennt, kann sie beim Zuschnitt vermeiden.
- Titel ohne Mandat. Eine Person wird zum KI-Verantwortlichen ernannt, darf aber weder Budget freigeben noch Projekte stoppen. Das Ergebnis ist Verantwortung ohne Einfluss.
- Technik vor Prozess. Die KI-Leitung wählt Plattformen, bevor klar ist, welcher Prozess sich ändern soll. Das führt zu Werkzeugen, die niemand nutzt.
- Schatten-KI wird ignoriert. Beschäftigte nutzen öffentliche Chat-Dienste mit internen Dokumenten, während offiziell noch über eine Strategie beraten wird. Eine pragmatische Freigabe geeigneter Werkzeuge mit klaren Regeln ist oft wirksamer als ein Verbot.
- Abhängigkeit von Externen. Eine externe Leitung ohne interne Gegenstelle hinterlässt beim Vertragsende Lücken. Übergabe und Dokumentation gehören von Anfang an in den Auftrag.
- Überschätzte Regulierung. Manche Unternehmen bauen aus Sorge vor dem AI Act aufwendige Gremien auf. Nach den Erläuterungen der EU-Kommission zu Artikel 4 ist eine bestimmte Governance-Struktur nicht vorgeschrieben; die nationale Aufsicht über diese Pflicht beginnt am 2. August 2026. Wer Hochrisiko-Systeme betreibt, hat allerdings zusätzliche Pflichten.
- Unterschätzter Betrieb. Die Rolle wird für die Einführung geplant und danach zurückgefahren. Laufende Anwendungen ohne Verantwortlichen verlieren schnell an Qualität, weil sich Daten, Modelle und Abläufe ändern.
In unserem eigenen Betrieb hat sich gezeigt, dass die erste KI-Anwendung selten das größte Problem ist. Schwierig wird es bei der dritten und vierten, wenn Pflege, Rechteverwaltung und Schulung parallel laufen und niemand ausdrücklich dafür zuständig ist.
Wie fangen Sie an?
Beginnen Sie nicht mit einer Stellenausschreibung, sondern mit einer Entscheidung der Geschäftsführung: Wer ist ab sofort für KI verantwortlich, mit welchem Zeitbudget und welchem Mandat? Diese Person – intern oder extern – erstellt in den ersten Wochen eine Bestandsaufnahme und eine priorisierte Liste von Anwendungsfällen.
Ein guter erster Meilenstein ist eine produktive Anwendung in einem klar abgegrenzten Prozess, etwa die Vorbereitung von Angeboten oder die Suche in technischer Dokumentation. Daran lässt sich ablesen, wie viel Kapazität die KI-Leitung tatsächlich braucht – und ob die Nebenrolle reicht oder ein eigenes Profil nötig ist.
Parallel sollten Sie die Schulung der Beschäftigten anstoßen. Laut der Bitkom-Umfrage von 2025 boten 43 Prozent der befragten Unternehmen ihren Beschäftigten gar keine KI-Schulung an. Ein gemeinsamer Einstieg für Führungskräfte und Fachbereiche, etwa in Form eines KI-Workshops, schafft ein gemeinsames Verständnis, bevor Rollen und Budgets festgelegt werden.
Weitere Artikel zu Strategie, Organisation und Umsetzung finden Sie im Wissensbereich.
Häufige Fragen
Schreibt der AI Act einen KI-Beauftragten vor?
Nein. Laut den Fragen und Antworten der EU-Kommission zu Artikel 4 ist weder ein KI-Beauftragter noch ein KI-Gremium noch ein Zertifikat vorgeschrieben. Verlangt sind Maßnahmen, die die KI-Kompetenz der Beschäftigten unterstützen.
Kann die IT-Leitung KI einfach mitübernehmen?
Für Betrieb, Sicherheit und Integration ja. Die Auswahl der Anwendungsfälle und die Verantwortung für Prozessergebnisse liegen aber in den Fachbereichen, deshalb braucht die IT-Leitung dafür ein klares Mandat der Geschäftsführung und Zeit.
Ab wann lohnt sich eine eigene Vollzeitstelle für KI?
Eine Faustregel gibt es nicht. Ein Hinweis ist, wenn mehrere Anwendungsfälle parallel im Betrieb laufen und Weiterentwicklung, Überwachung und Schulung dauerhaft mehr Zeit binden, als eine Nebenrolle hergibt.
Was unterscheidet einen Head of AI von einem CAIO?
Der Chief AI Officer sitzt in der Regel auf oberster Führungsebene und verantwortet KI unternehmensweit. Ein Head of AI leitet meist ein Team oder einen Bereich unterhalb der Geschäftsführung und ist näher an Umsetzung und Betrieb.
Quellen
- EU-Kommission: AI Literacy – Questions & Answers digital-strategy.ec.europa.eu
- IBM Newsroom: IBM Study – CEOs are Reshaping C-suite Roles for the AI Era (04.05.2026) newsroom.ibm.com
- Bitkom: Presseinformation zur KI-Nutzung in der deutschen Wirtschaft (15.09.2025) bitkom.org