Zum Inhalt springen

KI-Strategie für den Mittelstand: vom Ziel zur umsetzbaren Agenda

Viele mittelständische Unternehmen haben inzwischen erste KI-Werkzeuge im Einsatz, aber keine gemeinsame Linie: Einzelne Abteilungen testen Chat-Assistenten, die IT prüft Lizenzen, der Datenschutz bremst, und die Geschäftsleitung fragt, was das alles bringt. Eine KI-Strategie schafft Ordnung in diesem Nebeneinander. Dieser Überblick zeigt, aus welchen Bausteinen sie besteht und wie sie in eine Agenda übergeht, die tatsächlich abgearbeitet wird.

Was ist eine KI-Strategie und wofür braucht der Mittelstand sie?

Eine KI-Strategie legt fest, welche Geschäftsziele ein Unternehmen mit KI verfolgt, in welchen Prozessen es sie einsetzt, nach welchen Regeln, mit welchen Menschen und mit welchem Budget. Sie ist kein Technologiepapier, sondern eine Entscheidungsgrundlage: Sie sagt, was gemacht wird, was ausdrücklich nicht, und woran man Erfolg erkennt.

Der Bedarf ist real. Laut Destatis nutzten 2025 rund 26 % der Unternehmen in Deutschland mit mindestens 10 Beschäftigten KI; bei Unternehmen mit 50 bis 249 Beschäftigten waren es 36 %, bei Großunternehmen 57 %. Ein Jahr zuvor lag der Gesamtwert laut Pressemitteilung vom November 2024 bei 20 %. Die Zahlen zeigen zweierlei: Der Abstand zwischen Großunternehmen und Mittelstand ist groß, und er schließt sich nicht von allein.

Aufschlussreicher als die Nutzungsquote sind die Gründe, aus denen Unternehmen KI erwägen, aber nicht einsetzen. In der Destatis-Erhebung 2025 nennen 72 % fehlendes Wissen, 62 % unklare rechtliche Folgen und 60 % Datenschutzbedenken; erst danach folgen Systemkompatibilität (45 %), Datenqualität (44 %) und Kosten (32 %). Die größten Hürden sind also Wissen, Regeln und Vertrauen, nicht Geld oder Technik. Genau dort setzt eine gute Strategie an.

Typische Anlässe, eine Strategie aufzusetzen:

  • Wildwuchs: Mehrere Abteilungen nutzen unterschiedliche KI-Dienste, ohne dass jemand den Überblick über Daten und Verträge hat.
  • Pilotfriedhof: Es gab zwei, drei Pilotprojekte, keines ist im Regelbetrieb angekommen.
  • Druck von außen: Kunden fragen nach KI-Richtlinien, Wettbewerber werben mit KI-Funktionen, die Regulierung verlangt Nachweise.
  • Personalengpass: Wissen erfahrener Mitarbeitender droht verloren zu gehen, und KI soll helfen, es zu sichern.

Aus welchen Bausteinen besteht eine KI-Strategie?

Eine tragfähige KI-Strategie besteht aus fünf Bausteinen, die aufeinander verweisen: Zielbild, Use-Case-Portfolio, Governance, Organisation und Kompetenz sowie Budget. Fehlt einer, entsteht eine typische Lücke: ohne Zielbild Beliebigkeit, ohne Portfolio Aktionismus, ohne Governance Risiko, ohne Organisation Stillstand, ohne Budget Folienarbeit.

Der Unterschied zu Einzelbetrachtungen liegt in den Verbindungen. Ein priorisierter Use Case ist nur so viel wert wie die Regeln, unter denen er betrieben werden darf, und die Person, die ihn verantwortet. Deshalb lohnt es sich, alle fünf Bausteine auf einer Seite nebeneinander zu sehen.

1. Zielbild

Das Zielbild übersetzt Geschäftsziele in KI-Ziele. Es beginnt nicht mit „Wir wollen KI nutzen", sondern mit den drei bis fünf Themen, die die Geschäftsleitung ohnehin beschäftigen: Lieferzeiten, Angebotsgeschwindigkeit, Servicequalität, Fachkräftemangel, Margen. Für jedes Thema wird beschrieben, welche Rolle KI spielen kann und welche Kennzahl sich bewegen soll. Ebenso wichtig ist die Abgrenzung: Welche Bereiche sind bewusst ausgenommen, etwa weil die Datenlage zu dünn oder das Risiko zu hoch ist?

2. Use-Case-Portfolio

Aus dem Zielbild entsteht eine Liste konkreter Anwendungsfälle, etwa das Vorqualifizieren eingehender Anfragen, das Beantworten wiederkehrender Servicefragen aus Handbüchern oder das Zusammenfassen von Prüfberichten. Diese Liste wird nach Nutzen, Machbarkeit, Datenlage und Risiko bewertet und in ein Portfolio sortiert: einige schnelle Vorhaben für Lerneffekte, wenige größere mit strategischem Gewicht. Wie man Kandidaten systematisch findet und bewertet, ist ein eigenes Methodenthema; in der Strategie zählt das Ergebnis, also eine begründete Reihenfolge.

3. Governance

Governance regelt, welche Werkzeuge erlaubt sind, welche Daten in welche Systeme dürfen, wer Freigaben erteilt und wie Ergebnisse geprüft werden. Für den Mittelstand reicht meist ein schlankes Regelwerk mit wenigen, klaren Rollen. Wie das konkret aussieht, beschreibt der Artikel KI-Governance im Mittelstand: schlank, wirksam, prüfbar. In der Strategie verankern Sie vor allem den Grundsatz: Kein Use Case geht ohne Risikoeinstufung und benannte Verantwortung in Betrieb.

Als Orientierung kann das NIST AI Risk Management Framework dienen, ein freiwillig nutzbarer Rahmen mit den vier Funktionen Govern, Map, Measure und Manage. Das Rahmenwerk ist umfangreich, seine Gliederung lässt sich aber gut auf wenige Seiten verdichten.

4. Organisation und Kompetenz

Hier wird festgelegt, wer die Strategie verantwortet, wer Use Cases fachlich treibt und wie die Belegschaft befähigt wird. Das ist nicht nur eine Frage der Wirksamkeit: Nach Artikel 4 des EU AI Act müssen Anbieter und Betreiber von KI-Systemen Maßnahmen zur KI-Kompetenz ihres Personals ergreifen. Diese Pflicht gilt laut Artikel 113 seit dem 2. Februar 2025. Durch das sogenannte AI Omnibus wurde Artikel 4 2026 abgeschwächt, aber nicht gestrichen: Unternehmen müssen nicht mehr für jede Person ein bestimmtes Niveau sicherstellen, Maßnahmen zur Förderung der KI-Kompetenz bleiben aber Pflicht, wie der KI-Campus zusammenfasst. Für die konkrete Auslegung im eigenen Unternehmen ist rechtlicher Rat sinnvoll; dieser Artikel ersetzt ihn nicht.

5. Budget und Finanzierung

Das Budget folgt dem Portfolio, nicht umgekehrt. Sinnvoll ist eine Aufteilung in drei Töpfe: Grundausstattung (Lizenzen, Plattform, Schulung), Vorhaben aus dem Portfolio und eine Reserve für Gelegenheiten. Für jedes Vorhaben gehören ein Abbruchkriterium und ein Termin dazu, an dem über Fortsetzung oder Ende entschieden wird. Das schützt vor Pilotprojekten, die nie enden. Fördermittel von Bund und Ländern können einzelne Vorhaben unterstützen; sie sollten aber die Reihenfolge im Portfolio nicht bestimmen.

Welche Strategie passt zu welcher Ausgangslage?

Es gibt nicht die eine KI-Strategie für den Mittelstand. Die Ausgangslage bestimmt den Schwerpunkt: Wer noch kaum KI nutzt, braucht zuerst Regeln und Kompetenz; wer verstreute Piloten hat, braucht Priorisierung; wer schon produktiv ist, braucht Skalierung und Betrieb. Drei Ausprägungen decken die meisten Fälle ab.

Einstiegsstrategie. Das Unternehmen hat bisher wenig oder unkoordiniert mit KI gearbeitet. Schwerpunkte sind eine Nutzungsrichtlinie, ein freigegebenes Werkzeug für alle, Schulungen und zwei bis drei überschaubare Use Cases mit schnellem Lerneffekt. Das Ziel ist Sicherheit im Umgang, nicht der große Wurf.

Konsolidierungsstrategie. Es gibt mehrere Piloten, unterschiedliche Werkzeuge und wenig Übertrag in den Regelbetrieb. Schwerpunkte sind eine Bestandsaufnahme, das bewusste Beenden schwacher Vorhaben, eine gemeinsame technische Basis und klare Verantwortung für die verbleibenden Use Cases. Hier entsteht der meiste Wert durch Weglassen.

Skalierungsstrategie. Einzelne Anwendungen laufen produktiv, etwa ein Assistent für den technischen Service. Schwerpunkte sind Betrieb und Überwachung, Wiederverwendung von Bausteinen in weiteren Bereichen, Datenqualität und die Frage, welche Fähigkeiten intern aufgebaut werden. Konkrete Anwendungsfelder zeigen die Bereiche KI-Agenten für Fachabteilungen und, bei hohen Anforderungen an Datenhoheit, souveräne KI im eigenen Betrieb.

Welche Voraussetzungen müssen erfüllt sein?

Drei Voraussetzungen entscheiden über den Erfolg: ein Mandat der Geschäftsleitung, ein ehrliches Bild der Datenlage und eine Person mit Zeit für die Umsetzung. Technische Voraussetzungen wie Cloud-Zugang oder eigene Server sind lösbar; fehlendes Mandat oder fehlende Zeit sind es meist nicht.

Mandat. Die Geschäftsleitung muss die Strategie nicht selbst schreiben, aber beschließen und regelmäßig nachfragen. Ohne dieses Signal behandeln Fachbereiche KI als Zusatzaufgabe, die hinter dem Tagesgeschäft zurücksteht.

Datenlage. Viele Use Cases scheitern nicht am Modell, sondern an verstreuten oder veralteten Daten: Handbücher als eingescannte PDFs, Angebotswissen in persönlichen Postfächern, Stammdaten mit Dubletten. Eine kurze Bestandsaufnahme der wichtigsten Datenquellen gehört deshalb vor die Priorisierung, nicht danach.

Systeme und Verträge. Welche Systeme sind führend (ERP, CRM, DMS)? Welche Schnittstellen gibt es? Welche Verträge mit KI-Anbietern bestehen bereits, auch über Office-Lizenzen? Diese Fragen klären, was ohne großen Integrationsaufwand möglich ist.

Betriebsrat und Datenschutz. Wo ein Betriebsrat besteht, sollte er früh eingebunden werden, da KI-Werkzeuge oft Fragen der Leistungs- und Verhaltenskontrolle berühren. Der Datenschutz gehört von Beginn an an den Tisch; dann lässt sich vieles datenschutzkonform betreibbar gestalten, statt nachträglich zu bremsen.

Kapazität. Mindestens eine Person braucht einen festen Anteil ihrer Arbeitszeit für das Thema. Fehlt diese Kapazität intern, kann eine externe Leitung auf Zeit die Rolle übernehmen, bis interne Strukturen stehen; das beschreibt die Seite KI-Aufbau mit externer KI-Leitung.

Wie entsteht die KI-Strategie in sechs Schritten?

Eine KI-Strategie für ein mittelständisches Unternehmen lässt sich in sechs Schritten erarbeiten: Ziele klären, Bestand aufnehmen, Use Cases sammeln, bewerten und priorisieren, Regeln und Rollen festlegen, Agenda mit Budget beschließen. Wichtiger als die Dauer ist, dass am Ende Entscheidungen stehen und nicht nur Erkenntnisse.

  1. Ziele klären. In einem Termin mit der Geschäftsleitung werden die drei bis fünf wichtigsten Geschäftsthemen der nächsten zwei Jahre festgehalten und je eine Kennzahl benannt. Ergebnis: das Zielbild auf einer Seite.
  2. Bestand aufnehmen. Welche KI-Werkzeuge sind bereits im Einsatz, offiziell und inoffiziell? Welche Daten liegen wo? Welche Verträge gibt es? Kurze Interviews mit den Bereichsleitungen genügen. Ergebnis: eine ehrliche Ausgangslage.
  3. Use Cases sammeln. In Workshops mit den Fachbereichen werden konkrete Abläufe betrachtet, nicht Technologien: Wo wird gesucht, abgetippt, zusammengefasst, nachgefragt? Ergebnis: eine Kandidatenliste mit kurzer Beschreibung je Fall.
  4. Bewerten und priorisieren. Jeder Kandidat wird nach Nutzen, Machbarkeit, Datenlage und Risiko eingestuft. Ergebnis: ein Portfolio mit Reihenfolge und den ersten zwei bis drei Vorhaben.
  5. Regeln und Rollen festlegen. Nutzungsrichtlinie, Freigabeprozess, Risikoeinstufung, Verantwortliche je Use Case, Schulungsplan. Ergebnis: ein schlankes Regelwerk und eine Rollenübersicht.
  6. Agenda beschließen. Die Geschäftsleitung beschließt Portfolio, Budget, Verantwortliche und Überprüfungstermine. Ergebnis: eine Agenda mit Terminen, die in das reguläre Management-Reporting eingeht.

Ein häufig unterschätzter Teil ist der Rhythmus danach. Bewährt hat sich ein quartalsweiser Termin, in dem der Stand jedes Vorhabens gegen sein Abbruchkriterium geprüft, neue Kandidaten bewertet und die Rangfolge angepasst wird. Das Zielbild selbst wird etwa einmal im Jahr überprüft. In unserem eigenen Betrieb hat sich gezeigt, dass gerade dieser feste Termin den Unterschied zwischen einer gelebten und einer abgelegten Strategie macht.

Wo liegen Grenzen und Risiken einer KI-Strategie?

Eine KI-Strategie kann scheitern, wenn sie zu groß, zu technisch oder zu unverbindlich ausfällt. Die häufigsten Fehler sind ein Papier ohne Entscheidungen, ein Portfolio ohne Abbruchkriterien und Regeln, die niemand kennt. Hinzu kommen äußere Risiken: schnelle Veränderungen bei Modellen und Preisen, Abhängigkeit von einzelnen Anbietern und eine Rechtslage, die sich weiterentwickelt.

Strategie als Ersatzhandlung. Ein umfangreiches Dokument kann Fortschritt vortäuschen. Wenn nach dem Beschluss nichts in Betrieb geht, war die Strategie zu abstrakt. Gegenmittel: Das erste Vorhaben startet unmittelbar nach dem Beschluss.

Technologie zuerst. Strategien, die mit einer Plattformentscheidung beginnen, suchen anschließend Probleme für die gewählte Lösung. Die Reihenfolge muss umgekehrt sein: Ziel, Use Case, dann Technik.

Anbieterabhängigkeit. Wer alle Anwendungen eng an einen Anbieter bindet, verliert Verhandlungsspielraum und Flexibilität, wenn sich Preise oder Nutzungsbedingungen ändern. Die Strategie sollte festhalten, welche Daten und Bausteine unter eigener Kontrolle bleiben und wie ein Wechsel grundsätzlich möglich wäre.

Unterschätzter Betrieb. Ein Pilot ist schnell gebaut; der dauerhafte Betrieb mit Überwachung, Aktualisierung der Wissensbasis, Anwenderbetreuung und Kostenkontrolle kostet laufend Zeit. Ein Portfolio, das nur Piloten plant, plant den teuersten Teil nicht ein.

Akzeptanz. Beschäftigte, die KI als Bedrohung erleben, umgehen neue Werkzeuge oder nutzen private Dienste. Offene Kommunikation darüber, was KI übernehmen soll und was nicht, gehört deshalb in die Strategie, ebenso wie die Einbindung des Betriebsrats.

Rechtslage im Wandel. Der EU AI Act gilt laut Artikel 113 grundsätzlich seit dem 2. August 2026, einzelne Pflichten folgen später, und Teile wurden 2026 bereits angepasst. Eine Strategie sollte deshalb einen festen Zeitpunkt vorsehen, zu dem die rechtliche Einordnung überprüft wird. Dieser Artikel bietet Orientierung, keine Rechtsberatung.

Wann eine eigene Strategie nicht nötig ist. Bei sehr kleinen Betrieben oder wenn KI nur als Funktion in bestehender Standardsoftware genutzt wird, genügen oft eine Nutzungsrichtlinie und eine Schulung. Eine vollständige Strategie lohnt sich, sobald mehrere Bereiche eigene Vorhaben verfolgen oder Kunden- und Betriebsdaten verarbeitet werden.

Wie fangen Sie mit der KI-Strategie an?

Beginnen Sie mit zwei Dingen parallel: einer kurzen Bestandsaufnahme, welche KI-Werkzeuge im Unternehmen bereits genutzt werden, und einem Termin mit der Geschäftsleitung, in dem die wichtigsten Geschäftsziele festgehalten werden. Aus beidem ergibt sich, welche der drei Ausprägungen passt und welche Bausteine zuerst gebraucht werden.

Eine praktische Reihenfolge für die ersten Wochen:

  • Verantwortung benennen. Eine Person mit Mandat und Zeit, intern oder extern.
  • Nutzungsrichtlinie in Kraft setzen. Auch eine vorläufige Fassung ist besser als keine, weil Beschäftigte KI-Dienste ohnehin nutzen.
  • Kompetenz aufbauen. Eine Grundschulung für alle, vertiefte Formate für die Fachbereiche mit den ersten Use Cases; ein Workshop zum Einstieg kann Geschäftsleitung und Bereichsleitungen auf einen gemeinsamen Stand bringen.
  • Ersten Use Case auswählen. Überschaubar, mit guter Datenlage und einem Fachbereich, der ihn wirklich will.
  • Überprüfungstermin festlegen. Der erste Quartalstermin steht im Kalender, bevor das erste Vorhaben startet.

Für die Ausgestaltung der Regeln hilft der Artikel zur KI-Governance im Mittelstand; Begriffe wie Large Language Model oder KI-Agent erklärt das KI-Lexikon. Wer die Umsetzung nicht neben dem Tagesgeschäft stemmen kann, findet auf der Seite zum KI-Aufbau einen Weg, die Leitungsrolle auf Zeit zu besetzen.

Häufige Fragen

Wie lang sollte ein KI-Strategiepapier sein?

So kurz, dass die Geschäftsleitung es in einer Sitzung vollständig besprechen kann. Wenige Seiten mit Zielbild, Portfolio, Regeln, Verantwortlichen und Budget reichen; Details gehören in die Projektunterlagen.

Braucht ein mittelständisches Unternehmen eine eigene KI-Abteilung?

In der Regel nicht. Wichtiger ist eine benannte Person mit Mandat und Zeit, die Fachbereiche, IT und Datenschutz zusammenbringt; die Umsetzung kann intern, extern oder gemischt erfolgen.

Wie oft sollte die KI-Strategie überarbeitet werden?

Das Portfolio quartalsweise, das Zielbild etwa jährlich. Modelle, Preise und Rechtslage ändern sich schneller als klassische IT-Strategien, deshalb sind feste Überprüfungstermine wichtiger als ein perfektes Erstdokument.

Ist eine KI-Strategie Pflicht nach dem EU AI Act?

Eine Strategie im engeren Sinn verlangt die Verordnung nicht. Wer KI-Systeme einsetzt, muss aber nach Artikel 4 Maßnahmen zur KI-Kompetenz der Beschäftigten ergreifen; das lässt sich in der Strategie sauber verankern. Dies ist keine Rechtsberatung.

Quellen

  1. Destatis: Unternehmen mit Nutzung von KI nach Beschäftigtengrößenklassen (2025) destatis.de
  2. Destatis: Gründe gegen die Nutzung von KI (2025) destatis.de
  3. Destatis: Jedes fünfte Unternehmen nutzt künstliche Intelligenz (Pressemitteilung Nr. 444 vom 25.11.2024) destatis.de
  4. EU AI Act, Artikel 4: KI-Kompetenz artificialintelligenceact.eu
  5. EU AI Act, Artikel 113: Inkrafttreten und Geltung artificialintelligenceact.eu
  6. KI-Campus: AI Omnibus recalibrates Article 4 – AI literacy remains mandatory ki-campus.org
  7. NIST AI Risk Management Framework nist.gov