KI-Governance im Mittelstand: schlank, wirksam, prüfbar

Sobald in einem Unternehmen mehr als zwei oder drei Personen KI-Werkzeuge nutzen, stellen sich dieselben Fragen: Was ist erlaubt, wer entscheidet, welche Daten dürfen hinein, und wer weiß überhaupt, was im Haus läuft? KI-Governance ist die Antwort auf diese Fragen in organisierter Form. Dieser Artikel beschreibt ein Minimalsystem, das zu einem mittelständischen Betrieb passt, und ordnet Gesetz und Normen ein. Stand: Oktober 2026. Er ist keine Rechtsberatung.

Was ist KI-Governance und wofür braucht ein Mittelständler sie?

KI-Governance ist die Gesamtheit der Regeln, Rollen und Kontrollen, mit denen ein Unternehmen entscheidet, welche KI-Anwendungen es einsetzt, unter welchen Bedingungen und mit welcher Aufsicht. Im Mittelstand geht es weniger um Gremien als um Klarheit: Jede Anwendung hat eine verantwortliche Person, eine Risikoeinstufung und einen dokumentierten Freigabeweg.

Der Nutzen ist praktisch. Ohne Governance entsteht Schatten-KI: Mitarbeitende laden Angebote, Verträge oder Kundendaten in private Konten von Chat-Diensten, weil niemand eine Alternative angeboten hat. Mit Governance gibt es einen freigegebenen Weg, der schneller ist als der private. Das ist der eigentliche Hebel: Governance, die nur verbietet, wird umgangen; Governance, die einen einfachen Weg zur Freigabe bietet, wird genutzt.

Drei Gründe sprechen dafür, jetzt damit zu beginnen:

• Haftung und Datenschutz: Wer Personen- oder Betriebsgeheimnisse in KI-Dienste gibt, muss wissen, wohin sie fließen. Das lässt sich nur beantworten, wenn bekannt ist, welche Dienste im Einsatz sind.
• Regulierung: Der EU AI Act verlangt von Unternehmen, die KI einsetzen, bereits seit 2. Februar 2025 Maßnahmen zur KI-Kompetenz. Weitere Pflichten für Betreiber von Hochrisiko-Systemen folgen (siehe unten).
• Kundenanforderungen: Auftraggeber können in Lieferantenfragebögen danach fragen, wie KI im Unternehmen gesteuert wird. Wer ein Inventar und eine Richtlinie vorzeigen kann, antwortet in Minuten statt in Wochen.

Aus welchen Bausteinen besteht ein schlankes Governance-System?

Ein schlankes System besteht aus fünf Bausteinen: Rollen, Richtlinie, Freigabeprozess, Inventar und Kontrollen. Jeder Baustein passt auf ein bis zwei Seiten oder eine Tabelle. Zusammen beantworten sie, wer entscheidet, was gilt, wie eine Anwendung live geht, was im Einsatz ist und wie das überprüft wird.

Rollen

Mindestens drei Rollen sind sinnvoll, die in kleinen Betrieben von denselben Personen ausgefüllt werden können:

• Verantwortliche Person für KI: entscheidet über Freigaben, führt das Inventar, ist Ansprechpartner für Fachbereiche und Aufsicht. Sie braucht Entscheidungsbefugnis, nicht nur Koordinationsauftrag.
• Fachliche Eigentümer je Anwendung: die Person im Fachbereich, die den Prozess verantwortet und das Ergebnis des Agenten verantwortet. Sie entscheidet, was der Agent darf.
• Beratende Stellen: Datenschutz, IT-Sicherheit und gegebenenfalls Betriebsrat werden bei Freigaben mit höherem Risiko eingebunden, nicht bei jeder Kleinigkeit.

Hier genügt: Eine Person trägt die Verantwortung, und sie ist namentlich bekannt.

Richtlinie

Die Richtlinie legt fest, was Mitarbeitende dürfen und was nicht. Gut ist sie, wenn sie auf zwei Seiten passt und konkrete Beispiele enthält: welche Datenklassen in welche Dienste dürfen, welche Werkzeuge freigegeben sind, dass Ergebnisse vor Weitergabe an Kunden geprüft werden und an wen man sich bei Unsicherheit wendet.

Freigabeprozess nach Risiko

Nicht jede Anwendung braucht dieselbe Prüfung. Ein Prozess mit drei Stufen reicht meist aus; Details dazu im nächsten Abschnitt.

Inventar

Das Inventar ist eine Tabelle aller KI-Anwendungen im Haus: Name, Zweck, Anbieter oder Modell, Datenarten, Eigentümer, Risikostufe, Freigabedatum, nächste Überprüfung. Ohne diese Liste ist jede andere Aussage über KI im Unternehmen Vermutung.

Kontrollen

Kontrollen sind wenige, prüfbare Maßnahmen, etwa: Stichproben der Agenten-Ergebnisse, Überprüfung der Zugriffsrechte, Auswertung von Protokollen und ein jährlicher Abgleich des Inventars mit der tatsächlichen IT-Landschaft.

Wie sieht ein Freigabeprozess aus, der nicht lähmt?

Ein Freigabeprozess nach Risiko teilt Anwendungen in drei Stufen ein: freigegeben ohne weitere Prüfung, Kurzprüfung und vollständige Prüfung. Die Stufe richtet sich nach Datenart, Außenwirkung und Entscheidungsfolgen. So bekommen die meisten Anwendungen in Tagen eine Antwort, und Aufwand fließt nur dorthin, wo er Risiko senkt.

Ein praktikables Raster mit drei Fragen:

1. Welche Daten fließen hinein? Öffentliche oder unkritische Inhalte, interne Dokumente, personenbezogene Daten oder Geschäftsgeheimnisse.
2. Wer sieht das Ergebnis? Nur die Mitarbeitenden selbst, andere Kolleginnen und Kollegen oder Kunden und Dritte.
3. Was geschieht mit dem Ergebnis? Es dient als Entwurf, den ein Mensch prüft, oder es löst automatisch eine Handlung aus, etwa eine Bestellung, eine Mail oder eine Buchung.

Aus den Antworten ergibt sich die Stufe:

• Stufe 1 (Standardfreigabe): unkritische Daten, Ergebnis nur intern, immer ein Mensch dazwischen. Beispiel: Zusammenfassung öffentlicher Normtexte. Freigabe durch die verantwortliche Person per Eintrag im Inventar, innerhalb weniger Tage.
• Stufe 2 (Kurzprüfung): interne Dokumente oder personenbezogene Daten in kleinem Umfang, Ergebnis geht zur Prüfung an Kunden. Datenschutz und IT-Sicherheit prüfen anhand einer kurzen Checkliste.
• Stufe 3 (vollständige Prüfung): Entscheidungen über Personen, automatisch ausgelöste Handlungen mit finanzieller oder rechtlicher Wirkung, Anwendungen im Anwendungsbereich des EU AI Act für Hochrisiko-Systeme. Hier gehören Risikoanalyse, Testnachweis, Aufsichtskonzept und Rechtsprüfung dazu.

Wichtig ist eine Frist: Wer nach zwei Wochen keine Antwort hat, geht am Prozess vorbei. Legen Sie deshalb Reaktionszeiten fest, die die verantwortliche Person einhalten muss, und messen Sie sie.

Für Agenten, die selbstständig Werkzeuge bedienen, gilt zusätzlich: Je mehr Rechte ein Agent hat, desto höher die Stufe. Ein Agent, der nur liest und Entwürfe erstellt, ist anders zu bewerten als einer, der Mails versendet oder Daten in einem ERP-System ändert. Was ein KI-Agent ist, erklärt das Lexikon.

Was verlangt der EU AI Act von Unternehmen, die KI einsetzen?

Der EU AI Act unterscheidet Anbieter und Betreiber. Mittelständler sind meist Betreiber, also Unternehmen, die KI-Systeme in eigener Verantwortung nutzen. Für sie gelten seit 2. Februar 2025 die Pflicht zur Förderung von KI-Kompetenz und die Verbote bestimmter Praktiken; für Hochrisiko-Systeme kommen später weitere Pflichten hinzu.

Nach der Zeitleiste der Europäischen Kommission (Stand 3. August 2026) gelten folgende Termine:

• 2. Februar 2025: Verbotene Praktiken und die Pflichten zur KI-Kompetenz.
• 2. August 2026: Der AI Act wird grundsätzlich anwendbar, mit Ausnahmen. Die Transparenzregeln greifen ab August 2026.
• 2. Dezember 2027: Hochrisiko-Regeln für die Anwendungsfälle nach Anhang III, etwa Beschäftigung und Bildung. Das Datum wurde gegenüber dem ursprünglichen Termin verschoben.
• 2. August 2028: Hochrisiko-Regeln für KI in regulierten Produkten nach Anhang I, ebenfalls verschoben.

Zwei Pflichten sind für die Governance zentral:

KI-Kompetenz (Artikel 4). Nach Artikel 4 müssen Anbieter und Betreiber Maßnahmen ergreifen, um bei Beschäftigten und anderen Personen, die KI-Systeme für sie betreiben oder nutzen, KI-Kompetenz aufzubauen, angepasst an Vorkenntnisse, Einsatzkontext und betroffene Personen. Der Text verlangt ausdrücklich nicht, ein bestimmtes Kompetenzniveau zu garantieren. Praktisch heißt das: Schulungen und Hinweise, die Sie dokumentieren können.

Betreiberpflichten bei Hochrisiko-Systemen (Artikel 26). Wer ein Hochrisiko-System betreibt, muss laut Artikel 26 unter anderem die menschliche Aufsicht Personen mit der nötigen Kompetenz, Schulung und Befugnis übertragen, den Betrieb nach den Anweisungen des Anbieters überwachen, bei Risiken den Anbieter und die Marktüberwachungsbehörde informieren und die Nutzung aussetzen. Automatisch erzeugte Protokolle, soweit sie in der Kontrolle des Betreibers liegen, sind mindestens sechs Monate aufzubewahren, sofern keine andere Rechtsvorschrift etwas anderes bestimmt. Arbeitgeber müssen zudem Arbeitnehmervertretungen und betroffene Beschäftigte vor der Inbetriebnahme am Arbeitsplatz informieren.

Ob ein Einsatz als Hochrisiko gilt, hängt vom Einzelfall ab, etwa bei KI zur Auswahl von Bewerbern. Die Einstufung gehört in Stufe 3 des Freigabeprozesses und sollte rechtlich geprüft werden. Diese Orientierung ersetzt keine Rechtsberatung.

Welche Normen und Rahmenwerke helfen bei der Gliederung?

Zwei Rahmenwerke werden häufig genannt: ISO/IEC 42001 und das NIST AI Risk Management Framework. Beide sind freiwillig. Sie liefern Struktur und Vokabular, ersetzen aber weder eine eigene Risikobewertung noch die gesetzlichen Pflichten. Für den Mittelstand sind sie Orientierung, keine Voraussetzung.

ISO/IEC 42001:2023. Die Norm „Information technology – Artificial intelligence – Management system“ erschien als Edition 1.0 am 18. Dezember 2023. Laut Angabe der IEC legt sie Anforderungen und Leitlinien fest, um ein KI-Managementsystem einzuführen, zu betreiben, aufrechtzuerhalten und kontinuierlich zu verbessern, und ist unabhängig von Größe und Art der Organisation anwendbar. Wer bereits ein Managementsystem nach anderen ISO-Normen betreibt, kann die Bausteine dieses Artikels dort einhängen.

NIST AI Risk Management Framework. Das Rahmenwerk des NIST in der Version 1.0 vom 26. Januar 2023 ist nach Angabe des NIST für freiwillige Nutzung gedacht. Seine vier Kernfunktionen heißen Govern, Map, Measure und Manage. Die Seite weist darauf hin, dass das Rahmenwerk im Rahmen des KI-Aktionsplans des Weißen Hauses überarbeitet wird; prüfen Sie daher den aktuellen Stand.

Die fünf Bausteine dieses Artikels decken sich inhaltlich mit „Govern“ (Rollen, Richtlinie), „Map“ (Inventar, Kontext) sowie „Measure“ und „Manage“ (Kontrollen, Freigabe). Das ist eine Lesart, keine offizielle Zuordnung.

Eine Zertifizierung nach ISO/IEC 42001 kann sinnvoll sein, wenn Auftraggeber sie fordern oder wenn Sie selbst KI-Produkte anbieten. Für die reine interne Nutzung genügt in der Regel ein schlankes System ohne Zertifikat.

Was braucht das System, damit es im Alltag funktioniert?

Governance funktioniert, wenn sie in bestehende Abläufe eingebaut ist: Die Freigabe ist Teil der Beschaffung, das Inventar Teil der IT-Dokumentation, die Schulung Teil der Einarbeitung. Dazu braucht es drei Voraussetzungen: Rückhalt in der Geschäftsführung, Transparenz über die IT-Landschaft und eine Kultur, in der Nachfragen erwünscht sind.

Rückhalt. Die verantwortliche Person muss Anwendungen stoppen können, und die Geschäftsführung muss diese Entscheidung mittragen. Ohne diese Rückendeckung wird Governance zur Empfehlung.

Transparenz. Das Inventar beginnt mit einer Bestandsaufnahme. Fragen Sie in den Fachbereichen nach, welche KI-Dienste genutzt werden, prüfen Sie Software-Lizenzen und Zahlungen auf KI-Abos und werten Sie Zugriffsprotokolle von Proxy oder Single-Sign-On aus. Dabei kann sich zeigen, dass mehr im Einsatz ist als gedacht.

Kultur. Wer eine Anwendung meldet, darf dafür nicht bestraft werden. Eine Amnestiephase für bestehende, bisher nicht gemeldete Nutzung hilft, das Inventar schnell zu füllen.

Schulung. Kurze, rollenbezogene Formate wirken besser als eine einmalige Pflichtveranstaltung: eine halbe Stunde zu Datenklassen für alle, eine Vertiefung für Eigentümer von Agenten und eine für Freigebende. Halten Sie Teilnahme und Inhalte fest; das belegt die Maßnahmen nach Artikel 4.

Technische Leitplanken. Governance auf Papier reicht nicht, wenn die Technik sie nicht stützt. Freigegebene Werkzeuge mit zentralem Zugang, Rechte nach dem Prinzip der geringsten Privilegien für Agenten, Protokollierung von Eingaben und Aktionen sowie die Möglichkeit, einen Agenten zentral abzuschalten, machen aus Regeln durchsetzbare Kontrollen. Wo Daten das Haus nicht verlassen sollen, ist auch der Betriebsweg Teil der Entscheidung; dazu bietet die Seite zur souveränen KI einen Überblick.

In welchen Schritten bauen Sie das Minimalsystem auf?

Das Minimalsystem entsteht in fünf Schritten: Bestand erheben, Verantwortung festlegen, Richtlinie und Risikostufen schreiben, bestehende Anwendungen nachfreigeben und Kontrollen terminieren. Bei überschaubarer Größe lässt sich das in sechs bis acht Wochen nebenbei schaffen; ein fester Zeitrahmen verhindert, dass es versandet.

1. Bestand erheben (Woche 1–2). Alle genutzten KI-Dienste, Plugins und selbstgebauten Skripte erfassen. Ergebnis: erste Fassung des Inventars.
2. Verantwortung festlegen (Woche 2). Verantwortliche Person benennen, Vertretung regeln, Beteiligung von Datenschutz, IT-Sicherheit und Betriebsrat klären.
3. Richtlinie und Risikostufen schreiben (Woche 3–4). Zwei Seiten Richtlinie, dazu die drei Stufen mit Beispielen aus dem eigenen Betrieb. Die Geschäftsführung unterzeichnet.
4. Bestand nachfreigeben (Woche 4–6). Jede erfasste Anwendung einer Stufe zuordnen. Hochrisiko-Kandidaten und Anwendungen mit personenbezogenen Daten zuerst bewerten. Nicht freigebbare Anwendungen mit Frist ablösen und eine freigegebene Alternative anbieten.
5. Kontrollen terminieren (Woche 6–8). Stichproben, Rechteprüfung, Protokollauswertung und Inventar-Abgleich in den Kalender eintragen, jeweils mit Verantwortlichem.

Anschließend läuft der Betrieb: neue Anwendungen durchlaufen den Freigabeweg, das Inventar wird gepflegt, und einmal im Jahr überprüfen Sie das System selbst. Fragen Sie dabei: Wie viele Anwendungen sind im Inventar, wie viele nicht freigegeben im Einsatz, wie lange dauert eine Freigabe, und gab es Vorfälle?

Wenn Sie noch nicht wissen, welche Anwendungen in Ihrem Haus sinnvoll wären, hilft ein Blick auf die KI-Use-Cases nach Abteilung. Wie ein konkreter Fachagent aufgebaut ist und welche Kontrollen dort ansetzen, zeigt der Artikel zum KI-Angebots-Agenten.

Wo liegen die Grenzen, und was geht typischerweise schief?

Schlanke Governance hat Grenzen: Sie schützt nicht vor Fehlern der Modelle, ersetzt keine Rechtsprüfung und funktioniert nur, wenn sie gelebt wird. Die häufigsten Fehler sind ein überladenes Regelwerk, fehlende Befugnis der verantwortlichen Person, ein veraltetes Inventar und Kontrollen, die niemand durchführt.

• Zu viel auf einmal. Ein 40-seitiges Regelwerk liest niemand. Beginnen Sie mit zwei Seiten und ergänzen Sie, wenn ein konkreter Fall es erfordert.
• Verbote ohne Alternative. Wer ein Werkzeug sperrt, ohne ein freigegebenes anzubieten, schafft Schatten-KI.
• Eigentümer ohne Zeit. Fachliche Eigentümer müssen Stichproben tatsächlich durchführen können. Planen Sie dafür Zeit ein.
• Statisches Inventar. Modelle und Dienste ändern sich. Wenn ein Anbieter sein Modell wechselt oder Funktionen ergänzt, kann sich die Risikostufe ändern. Legen Sie fest, dass Änderungen gemeldet werden.
• Papier statt Technik. Eine Richtlinie, die verbietet, vertrauliche Daten einzugeben, aber keine technische Sperre oder Alternative bietet, wird im Zweifel verletzt.
• Falsche Sicherheit durch Zertifikate. Auch ein Zertifikat sagt nichts darüber, ob eine einzelne Anwendung in Ihrem Prozess korrekt arbeitet. Prüfen Sie Ergebnisse am eigenen Material.
• Rechtslage im Fluss. Die Fristen für Hochrisiko-Regeln wurden zuletzt verschoben. Verlassen Sie sich nicht auf einzelne Datumsangaben, sondern prüfen Sie die aktuelle Fassung der Verordnung, wenn eine Entscheidung davon abhängt.

Das System ist auch kein Ersatz für die Frage, ob eine Anwendung überhaupt sinnvoll ist. Das klärt die Bewertung von Use Cases, nicht die Governance.

Wie fangen Sie an?

Beginnen Sie mit dem Inventar: Eine Tabelle mit allen KI-Anwendungen im Haus ist in einer Woche erstellt und liefert sofort Erkenntnisse. Benennen Sie danach die verantwortliche Person, schreiben Sie die Richtlinie auf zwei Seiten und legen Sie die drei Freigabestufen fest. Alles Weitere ergibt sich aus der Praxis.

Eine nützliche Faustregel für die erste Sitzung: Nehmen Sie die drei am häufigsten genutzten KI-Dienste und beantworten Sie für jeden sieben Fragen. Wer ist Eigentümer? Welche Daten fließen hinein? Wo werden sie verarbeitet? Wer sieht die Ergebnisse? Gibt es einen Menschen vor der Wirkung? Welche Protokolle existieren? Wann wird überprüft? Fehlt eine Antwort, haben Sie die erste Lücke gefunden.

Wenn der Aufbau in Ihrem Haus Unterstützung auf Leitungsebene braucht, finden Sie auf der Seite zum Aufbau der KI-Leitung einen Überblick, wie sich Rollen, Strategie und Governance in einem Format zusammenführen lassen.