Lokale KI im Unternehmen: Wann sich KI im eigenen Haus lohnt
Ob ein Unternehmen KI über eine Cloud-API nutzt oder selbst betreibt, ist keine Glaubensfrage, sondern eine Folge davon, welche Daten durch das Modell laufen. Dieser Überblick zeigt eine Entscheidungslogik: erst die Daten einordnen, dann das Betriebsmodell wählen. Technische Details zu Hardware, Kosten und Mischbetrieb stehen in eigenen Artikeln, die hier verlinkt sind.
Was bedeutet lokale KI für ein Unternehmen?
Lokale KI bedeutet, dass ein Sprachmodell auf Hardware läuft, die Ihr Unternehmen selbst kontrolliert: im eigenen Serverraum, in einem gemieteten Rack oder auf einem Edge-Rechner in der Halle. Eingaben, Dokumente und Antworten verlassen dabei nicht Ihre Infrastruktur. Das Gegenmodell ist der Aufruf eines Modells über die API eines Anbieters.
Zwischen diesen beiden Polen gibt es Abstufungen, und genau dort liegt die eigentliche Entscheidung. Häufig wird „lokal" mit „sicher" und „Cloud" mit „unsicher" gleichgesetzt. Das greift zu kurz. Ein schlecht betriebener eigener Server mit offenen Ports ist riskanter als ein sauber vertraglich geregelter Dienst. Umgekehrt hilft auch ein guter Vertrag nicht, wenn Daten aus rechtlichen oder vertraglichen Gründen das Haus schlicht nicht verlassen dürfen.
Der Begriff „souveräne KI" geht noch einen Schritt weiter. Er meint nicht nur den Ort der Verarbeitung, sondern die Fähigkeit, Modell, Anbieter und Infrastruktur bei Bedarf zu wechseln, ohne dass ein Prozess stillsteht. Ein Unternehmen ist souverän, wenn es entscheiden kann, nicht wenn es alles selbst baut. Die Leistungsseite zu souveräner KI beschreibt diesen Ansatz aus Anbietersicht; hier geht es um die neutrale Entscheidungslogik.
Wie hängen Datenklasse und Betriebsmodell zusammen?
Die Datenklasse bestimmt das Betriebsmodell, nicht umgekehrt. Wer zuerst festlegt, welche Informationen ein KI-System sehen soll und wie schutzbedürftig sie sind, kann das Betriebsmodell fast mechanisch ableiten. Wer mit der Technik beginnt, diskutiert endlos über Modelle und Server, ohne zu wissen, wofür.
Für die meisten mittelständischen Unternehmen genügen vier Datenklassen:
- Öffentlich: Website-Texte, Produktdatenblätter, veröffentlichte Preislisten. Ein Abfluss richtet keinen Schaden an.
- Intern: Arbeitsanweisungen, interne Präsentationen, allgemeine Korrespondenz. Unerwünscht, wenn sie nach außen gehen, aber kein ernsthafter Schaden.
- Vertraulich: personenbezogene Daten von Kunden und Mitarbeitenden, Kalkulationen, Angebote, Verträge. Hier greifen Datenschutzrecht und meist auch Vertraulichkeitsvereinbarungen.
- Streng vertraulich: Konstruktionsdaten, Rezepturen, Prozessparameter, Quellcode, Daten, die Sie Ihren Auftraggebern gegenüber vertraglich nur im eigenen Haus verarbeiten dürfen.
Diesen Klassen stehen vier Betriebsmodelle gegenüber:
| Betriebsmodell | Wo läuft das Modell? | Passt typischerweise zu |
|---|---|---|
| API eines Modellanbieters | Rechenzentren des Anbieters, oft außerhalb der EU | öffentlich, intern |
| EU-Cloud | Rechenzentrum in der EU, betrieben von Dritten | intern, vertraulich |
| Eigener GPU-Server | eigene Räume oder eigenes Rack | vertraulich, streng vertraulich |
| Edge-Rechner | direkt an Maschine oder Standort | streng vertraulich, ohne Netzanbindung |
Die Tabelle ist eine Faustregel, kein Automatismus. Ein vertraulicher Datensatz kann über eine EU-Cloud verarbeitet werden, wenn Verträge und Prüfungen stimmen; ein interner kann trotzdem lokal laufen, weil der Prozess ohne Internet funktionieren muss. Entscheidend ist, dass Sie die Zuordnung bewusst treffen und dokumentieren.
Welche Betriebsmodelle gibt es und was unterscheidet sie?
Die vier Modelle unterscheiden sich vor allem darin, wer technisch und rechtlich Zugriff auf Ihre Daten haben kann, wie schnell Sie starten und wer den Betrieb verantwortet. Leistungsfähigkeit ist dagegen seltener das Unterscheidungsmerkmal, weil offene Modelle für viele Unternehmensaufgaben inzwischen ausreichen.
API eines Modellanbieters
Sie schicken Text an einen Endpunkt und bekommen eine Antwort. Es gibt keinen Betriebsaufwand, Sie haben sofort Zugriff auf große Modelle und zahlen pro Nutzung. Rechtlich wird der Anbieter bei personenbezogenen Daten in aller Regel zum Auftragsverarbeiter. Art. 28 DSGVO verlangt dafür einen Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck der Verarbeitung festlegt und den Anbieter an Ihre Weisungen bindet.
Sitzt der Anbieter außerhalb der EU, kommt die Drittlandübermittlung hinzu. Nach Art. 44 DSGVO ist sie nur zulässig, wenn die Regeln von Kapitel V eingehalten werden. Für die USA hat die Europäische Kommission am 10. Juli 2023 einen Angemessenheitsbeschluss zum EU-US Data Privacy Framework erlassen; er erlaubt Übermittlungen an US-Unternehmen, die an diesem Rahmen teilnehmen, wie die Kommission auf ihrer Seite zu EU-US-Datentransfers erläutert. Das klärt die datenschutzrechtliche Seite, nicht aber die Frage, ob Sie streng vertrauliches Know-how überhaupt herausgeben wollen.
EU-Cloud
Das Modell läuft in einem Rechenzentrum in der EU, betrieben von einem Hoster oder einem großen Cloud-Anbieter. Das vermeidet die Drittlandübermittlung im engeren Sinn, beseitigt aber nicht jedes Zugriffsrisiko. Ist der Betreiber ein US-Unternehmen, gilt der US CLOUD Act aus dem März 2018. Er verpflichtet Anbieter, Daten in ihrem Besitz, Gewahrsam oder ihrer Kontrolle herauszugeben, „regardless of whether such communication, record, or other information is located within or outside of the United States", so der Gesetzestext beim US-Justizministerium.
Für die Prüfung eines Cloud-Anbieters hilft der Kriterienkatalog C5 des BSI. Er beschreibt Mindestanforderungen an sicheres Cloud Computing; Wirtschaftsprüfer testieren, ob ein Anbieter sie erfüllt. Das BSI empfiehlt Kunden, den Prüfbericht anzufordern und selbst auszuwerten, denn das BSI selbst wertet die Berichte nicht aus.
Eigener GPU-Server
Ein oder mehrere Server mit Grafikprozessoren stehen in Ihren Räumen oder in einem Rack, das nur Sie verwalten. Darauf läuft ein Inferenzserver, der ein offenes Modell bereitstellt. Daten verlassen Ihre Infrastruktur nicht, und es gibt keinen Dritten, der zur Herausgabe verpflichtet werden könnte. Dafür tragen Sie die Verantwortung für Beschaffung, Betrieb, Updates und Ausfallsicherheit.
Wie ein solcher Server dimensioniert wird, behandelt der Artikel Hardware für lokale LLMs: GPU-Server richtig auslegen. Für die Grundsatzentscheidung reicht ein Anhaltspunkt: Nach der Modellkarte von gpt-oss-120b passt dieses offene Modell mit 117 Milliarden Parametern dank Quantisierung auf eine einzelne GPU mit 80 GB Speicher, die kleinere Variante gpt-oss-20b kommt mit 16 GB Speicher aus. Beide stehen unter der Apache-2.0-Lizenz, dürfen also kommerziell genutzt werden.
Edge-Rechner
Ein kompakter Rechner mit GPU der Jetson- oder Server-Klasse steht direkt an der Maschine, im Lager oder auf einer Baustelle. Das ist sinnvoll, wenn keine verlässliche Netzanbindung besteht, wenn Antwortzeiten sehr kurz sein müssen oder wenn Maschinendaten das Werksnetz grundsätzlich nicht verlassen dürfen. Die Modelle sind kleiner, die Aufgaben deshalb enger zugeschnitten: etwa Störmeldungen einordnen oder Bedienhinweise aus dem Handbuch der Anlage abrufen.
Welche Anwendungsfälle sprechen für lokale KI?
Lokale KI ist dann naheliegend, wenn mindestens eines von drei Kriterien zutrifft: Die Daten sind streng vertraulich, Sie wollen von einzelnen Anbietern unabhängig bleiben, oder der Prozess muss ohne Internet funktionieren. Trifft keines davon zu, ist eine API oder EU-Cloud meist der pragmatischere Weg.
Typische Fälle aus dem Mittelstand:
- Angebote und Kalkulationen: Ein Agent, der aus Anfragen und alten Angeboten Entwürfe erstellt, sieht Preise, Margen und Kundendaten. Das ist mindestens vertraulich. Wie solche Agenten grundsätzlich arbeiten, zeigt die Seite zur Angebotserstellung mit KI-Agenten.
- Technischer Service: Wartungsberichte, Fehlerprotokolle und Konstruktionszeichnungen enthalten Know-how, das Wettbewerber nicht sehen sollen. Hinweise zu solchen Agenten finden Sie unter technischer Service.
- Wissensmanagement: Wer interne Handbücher, Prüfberichte und Projektordner durchsuchbar macht, gibt dem Modell oft den gesamten Dokumentenbestand. Siehe Wissensmanagement mit KI-Agenten.
- Produktion: Anlagennahe Assistenten an Standorten mit schwacher oder bewusst getrennter Netzanbindung.
Für Marketingtexte, Übersetzungen öffentlicher Inhalte oder allgemeine Recherche spricht dagegen wenig für eigene Hardware.
Welche Rolle spielen Geschäftsgeheimnisse?
Geschäftsgeheimnisse sind oft der stärkere Grund für lokale KI als der Datenschutz. Nach § 2 GeschGehG ist eine Information nur dann rechtlich als Geschäftsgeheimnis geschützt, wenn ihr Inhaber angemessene Geheimhaltungsmaßnahmen getroffen hat. Wer Konstruktionsdaten ungeregelt in externe Tools kopiert, riskiert diesen Schutz.
Die Begriffsbestimmung in § 2 GeschGehG verlangt, dass die Information „Gegenstand von den Umständen nach angemessenen Geheimhaltungsmaßnahmen durch ihren rechtmäßigen Inhaber ist". Was angemessen ist, hängt vom Einzelfall ab. Eine klare Regel, welche Datenklassen in welche Systeme dürfen, und deren technische Durchsetzung sind dafür ein wichtiger Baustein. Lokale Verarbeitung macht diese Regel einfach nachweisbar: Die Daten liegen nachweislich nur auf eigenen Systemen.
Vertiefend behandelt das der Artikel Geschäftsgeheimnisse und KI: Know-how schützen beim Einsatz von KI-Tools. Dieser Überblick ersetzt keine Rechtsberatung; bei konkreten Vertragsfragen ziehen Sie bitte Ihre Rechtsberatung hinzu.
Was brauchen Sie, bevor Sie lokale KI einführen?
Vor der ersten Hardware-Bestellung brauchen Sie drei Dinge: einen klar beschriebenen Prozess mit echten Beispieldaten, eine Einordnung dieser Daten in Ihre Datenklassen und eine Person, die den Betrieb verantwortet. Fehlt eines davon, wird lokale KI zur teuren Spielwiese.
Daten: Sammeln Sie 20 bis 50 echte Fälle aus dem Zielprozess, zum Beispiel Anfragen mit den tatsächlich verschickten Angeboten. An ihnen messen Sie später, ob ein Modell gut genug ist. Ohne solche Testfälle bleibt jede Modellwahl eine Vermutung.
Systeme: Klären Sie, woher das Modell seine Informationen bekommt (ERP, Dokumentenablage, Ticketsystem) und ob diese Systeme eine Schnittstelle haben. Das Modell selbst ist selten der Engpass; die Anbindung an bestehende Systeme dauert meist länger.
Organisation: Seit dem 2. Februar 2025 verlangt Artikel 4 des EU AI Act von Unternehmen, die KI-Systeme einsetzen, Maßnahmen für ausreichende KI-Kompetenz ihres Personals. Das gilt unabhängig davon, ob das Modell lokal oder in der Cloud läuft. Planen Sie also Schulung und Nutzungsregeln mit ein.
Sicherheit: Art. 32 DSGVO verlangt technische und organisatorische Maßnahmen, die dem Risiko angemessen sind, etwa Verschlüsselung, Wiederherstellbarkeit nach Störungen und regelmäßige Überprüfung. Ein eigener Server nimmt Ihnen diese Pflichten nicht ab, sondern legt sie vollständig in Ihre Hände.
Wie gehen Sie bei der Entscheidung Schritt für Schritt vor?
Gehen Sie vom Prozess zur Technik: Prozess auswählen, Daten einordnen, Betriebsmodell ableiten, mit echten Fällen testen, dann erst Hardware oder Verträge festlegen. So vermeiden Sie, dass ein Server gekauft wird, für den es noch keinen Anwendungsfall gibt.
- Prozess auswählen. Ein Ablauf mit hohem Textanteil, klarer Eingabe und klarer Ausgabe, zum Beispiel „Anfrage rein, Angebotsentwurf raus".
- Daten klassifizieren. Welche Datenklassen fließen in diesen Prozess? Maßgeblich ist die höchste Klasse, die vorkommt.
- Betriebsmodell ableiten. Mit der Tabelle oben eine erste Zuordnung treffen. Kommen in einem Prozess mehrere Klassen vor, lohnt der Blick auf hybride KI, die lokale Modelle und Cloud kombiniert: Unkritisches geht an die API, Vertrauliches bleibt im Haus.
- Modell testen. Offene Modelle lassen sich auf einem Testrechner ausprobieren. Ollama stellt lokal eine HTTP-Schnittstelle unter
http://localhost:11434bereit, inklusive einer OpenAI-kompatiblen Variante. Für den produktiven Betrieb mit mehreren Nutzern bietet vLLM einen OpenAI-kompatiblen Server, der mitvllm serve <modell>startet. - Ergebnis bewerten. Lassen Sie Fachleute die Antworten auf die gesammelten Testfälle beurteilen. Reicht ein lokales Modell nicht, ist das ein Ergebnis, kein Scheitern.
- Betrieb festlegen. Erst jetzt Hardware dimensionieren oder Cloud-Verträge prüfen, Zuständigkeiten benennen und Updates, Überwachung und Datensicherung planen.
Weil vLLM und Ollama dieselbe Schnittstelle sprechen wie viele Cloud-APIs, können Sie Anwendungen so bauen, dass der Wechsel des Betriebsmodells später nur eine Konfigurationsänderung ist. Das ist der praktische Kern von Souveränität: Die Entscheidung bleibt umkehrbar.
# Beispiel: Anfrage an einen lokalen, OpenAI-kompatiblen Endpunkt (Ollama, Modell gpt-oss:20b)
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "gpt-oss:20b", "messages": [{"role": "user", "content": "Fasse diesen Wartungsbericht in drei Punkten zusammen: ..."}]}'
Wo liegen die Grenzen und Risiken lokaler KI?
Lokale KI verlagert Verantwortung zu Ihnen. Sie gewinnen Kontrolle über Daten und Anbieterwahl, übernehmen aber Betrieb, Sicherheit und Aktualität. Außerdem stellen manche Anbieter ihre Modelle nur per API bereit, nicht als offene Gewichte; bei sehr anspruchsvollen Aufgaben kann ein lokales Modell daher schwächer abschneiden.
Die häufigsten Fallstricke:
- Unterschätzter Betrieb. Ein Server, den niemand überwacht, fällt irgendwann aus, meist im ungünstigsten Moment. Einen Betriebsplan mit Zuständigkeit, Überwachung und Vertretung brauchen Sie von Anfang an.
- Falsches Sicherheitsgefühl. „Lokal" heißt nicht „sicher". Wenn jede Person im Netz den Inferenzserver ohne Anmeldung erreichen kann, sind vertrauliche Antworten für alle sichtbar. Zugriffskontrolle und Protokollierung gehören dazu.
- Modellqualität ungeprüft. Wer ohne Testfälle ein Modell auswählt, merkt erst im Betrieb, dass es Fachbegriffe verwechselt.
- Überdimensionierung. Hardware für Modelle zu kaufen, die der Prozess gar nicht braucht, bindet Kapital. Ob und wann sich eigene Server gegenüber APIs rechnen, hängt stark vom Nutzungsvolumen ab.
- Lizenzen übersehen. Nicht jedes offene Modell darf uneingeschränkt kommerziell genutzt werden. Prüfen Sie die Lizenz in der Modellkarte vor dem Einsatz.
Lokale KI passt eher nicht, wenn Sie nur gelegentlich KI nutzen, ausschließlich öffentliche Daten verarbeiten oder niemanden haben, der einen Server betreuen kann. Dann ist eine API mit sauberem Vertrag die ehrlichere Lösung.
Wie fangen Sie mit lokaler KI an?
Beginnen Sie mit einem einzigen Prozess und einer Datenklassen-Liste auf einer Seite. Testen Sie ein offenes Modell auf einem vorhandenen Rechner mit echten Fällen, bevor Sie über Server, Verträge oder Budgets entscheiden. Die Erkenntnisse daraus tragen weiter als jede allgemeine Marktübersicht.
Ein pragmatischer Einstieg in vier Wochen sieht etwa so aus: In der ersten Woche wählen Sie den Prozess und sammeln Testfälle. In der zweiten ordnen Sie die Daten ein und leiten das Betriebsmodell ab. In der dritten testen Sie ein oder zwei offene Modelle gegen die Testfälle. In der vierten entscheiden Sie: lokal, EU-Cloud, API oder eine Mischung. Diese Zeitangabe ist eine Planungsgröße für einen überschaubaren Prozess, keine Garantie.
Wenn die Entscheidung auf eigene Hardware fällt, helfen die Artikel zur Auslegung von GPU-Servern und zum Mischbetrieb aus lokal und Cloud beim nächsten Schritt. Weitere Grundlagenartikel finden Sie im Wissensbereich und im Lexikon.
Stand: November 2026. Rechtliche Hinweise in diesem Artikel dienen der Orientierung und ersetzen keine Rechtsberatung.
Häufige Fragen
Ist lokale KI automatisch datenschutzkonform betreibbar?
Nein. Der Betriebsort ändert nur, wer Zugriff haben kann. Zugriffsrechte, Protokollierung, Löschkonzept und Zweckbindung müssen Sie auch beim eigenen Server sauber regeln.
Sind offene Modelle für den Geschäftsalltag gut genug?
Für viele klar umrissene Aufgaben wie Zusammenfassen, Klassifizieren oder Antworten aus eigenen Dokumenten reichen sie aus. Testen Sie es mit echten Beispielen aus Ihrem Prozess, bevor Sie Hardware kaufen.
Brauche ich eine eigene IT-Abteilung für lokale KI?
Sie brauchen jemanden, der den Server betreibt, Updates einspielt und Ausfälle bemerkt. Das kann intern oder per Dienstleister geregelt sein, darf aber nicht offen bleiben.
Kann ich später von der API auf lokale Modelle wechseln?
Ja, wenn Ihre Anwendung über eine OpenAI-kompatible Schnittstelle spricht. Lokale Server wie vLLM und Ollama bieten genau so eine Schnittstelle an, der Wechsel ist dann vor allem eine Konfigurationsfrage.
Quellen
- § 2 GeschGehG – Begriffsbestimmungen gesetze-im-internet.de
- Art. 28 DSGVO – Auftragsverarbeiter gdpr-info.eu
- Art. 32 DSGVO – Sicherheit der Verarbeitung gdpr-info.eu
- Art. 44 DSGVO – Allgemeine Grundsätze der Datenübermittlung gdpr-info.eu
- Europäische Kommission – EU-US data transfers (Data Privacy Framework) commission.europa.eu
- U.S. Department of Justice – CLOUD Act Resources justice.gov
- CLOUD Act – Gesetzestext (U.S. Department of Justice) justice.gov
- BSI – Kriterienkatalog C5 bsi.bund.de
- EU AI Act – Artikel 4: KI-Kompetenz artificialintelligenceact.eu
- Hugging Face – Modellkarte gpt-oss-120b huggingface.co
- vLLM – Online Serving (OpenAI-kompatibler Server) docs.vllm.ai
- Ollama – API-Dokumentation docs.ollama.com
- Ollama Library – gpt-oss ollama.com