Zum Inhalt springen

Was lokale KI im Mittelstand konkret leistet: Anwendungen im Eigenbetrieb

Viele Unternehmen wollen KI nutzen, aber Angebote, Konstruktionsdaten, Personalakten oder Kundenkorrespondenz nicht an einen Cloud-Anbieter schicken. Lokale KI – Modelle, die auf eigener Hardware im eigenen Netz laufen – ist dafür inzwischen eine ernsthafte Option. Dieser Überblick zeigt, welche Anwendungen im Eigenbetrieb heute zuverlässig funktionieren, welche Bausteine dafür nötig sind und wo Cloud-Modelle weiterhin klar vorne liegen. Stand: Oktober 2026.

Was ist lokale KI und wofür wird sie eingesetzt?

Lokale KI bedeutet: Das Modell, die Daten und die Verarbeitung bleiben auf Servern, die Sie selbst betreiben oder in einem Rechenzentrum Ihrer Wahl kontrollieren. Eingesetzt wird sie dort, wo Daten das Haus nicht verlassen sollen, wo laufende Cloud-Kosten pro Anfrage stören oder wo ein System auch ohne Internetverbindung arbeiten muss.

Möglich wird das durch offene Modelle, deren Gewichte frei herunterladbar sind. Ein Beispiel: OpenAI hat mit gpt-oss zwei Sprachmodelle unter der Apache-2.0-Lizenz veröffentlicht. Laut Model Card passt gpt-oss-120b auf eine einzelne GPU mit 80 GB Speicher, die kleinere Variante gpt-oss-20b läuft innerhalb von 16 GB Speicher. Neben Sprachmodellen gibt es offene Modelle für Spracherkennung, Texteinbettungen (Embeddings) und Dokumentanalyse.

Typische Motive im Mittelstand sind:

  • Vertraulichkeit: Entwicklungsunterlagen, Kalkulationen und Personaldaten bleiben im eigenen Netz.
  • Planbare Kosten: Hardware wird einmal beschafft, statt pro Token abgerechnet zu werden.
  • Unabhängigkeit: Kein Ausfall, wenn ein Anbieter Preise, Modelle oder Nutzungsbedingungen ändert.
  • Netzferne Standorte: Werkhallen, Baustellen oder abgeschottete Produktionsnetze.

Was lokale KI nicht ist: ein automatischer Ersatz für die stärksten Cloud-Modelle. Wer das erwartet, wird enttäuscht. Wer Aufgaben gezielt auswählt, bekommt dagegen robuste Werkzeuge.

Wie funktioniert lokale KI? Die Bausteine

Ein lokales KI-System besteht fast immer aus vier Schichten: Hardware mit GPU, einem Inferenz-Server, der Modelle bereitstellt, den Modellen selbst und einer Anwendung, die Daten anbindet und Ergebnisse in bestehende Abläufe zurückspielt. Jede Schicht lässt sich austauschen, ohne die anderen neu zu bauen.

Hardware. Für Sprachmodelle zählt vor allem der Grafikspeicher. Er bestimmt, welche Modellgröße überhaupt geladen werden kann und wie viele Anfragen parallel laufen. Wie Sie den Server dafür dimensionieren, beschreibt der Leitfaden Hardware für lokale LLMs. Für Pilotprojekte genügt oft ein einzelner Server mit einer starken GPU; für den Betrieb mit vielen Nutzern plant man mehr Speicher und Reserve ein.

Inferenz-Server. Er lädt das Modell und stellt eine Programmierschnittstelle bereit. Zwei verbreitete Optionen:

  • Ollama ist auf einfache Installation ausgelegt und eignet sich für Arbeitsplätze, Prototypen und kleinere Teams. Laut Ollama-Dokumentation unterstützt es Tool Calling über die Chat-Schnittstelle unter localhost:11434/api/chat, einschließlich paralleler Werkzeugaufrufe und mehrstufiger Agentenschleifen.
  • vLLM ist auf Durchsatz im Serverbetrieb ausgelegt. Die vLLM-Dokumentation nennt unter anderem PagedAttention für die Speicherverwaltung, Continuous Batching eingehender Anfragen sowie einen OpenAI-kompatiblen API-Server.

Die OpenAI-kompatible Schnittstelle ist praktisch: Viele Werkzeuge und Bibliotheken, die für Cloud-Modelle geschrieben wurden, lassen sich durch Ändern der Basis-URL auf das lokale Modell umstellen.

Modelle. Je Aufgabe kommt ein passendes Modell zum Einsatz: ein Sprachmodell für Text und Agenten, ein Embedding-Modell für die Suche, ein Spracherkennungsmodell für Audio, gegebenenfalls ein Modell für Layout und Tabellen in Dokumenten.

Anwendungsschicht. Hier entstehen Mehrwert und Aufwand: Anbindung an Dateiablage, ERP, Ticketsystem oder E-Mail, Rechteprüfung, Protokollierung und eine Oberfläche, die Mitarbeitende tatsächlich nutzen.

Welche Anwendungen laufen heute zuverlässig im eigenen Haus?

Zuverlässig lokal laufen vor allem Aufgaben mit klarem Eingang und klar prüfbarem Ergebnis: Sprache in Text umwandeln, Dokumente durchsuchen, Daten aus Formularen ziehen, Texte einordnen und zusammenfassen sowie Agenten mit wenigen Werkzeugen. Die folgenden Abschnitte zeigen je Einsatzfeld, was gut funktioniert und wo die Grenze liegt.

Transkription und Protokolle

Spracherkennung ist das reifste lokale Einsatzfeld. OpenAI hat Whisper samt Modellgewichten unter der MIT-Lizenz veröffentlicht. Laut Whisper-Repository benötigt das große Modell etwa 10 GB Grafikspeicher, die Variante turbo – eine optimierte Fassung von large-v3 – etwa 6 GB. Damit lassen sich Besprechungen, Kundentelefonate mit Einwilligung oder Diktate auf einem Server im eigenen Netz verschriftlichen. Ein lokales Sprachmodell erstellt daraus anschließend Protokoll, Aufgabenliste und Entscheidungen.

Grenzen: Die Erkennungsqualität schwankt laut Repository stark je Sprache, Fachbegriffe und Dialekt erfordern Nacharbeit, und die Zuordnung von Sprechern ist ein eigener, zusätzlicher Schritt. Eine Schritt-für-Schritt-Anleitung zur lokalen Transkription mit Whisper ist in diesem Themenbereich in Vorbereitung.

Dokumentsuche und Wissensdatenbank (RAG)

Retrieval-Augmented Generation (RAG) verbindet eine Suche über eigene Dokumente mit einem Sprachmodell, das die Antwort aus den gefundenen Stellen formuliert und die Quellen nennt. Dafür braucht es ein Embedding-Modell. Ein offenes Beispiel ist BGE-M3: Laut Model Card unterstützt es mehr als 100 Sprachen, verarbeitet Eingaben bis 8.192 Token, kombiniert dichte und lexikalische Suche und steht unter MIT-Lizenz.

Lokales RAG eignet sich für Handbücher, Arbeitsanweisungen, Normenauszüge, Servicedokumentation und interne Richtlinien. Entscheidend ist weniger das Sprachmodell als die Aufbereitung der Dokumente und die Rechteprüfung, die der Leitfaden RAG im Unternehmen ausführlich behandelt: Wer ein Dokument im Dateisystem nicht lesen darf, darf es auch über die KI nicht sehen. Wie ein Wissensagent fachlich aufgebaut ist, beschreibt die Seite zu KI-Agenten für Wissensmanagement. Eine Anleitung für eine komplett lokale RAG-Wissensdatenbank ist in Vorbereitung.

Dokumentverarbeitung und Datenextraktion

Lieferscheine, Prüfberichte, Bestellungen oder Datenblätter enthalten Daten, die heute oft abgetippt werden. Lokal lässt sich das in zwei Schritten lösen: Ein Konverter wandelt das Dokument in strukturierten Text um, ein Sprachmodell zieht daraus die gesuchten Felder als JSON.

Für den ersten Schritt gibt es offene Werkzeuge wie Docling. Das Projekt verarbeitet unter anderem PDF, DOCX, PPTX, XLSX und HTML, exportiert nach Markdown oder JSON, steht unter MIT-Lizenz und nennt ausdrücklich die lokale Ausführung für sensible Daten und abgeschottete Umgebungen. Für den zweiten Schritt genügt bei festen Feldern meist ein Sprachmodell mittlerer Größe, weil die Aufgabe eng umrissen ist und sich gegen Stichproben prüfen lässt.

Grenzen: Handschrift, schlechte Scans und stark verschachtelte Tabellen bleiben fehleranfällig. Ohne Plausibilitätsprüfung und menschliche Freigabe bei Abweichungen sollte nichts automatisch ins ERP geschrieben werden.

Klassifikation, Zusammenfassung und Entwürfe

E-Mails einem Vorgang zuordnen, Tickets nach Dringlichkeit sortieren, lange Berichte zusammenfassen oder Antwortentwürfe aus Textbausteinen formulieren: Solche Aufgaben bewältigen lokale Modelle meist ordentlich. Sie sind kurz, wiederholen sich häufig, und ein Mensch sieht das Ergebnis ohnehin, bevor es nach außen geht. Im Vertrieb und Service ist das oft der Einstieg, etwa beim Vorsortieren von Anfragen, bevor ein KI-Agent für den technischen Service Lösungsvorschläge aus der Dokumentation zusammenstellt.

Agenten mit Tool Use

Ein KI-Agent ruft selbstständig Werkzeuge auf (Tool Use): Er liest einen Datensatz aus dem ERP, prüft einen Lagerbestand, legt einen Entwurf an. Offene Modelle unterstützen das inzwischen nativ; die gpt-oss Model Card nennt etwa Function Calling mit definierten Schemata und Structured Outputs, Ollama stellt Tool Calling über seine Chat-Schnittstelle bereit.

In unserem eigenen Betrieb zeigt sich: Lokale Agenten arbeiten verlässlich, wenn sie wenige, gut beschriebene Werkzeuge haben und die Abfolge der Schritte überschaubar ist. Mit wachsender Zahl an Werkzeugen und längeren Ketten steigt die Fehlerquote deutlich schneller als bei den stärksten Cloud-Modellen. Wie das technisch aussieht, wird eine eigene Anleitung zu Agenten mit lokalem Modell zeigen; sie ist in Vorbereitung.

Wo genügen lokale Modelle und wo liegen Cloud-Modelle vorne?

Lokale Modelle genügen, wenn die Aufgabe eng umrissen ist, das Ergebnis prüfbar ist und das Wissen aus Ihren Dokumenten kommt statt aus dem Modell selbst. Cloud-Modelle liegen vorne bei langem, mehrstufigem Schlussfolgern, schwierigem Programmcode, sehr langen Kontexten und Agenten mit vielen Werkzeugen.

Den Abstand hat Epoch AI untersucht. Laut dem Bericht vom November 2024 lagen die stärksten offenen Sprachmodelle bei Benchmarks 5 bis 22 Monate hinter den stärksten geschlossenen Modellen; Fähigkeiten der Spitzenklasse erreichen offene Modelle demnach mit etwa einem Jahr Verzögerung. Das ist eine Momentaufnahme aus dem Jahr 2024. Für die Planung taugt sie dennoch als Anhaltspunkt: Offene Modelle holen auf, während sich die Spitze weiterbewegt.

Für die Praxis ergibt sich eine einfache Einordnung:

AufgabeLokalCloud-Spitzenmodell
Transkriptiongenügt in der Regelkein wesentlicher Vorteil
Dokumentsuche mit Quellen (RAG)genügt bei guter Aufbereitungbesser bei schwierigen Fragen über viele Dokumente
Extraktion fester Feldergenügt in der RegelVorteil bei unklaren Layouts
Zusammenfassung, Entwürfegenügt meistsprachlich oft feiner
Agenten mit vielen Werkzeugennur mit engem Rahmendeutlich robuster
Komplexer Code, Analyseeingeschränktdeutlich stärker

Viele Unternehmen landen deshalb bei einem hybriden Aufbau: Vertrauliche Daten und Routineaufgaben bleiben lokal, unkritische oder besonders schwierige Aufgaben gehen an ein Cloud-Modell. Wie eine solche Architektur unter dem Gesichtspunkt digitaler Souveränität geplant wird, beschreibt die Seite zu souveräner KI.

Welche Voraussetzungen braucht lokale KI?

Lokale KI braucht drei Dinge: geeignete Hardware mit genug Grafikspeicher, zugängliche und halbwegs geordnete Daten sowie Menschen, die den Betrieb verantworten. Am häufigsten scheitern Projekte nicht an der Hardware, sondern an Daten ohne klare Ablage und an fehlender Zuständigkeit nach dem Pilot.

Daten. Dokumente müssen maschinell lesbar und erreichbar sein, etwa über SharePoint, ein Dateisystem oder eine Schnittstelle des Dokumentenmanagements. Veraltete Versionen, Duplikate und fehlende Metadaten verschlechtern jede Suche – lokal genauso wie in der Cloud.

Systeme. Für Agenten braucht es Schnittstellen zu den Zielsystemen, etwa ERP, CRM oder Ticketsystem, und ein technisches Benutzerkonto mit genau den Rechten, die der Agent benötigt.

Organisation. Jemand muss Modelle aktualisieren, Fehler auswerten und entscheiden, wann ein Anwendungsfall erweitert wird. Bei Systemen, die Beschäftigtendaten verarbeiten, ist in Deutschland meist der Betriebsrat einzubeziehen. Zu Datenschutz und Mitbestimmung liefert dieser Artikel nur Orientierung und keine Rechtsberatung.

Betrieb. Lokale KI ist Infrastruktur: Monitoring, Datensicherung, Updates der Inferenz-Software und ein Plan für Hardwareausfälle gehören dazu.

Wie geht man bei der Einführung in Schritten vor?

Bewährt hat sich ein schrittweises Vorgehen: einen eng umrissenen Anwendungsfall wählen, ein Testset mit echten Beispielen anlegen, mit einem Modell mittlerer Größe einen Prototyp bauen, gegen das Testset messen und erst dann über größere Hardware oder weitere Anwendungsfälle entscheiden.

  1. Anwendungsfall auswählen. Häufige, regelbasierte Aufgabe mit vertraulichen Daten und prüfbarem Ergebnis – etwa Protokolle aus Besprechungen oder Felder aus Lieferscheinen.
  2. Testset anlegen. 30 bis 100 echte, anonymisierte Beispiele mit dem erwarteten Ergebnis. Ohne Testset bleibt jede Modellwahl Bauchgefühl.
  3. Prototyp mit Standardkomponenten. Ollama oder vLLM, ein offenes Modell, ein schlankes Skript. Noch keine eigene Oberfläche bauen.
  4. Messen und vergleichen. Dasselbe Testset gegen ein lokales Modell und, mit unkritischen Daten, gegen ein Cloud-Modell laufen lassen. So wird die Lücke für genau Ihre Aufgabe sichtbar.
  5. Integration und Freigabe. Anbindung an die Zielsysteme, Rechteprüfung, Protokollierung und eine menschliche Freigabe für alles, was nach außen geht oder Buchungen auslöst.
  6. Betrieb übergeben. Zuständigkeiten, Monitoring und ein regelmäßiger Termin, an dem neue Modellversionen gegen das Testset geprüft werden.

Welche Grenzen und Risiken hat lokale KI?

Die größten Risiken lokaler KI sind überschätzte Modellfähigkeiten, unterschätzter Betriebsaufwand und eine trügerische Sicherheit beim Datenschutz. Lokal heißt nicht automatisch sicher: Ohne Rechteprüfung kann ein internes Suchsystem vertrauliche Dokumente jedem Mitarbeitenden zeigen.

  • Halluzinationen. Auch lokale Modelle erfinden Inhalte. Quellenangaben in Antworten und Stichprobenkontrollen sind Pflicht.
  • Modellwahl veraltet schnell. Neue offene Modelle erscheinen in kurzen Abständen. Planen Sie den Austausch des Modells von Anfang an ein, statt sich auf eine Version festzulegen.
  • Lizenzen. Offene Modelle stehen unter sehr unterschiedlichen Lizenzen. Apache 2.0 und MIT sind unkompliziert; andere Lizenzen enthalten Nutzungsbeschränkungen. Bei Werkzeugen wie Docling gelten für eingebundene Modelle teils eigene Lizenzen.
  • Hardwarebindung. Grafikspeicher begrenzt die Modellgröße. Wer heute knapp kalkuliert, kann ein späteres, größeres Modell nicht laden.
  • Schatten-IT. Lokale Modelle auf einzelnen Arbeitsplatzrechnern sind schnell installiert, aber ohne zentrale Verwaltung entstehen ungesicherte Datenkopien.
  • Fehlende Akzeptanz. Ein System, das langsamer oder unzuverlässiger ist als die gewohnte Cloud-Anwendung, wird umgangen.

Lokale KI ist datenschutzkonform betreibbar, wenn Rechtekonzept, Löschfristen, Protokollierung und Verantwortlichkeiten geklärt sind. Der Serverstandort allein klärt keine dieser Fragen.

Wie fange ich mit lokaler KI an?

Starten Sie mit einer Aufgabe, die häufig vorkommt, vertrauliche Daten betrifft und deren Ergebnis ein Mensch schnell prüfen kann. Transkription und Dokumentsuche sind die naheliegenden Kandidaten, weil sie lokal ausgereift sind und den Nutzen schnell sichtbar machen.

Ein pragmatischer Einstieg in vier Wochen könnte so aussehen: In der ersten Woche Anwendungsfall und Testset festlegen, in der zweiten einen Prototyp auf vorhandener oder gemieteter GPU-Hardware aufsetzen, in der dritten gegen das Testset messen und mit einem Cloud-Modell vergleichen, in der vierten mit den künftigen Nutzern über Integration und Betrieb entscheiden.

Wenn Sie zunächst klären möchten, welche Aufgaben in Ihrem Unternehmen überhaupt für KI infrage kommen, hilft ein strukturierter KI-Workshop mit den Fachabteilungen. Einen Überblick über alle Artikel zu Planung, Betrieb und Werkzeugen finden Sie im Wissensbereich; Begriffe wie RAG, Embedding oder Tool Use erklärt das Lexikon.

Häufige Fragen

Brauche ich für lokale KI ein eigenes Rechenzentrum?

Nein. Transkription und Embeddings laufen auf einer einzelnen Grafikkarte, ein Sprachmodell mittlerer Größe auf einem Server mit einer starken GPU. Ein eigenes Rechenzentrum wird erst bei vielen gleichzeitigen Nutzern oder sehr großen Modellen nötig.

Sind lokale Modelle genauso gut wie ChatGPT oder Claude?

Nicht durchgehend. Offene Modelle erreichen den Stand geschlossener Spitzenmodelle laut Epoch AI mit etwa einem Jahr Verzögerung; für eng umrissene Aufgaben wie Extraktion oder Zusammenfassung genügt das oft, für komplexes Schlussfolgern häufig nicht.

Erfüllt lokale KI automatisch den Datenschutz?

Nein. Lokaler Betrieb erleichtert es, Daten im eigenen Haus zu halten, ersetzt aber weder Rechtekonzept noch Löschfristen oder Dokumentation. Lokale KI ist datenschutzkonform betreibbar, wenn diese organisatorischen Punkte geklärt sind.

Kann ich lokale und Cloud-Modelle kombinieren?

Ja, das ist in der Praxis häufig sinnvoll. Ein Router entscheidet je Anfrage anhand von Datenklasse und Schwierigkeit, ob das lokale Modell genügt oder ob ein Cloud-Modell mit unkritischen Daten arbeiten darf.

Quellen

  1. OpenAI: gpt-oss-120b Model Card (Hugging Face) huggingface.co
  2. OpenAI: Whisper – Repository und Modellübersicht github.com
  3. Docling Project: Docling – Dokumentkonvertierung für KI github.com
  4. BAAI: BGE-M3 Embedding-Modell (Hugging Face) huggingface.co
  5. vLLM Dokumentation docs.vllm.ai
  6. Ollama Dokumentation: Tool Calling docs.ollama.com
  7. Epoch AI: How Far Behind Are Open Models? (November 2024) epoch.ai