Zum Inhalt springen

Air-Gapped KI: LLMs in vollständig abgeschotteten Netzen

Viele Unternehmen wollen Sprachmodelle nutzen, dürfen bestimmte Daten aber in kein Netz bringen, das mit dem Internet verbunden ist: Konstruktionsdaten, Prüfberichte aus der Fertigung, Unterlagen mit Geheimhaltungsauflagen. Die Lösung ist ein Air Gap, also ein Netz ohne jede Verbindung nach außen. Das klingt einfach, ist aber ein eigener Betriebsfall: Jede Abhängigkeit, die sonst still aus dem Internet nachgeladen wird, muss offline lösbar sein.

Was ist Air-Gapped KI und wofür wird sie eingesetzt?

Air-Gapped KI bedeutet, dass Sprachmodell, Laufzeitumgebung, Agenten und alle Daten in einem Netz laufen, das weder direkt noch über Proxy, VPN oder Fernwartungszugang mit dem Internet verbunden ist. Daten gelangen nur über eine kontrollierte Schleuse hinein. Eingesetzt wird das dort, wo Vertraulichkeit oder Vorschriften keine Cloud und kein offenes Netz zulassen.

Typische Einsatzorte sind Entwicklungsabteilungen mit geheimen Konstruktionsständen, Produktionsnetze, Labore, Behörden und Zulieferer mit Geheimschutzauflagen. Die Aufgaben selbst unterscheiden sich kaum von vernetzten Umgebungen: Dokumente durchsuchen und zusammenfassen, Prüfberichte vorstrukturieren, Fragen zu Handbüchern beantworten, Texte entwerfen.

Wichtig ist die Abgrenzung zu zwei verwandten Betriebsformen:

  • Lokale KI im normalen Firmennetz: Das Modell läuft auf eigener Hardware, der Server darf aber Updates, Pakete und Modelle selbst aus dem Internet holen. Das ist der übliche Einstieg in souveräne KI.
  • Segmentiertes Netz mit gesperrter Firewall: Ausgehende Verbindungen sind blockiert, es gibt aber eine logische Verbindung. Eine Fehlkonfiguration genügt, und Daten können abfließen.
  • Air Gap: Es gibt keine Verbindung. Was nicht über die Schleuse kommt, existiert im Netz nicht.

Der Unterschied ist nicht akademisch. Im vernetzten Betrieb fällt eine fehlende Abhängigkeit kaum auf, weil die Software sie nachlädt. Im Air Gap scheitert der Start, oder schlimmer: Er scheitert erst Wochen später, wenn eine Funktion zum ersten Mal genutzt wird.

Wie funktioniert ein LLM ohne Internet?

Technisch braucht ein Sprachmodell zur Laufzeit kein Internet. Es besteht aus Gewichtsdateien, einer Inferenz-Software und Hardware mit genug Speicher. Die Abhängigkeit vom Internet entsteht fast immer durch das Drumherum: Downloads beim ersten Start, Update-Prüfungen, Telemetrie, Lizenzabfragen und Pakete, die zur Laufzeit nachinstalliert werden.

Ein Air-Gap-Betrieb besteht aus fünf Bausteinen:

  1. Modellgewichte als Dateien, mit festgelegter Version und Prüfsumme.
  2. Inferenz-Software, etwa Ollama, llama.cpp, vLLM oder Hugging Face Transformers, als installierbares Paket oder Container-Image.
  3. Abhängigkeiten der Software: Python-Pakete, Systembibliotheken, GPU-Treiber, Container-Basis-Images.
  4. Anwendungsschicht: Chat-Oberfläche, Suchindex für Dokumente, Agenten mit ihren Werkzeugen.
  5. Schleuse: der organisatorische und technische Weg, über den all das kontrolliert ins Netz kommt.

Die ersten vier Bausteine kennen Sie aus jeder lokalen Installation. Der fünfte ist das, was den Air Gap ausmacht. Er bestimmt, wie schnell Sie Updates einspielen können, wer etwas einbringen darf und wie Sie belegen, was im Netz läuft.

Offline-Schalter in gängiger Software

Viele Werkzeuge haben einen ausdrücklichen Offline-Modus. Diese Schalter sollten Sie kennen und setzen, auch wenn das Netz ohnehin getrennt ist, denn sonst laufen Anfragen in Zeitüberschreitungen oder brechen mit Fehlern ab.

  • Hugging Face Hub: Mit HF_HUB_OFFLINE=1 werden laut Dokumentation der Umgebungsvariablen keine HTTP-Aufrufe an den Hub gemacht; es werden nur Dateien aus dem Cache genutzt, fehlt eine Datei, gibt es einen Fehler. HF_HUB_DISABLE_TELEMETRY=1 schaltet die Telemetrie der Hugging-Face-Bibliotheken ab, HF_HUB_DISABLE_UPDATE_CHECK=1 die Update-Prüfung des hf-Kommandozeilenwerkzeugs.
  • Transformers: Zusätzlich lässt sich beim Laden local_files_only=True setzen, damit nur lokale Dateien verwendet werden (Transformers-Installationsanleitung, Abschnitt Offline mode).
  • Ollama: Die Ollama-FAQ nennt den Speicherort der Modelle und die Variable OLLAMA_MODELS für ein anderes Verzeichnis. Cloud-Modelle und Websuche lassen sich mit OLLAMA_NO_CLOUD=1 oder disable_ollama_cloud in ~/.ollama/server.json abschalten. Unter macOS und Windows lädt Ollama Updates laut FAQ automatisch herunter; im Air Gap ersetzen Sie das durch manuelle Updates über die Schleuse.
# Umgebung für einen Inferenz-Dienst im Air Gap
export HF_HUB_OFFLINE=1
export HF_HUB_DISABLE_TELEMETRY=1
export HF_HUB_DISABLE_UPDATE_CHECK=1
export HF_HOME=/srv/ki/huggingface
export OLLAMA_NO_CLOUD=1
export OLLAMA_MODELS=/srv/ki/ollama-models

Welche Varianten gibt es?

Air Gap ist kein einzelnes Muster. Die drei Varianten unterscheiden sich darin, wie streng getrennt wird und wie oft Daten die Grenze überqueren. Welche passt, hängt davon ab, wie aktuell Modelle und Dokumente sein müssen und wie aufwendig Ihr Freigabeprozess ist.

Vollständig isolierter Einzelplatz oder Server. Ein Rechner mit GPU steht ohne Netzanbindung in einem gesicherten Raum. Nutzer arbeiten direkt daran. Das ist die einfachste Form für einzelne Fachabteilungen, skaliert aber schlecht, sobald mehrere Personen gleichzeitig arbeiten.

Abgeschottetes Netzsegment mit mehreren Nutzern. Ein Inferenz-Server, ein Dokumentenspeicher und Arbeitsplätze bilden ein eigenes Netz. Nutzer greifen über den Browser auf eine Chat-Oberfläche zu, Agenten durchsuchen interne Ablagen. Das ist der häufigste Fall in Entwicklung und Verwaltung.

KI im Produktions- und OT-Netz. Das Modell läuft nahe an Maschinen und Leitständen, etwa auf einem Industrie-PC oder einem Jetson-Modul, und wertet Meldungen, Schichtbücher oder Wartungshandbücher aus. Hier kommen die Anforderungen der Betriebstechnik hinzu: Verfügbarkeit, feste Wartungsfenster, Zonen und Übergänge zwischen Netzbereichen. Für die Sicherheitsarchitektur solcher Netze bietet NIST SP 800-82 Rev. 3 einen Leitfaden zur OT-Sicherheit.

Zu den Teilthemen, also Modelltransfer über die Schleuse, versteckte Online-Abhängigkeiten und KI im OT-Netz, erscheinen eigene Artikel. Sie werden unter diesem Überblick automatisch gelistet, sobald sie veröffentlicht sind.

Welche Voraussetzungen brauchen Sie?

Sie brauchen drei Dinge: Hardware, die ohne Nachkaufen über Jahre reicht, eine vollständige Liste aller Software-Bestandteile und einen definierten Weg über die Schleuse. Fehlt einer davon, wird jede Änderung zum Projekt, weil im Air Gap nichts mal eben nachinstalliert werden kann.

Hardware

Planen Sie GPU-Speicher und Festplattenplatz großzügig. Ein Modelltausch bedeutet im Air Gap, dass alte und neue Version eine Weile parallel liegen. Hinzu kommen ein lokaler Paketspiegel, gespeicherte Container-Images und Sicherungen. Server mit Rechenzentrums-GPUs oder Edge-Rechner der Jetson-Klasse sind übliche Plattformen. Wie Sie GPU-Speicher und Modellgröße grundsätzlich aufeinander abstimmen, beschreibt der Artikel zur Hardware für lokale LLMs; im Air Gap kommt vor allem der Puffer für parallele Versionen und Transferdaten hinzu.

Software-Inventar

Erstellen Sie eine Liste aller Bestandteile mit Version: Betriebssystem, GPU-Treiber, Container-Laufzeit, Inferenz-Server, Python-Pakete, Modelle, Oberfläche. Diese Liste ist zugleich Ihre Stückliste für Sicherheitsprüfungen und die Grundlage jedes Updates.

Lizenzen

Prüfen Sie für jedes Modell und jede Software, ob der Betrieb ohne Lizenzserver erlaubt und technisch möglich ist. Manche kommerziellen Produkte prüfen ihre Lizenz regelmäßig online. Offene Modelle haben eigene Lizenzbedingungen, die Sie vor dem Einbringen lesen sollten.

Organisation

Legen Sie fest, wer Dateien über die Schleuse bringen darf, wer freigibt und wie das dokumentiert wird. Ohne diese Regel entsteht der typische Schattenweg: ein USB-Stick, auf dem „nur schnell" ein Paket landet.

Wie gehen Sie in Schritten vor?

Das Vorgehen folgt einem Muster: außen vorbereiten, außen prüfen, über die Schleuse bringen, innen testen, dann umstellen. Der wichtigste Grundsatz lautet, die Umgebung außen einmal vollständig nachzubauen und offline zu starten, bevor irgendetwas in das abgeschottete Netz geht.

1. Referenzumgebung außen aufbauen. Bauen Sie auf einer Maschine mit gleichem Betriebssystem und gleicher Architektur die Zielumgebung auf. Ziehen Sie danach das Netzwerkkabel und starten Sie alles neu. Was jetzt scheitert, hätte im Air Gap ebenfalls gefehlt.

2. Modelle mit fester Version herunterladen. Laden Sie Gewichte mit festgelegter Revision, damit sich nachvollziehen lässt, welche Fassung eingebracht wurde. Das hf-Werkzeug unterstützt dafür --revision und --local-dir (Hugging Face CLI-Leitfaden).

# Modell mit fester Revision in ein Transferverzeichnis laden
hf download <organisation>/<modell> --revision <commit-hash> --local-dir ./transfer/modell
# Prüfsummen für die Schleuse erzeugen
find ./transfer -type f -exec sha256sum {} + > ./transfer/SHA256SUMS

3. Gewichtsformat prüfen. Bevorzugen Sie Safetensors oder GGUF. Das Python-Format Pickle ist laut Python-Dokumentation nicht sicher: Manipulierte Pickle-Daten können beim Laden beliebigen Code ausführen. Safetensors wurde als sicheres Speicherformat für Tensoren im Gegensatz zu Pickle entworfen. In einem Netz, das Sie gerade wegen hoher Schutzanforderungen abschotten, sollte keine Datei laufen, die beim Öffnen Code ausführen kann.

4. Python-Pakete als Wheelhouse bündeln. pip download löst Abhängigkeiten wie pip install auf, speichert die Pakete aber in einem Verzeichnis. Mit --platform und --only-binary=:all: lassen sich Pakete für ein anderes Zielsystem sammeln; installiert wird innen mit --no-index --find-links (pip-Dokumentation).

# außen: Pakete samt Abhängigkeiten sammeln
pip download -r requirements.txt -d ./transfer/wheelhouse
# innen: nur aus dem Wheelhouse installieren
pip install --no-index --find-links=/srv/transfer/wheelhouse -r requirements.txt

5. Container-Images exportieren. docker save schreibt Images in ein Tar-Archiv, das sich innen mit docker load wieder einspielen lässt (Docker-Dokumentation). Ziehen Sie Images außen mit fester Versionsangabe statt mit latest, damit das Inventar eindeutig bleibt.

6. Über die Schleuse einbringen. Prüfen Sie innen die Prüfsummen gegen die Liste, die außen erzeugt wurde. Dokumentieren Sie Datum, Inhalt, Herkunft und Freigabe.

7. Innen einrichten und testen. Bei Ollama lässt sich ein Modell aus lokalen Dateien anlegen: Ein Modelfile mit FROM zeigt auf eine GGUF-Datei oder ein Safetensors-Verzeichnis, danach folgt ollama create (Ollama: Importing a model).

# Modelfile mit Verweis auf die eingebrachte GGUF-Datei
echo 'FROM /srv/transfer/modell/modell.gguf' > Modelfile
ollama create intern-modell -f Modelfile

8. Anwendung und Agenten anbinden. Agenten dürfen nur Werkzeuge nutzen, die im selben Netz liegen: Dateiablagen, Datenbanken, ein lokaler Suchindex. Entfernen Sie Werkzeuge, die Websuche oder externe APIs voraussetzen, aus der Konfiguration, statt sie ins Leere laufen zu lassen.

Grenzen und Risiken

Ein Air Gap schützt gegen Datenabfluss über das Netz, macht den Betrieb aber langsamer und teurer. Modelle veralten, Sicherheitsupdates kommen verzögert an, und die Schleuse wird selbst zum Angriffsweg. Wer diese Grenzen nicht einplant, hat am Ende ein sicheres, aber nicht mehr genutztes System.

  • Aktualität: Modelle und Software sind so alt wie die letzte Lieferung über die Schleuse. Neue Modellversionen und Sicherheitskorrekturen brauchen einen festen Rhythmus.
  • Die Schleuse als Einfallstor: Wechseldatenträger und Transferrechner sind der einzige Weg hinein und damit das bevorzugte Ziel. Prüfsummen, Formatregeln und Virenscan gehören zu jedem Transfer.
  • Versteckte Abhängigkeiten: Manche Software lädt beim ersten Aufruf einer Funktion Tokenizer, Schriftarten, Wörterbücher oder Lizenzdaten nach. Das zeigt sich oft erst im Betrieb.
  • Weniger Funktionen: Websuche, Cloud-Modelle und externe Werkzeuge fallen weg. Agenten können nur auf das zugreifen, was im Netz liegt.
  • Daten nach außen: Auch Ergebnisse müssen das Netz manchmal verlassen. Dafür braucht es denselben Prüfprozess in Gegenrichtung.
  • Keine Rechtsberatung: Ob ein Air Gap rechtlich gefordert ist, etwa wegen Geheimschutz oder Exportkontrolle, klären Sie mit Ihren Fachleuten. Dieser Artikel beschreibt die technische Umsetzung.

Wann passt ein Air Gap nicht?

Wenn Ihre Daten zwar vertraulich, aber nicht unter Geheimschutz stehen, reicht oft ein lokal betriebenes Modell in einem segmentierten Netz mit streng gefiltertem Ausgang. Das spart den Schleusenprozess und hält Updates einfach. Wann sich ein eigenes Modell im Haus überhaupt lohnt, behandelt der Überblick Lokale KI im Unternehmen; wer einzelne, unkritische Aufgaben weiter an Cloud-Modelle geben darf, findet in Hybride KI den Mittelweg, der im Air Gap gerade ausgeschlossen ist. Ein Air Gap lohnt sich, wenn eine Verbindung nach außen ausdrücklich ausgeschlossen ist.

Wie fangen Sie an?

Beginnen Sie mit einem einzigen Anwendungsfall und einer Probe außerhalb des abgeschotteten Netzes: Referenzumgebung aufbauen, Netzwerk trennen, eine Woche lang benutzen. Erst wenn diese Umgebung ohne Internet stabil läuft, lohnt sich der Aufwand für Schleuse, Freigaben und Hardware im Zielnetz.

Eine sinnvolle Reihenfolge für die ersten Wochen:

  1. Anwendungsfall wählen, der mit Dokumenten im Netz auskommt, etwa Fragen zu internen Handbüchern oder Vorstrukturierung von Prüfberichten.
  2. Modell und Inferenz-Software festlegen und die Lizenzbedingungen für Offline-Betrieb prüfen.
  3. Referenzumgebung außen aufbauen, Netz trennen, Fehler sammeln.
  4. Software-Inventar und Schleusenprozess schriftlich festhalten.
  5. Erste Lieferung über die Schleuse, Test im Zielnetz, Freigabe.
  6. Update-Rhythmus vereinbaren, etwa quartalsweise für Modelle und nach Bedarf für Sicherheitskorrekturen.

Monitoring, Verantwortlichkeiten und Update-Routinen für lokale Modelle im Allgemeinen beschreibt der Artikel Lokale KI dauerhaft betreiben. Im Air Gap gilt das alles ebenso, nur läuft jeder Schritt zusätzlich über die Schleuse.

In unserem eigenen Betrieb hat sich bewährt, die Referenzumgebung dauerhaft zu behalten: Jede neue Lieferung wird dort zuerst offline gestartet, bevor sie in die Schleuse geht. Das kostet eine Maschine, spart aber Fehlersuche im abgeschotteten Netz, wo jede Korrektur eine weitere Lieferung bedeutet.

Wer Agenten im Air Gap betreiben will, plant die Anwendungsschicht von Anfang an mit: Welche Werkzeuge braucht der Agent, welche Datenquellen liegen im Netz, wie werden Ergebnisse geprüft? Grundlagen zu Agenten und ihren Einsatzfeldern finden Sie im Bereich KI-Agenten, zur Wissenssuche über interne Dokumente unter Wissensmanagement mit KI-Agenten. Wie lokaler und souveräner Betrieb organisatorisch aufgesetzt wird, beschreibt die Seite zu souveräner KI. Weitere Grundlagenartikel finden Sie im Wissensbereich.

Stand der genannten Dokumentationen und Schalter: November 2026.

Häufige Fragen

Reicht es, die Firewall nach außen zu sperren?

Eine gesperrte Firewall ist ein segmentiertes Netz, kein Air Gap. Für einen echten Air Gap fehlt jede logische Verbindung; Daten kommen nur über eine bewusst betriebene Schleuse hinein oder hinaus.

Welche Modelle eignen sich für den Offline-Betrieb?

Alle Modelle mit offen herunterladbaren Gewichten und einer Lizenz, die den Betrieb ohne Lizenzserver erlaubt. Bevorzugen Sie Gewichte im Format Safetensors oder GGUF statt Pickle-Dateien.

Wie aktualisiere ich ein Modell im abgeschotteten Netz?

Wie jede andere Software: außen herunterladen, Prüfsummen und Herkunft dokumentieren, über die Schleuse einbringen, in einer Testumgebung prüfen und erst dann die produktive Version umstellen.

Können KI-Agenten im Air Gap Werkzeuge benutzen?

Ja, solange alle Werkzeuge im selben Netz liegen, etwa interne Datenbanken, Dateiablagen oder ein lokaler Suchindex. Werkzeuge, die externe APIs oder die Websuche brauchen, fallen weg.

Quellen

  1. Hugging Face: huggingface_hub Environment variables (HF_HUB_OFFLINE, HF_HUB_DISABLE_TELEMETRY) huggingface.co
  2. Hugging Face Transformers: Installation, Offline mode huggingface.co
  3. Hugging Face: Command Line Interface (hf download) huggingface.co
  4. pip documentation: pip download pip.pypa.io
  5. Python documentation: pickle — Python object serialization docs.python.org
  6. Hugging Face: Safetensors huggingface.co
  7. Ollama FAQ docs.ollama.com
  8. Ollama: Importing a model docs.ollama.com
  9. Docker documentation: docker image save docs.docker.com
  10. NIST SP 800-82 Rev. 3: Guide to Operational Technology (OT) Security csrc.nist.gov