# KI ohne Internet: Was offline wirklich geht und was nicht

> Ja, KI ohne Internet ist möglich: Offene Sprachmodelle laufen auf eigener Hardware ohne Verbindung nach außen. Wegfallen Websuche, Cloud-Modelle wie ChatGPT oder Claude und automatische Updates. Texte schreiben, Dokumente durchsuchen und Gespräche transkribieren funktioniert weiter.

Kanonische URL: https://www.ruebstudio.de/de/wissen/lokale-ki/ki-ohne-internet-offline  
Autor: Dr.-Ing. Marcus Rüb, CEO  
Veröffentlicht: 2026-11-04

Viele Unternehmen fragen nicht mehr, ob sie KI nutzen, sondern wo die Daten dabei landen. Wer Konstruktionsdaten, Personalakten oder Angebotskalkulationen verarbeitet, will oft keine Verbindung zu einem fremden Rechenzentrum. Die gute Nachricht: KI ohne Internet funktioniert heute für viele Aufgaben. Die ehrliche Nachricht: Einiges fällt dabei weg, und der Betrieb wird zur eigenen Aufgabe.

## Für wen ist KI ohne Internet gedacht?

KI ohne Internet richtet sich an Unternehmen, deren Daten das Haus nicht verlassen sollen oder dürfen: Fertigung mit vertraulichen Zeichnungen, Betriebe mit sensiblen Personaldaten, Organisationen mit Geheimhaltungsauflagen. Dieser Artikel ist für Entscheider ohne tiefe IT-Kenntnisse geschrieben und klärt, was realistisch ist.

Die technische Umsetzung eines vollständig abgeschotteten Netzes, also Netzsegmentierung, Modellprüfung und Betrieb, behandelt der Leitfaden zu [Air-Gapped KI in abgeschotteten Netzen](https://www.ruebstudio.de/de/wissen/lokale-ki/air-gapped-ki-abgeschottetes-netz). Hier geht es um die Vorfrage: Welche Stufe brauchen Sie überhaupt, und was bekommen Sie dafür?

Wenn Sie noch grundsätzlich abwägen, ob sich KI im eigenen Haus lohnt, finden Sie die Wirtschaftlichkeits- und Organisationsfragen im Überblick zu [lokaler KI im Unternehmen](https://www.ruebstudio.de/de/wissen/lokale-ki/lokale-ki-unternehmen).

## Welche drei Stufen von „ohne Internet" gibt es?

„KI ohne Internet" meint in der Praxis drei verschiedene Stufen: KI auf dem eigenen Server mit weiterhin offenem Internetzugang, KI ganz ohne Cloud-Dienste, und KI in einem komplett vom Internet getrennten Netz. Jede Stufe schützt mehr, kostet aber auch mehr Aufwand im Betrieb.

**Stufe 1: Eigener Server.** Das Sprachmodell läuft auf einem Rechner in Ihrem Haus oder Rechenzentrum. Die Anfragen Ihrer Mitarbeitenden verlassen das Firmennetz nicht. Der Server selbst darf aber noch ins Internet, etwa um Modelle herunterzuladen oder Sicherheitsupdates zu holen. Das ist die einfachste Stufe und für viele Unternehmen schon ausreichend.

**Stufe 2: Ohne Cloud.** Zusätzlich verzichten Sie auf jede Cloud-Funktion, auch auf solche, die eine lokale Software nebenbei anbietet. Ein Beispiel: Die Laufzeitumgebung Ollama läuft nach eigener Aussage lokal (["Ollama runs locally. We don't see your prompts or data when you run locally."](https://docs.ollama.com/faq)), bietet aber auch Cloud-Modelle und eine Websuche an. Beides lässt sich laut derselben FAQ über die Einstellung `OLLAMA_NO_CLOUD=1` abschalten. Auf dieser Stufe prüfen Sie also jedes Werkzeug darauf, ob es heimlich nach außen telefoniert.

**Stufe 3: Komplett offline.** Das Netz, in dem die KI läuft, hat keine Verbindung zum Internet. Modelle und Updates kommen nur über einen kontrollierten Weg hinein, etwa einen geprüften Datenträger. Das ist die Stufe für Geheimschutz, kritische Infrastruktur oder Produktionsnetze, die ohnehin abgeschottet sind.

| Stufe | Daten verlassen das Haus? | Server im Internet? | Aufwand im Betrieb |
|---|---|---|---|
| Eigener Server | Nein | Ja | gering |
| Ohne Cloud | Nein | eingeschränkt | mittel |
| Komplett offline | Nein | Nein | hoch |

## Was fällt offline weg?

Offline fallen vor allem drei Dinge weg: die Websuche, die großen Cloud-Modelle wie ChatGPT oder Claude und die Bequemlichkeit automatischer Updates. Dazu kommt, dass ein Modell ohne Verbindung nichts über aktuelle Ereignisse weiß. Für viele interne Aufgaben ist das verkraftbar, für manche nicht.

**Websuche.** Viele KI-Assistenten schlagen inzwischen im Netz nach, bevor sie antworten. Offline geht das nicht. Bei Ollama ist die Websuche zum Beispiel ein Dienst über `ollama.com`, für den laut [Dokumentation zur Websuche](https://docs.ollama.com/capabilities/web-search) ein Konto und ein API-Schlüssel nötig sind. Ohne Internet bleibt das Modell auf sein Trainingswissen und Ihre internen Dokumente beschränkt.

**Die großen Cloud-Modelle.** Claude ist laut [Anthropic-Dokumentation](https://platform.claude.com/docs/en/api/overview) über die eigene Claude API und über Cloud-Plattformen von AWS, Google Cloud und Microsoft Azure erreichbar. Beides setzt eine Netzverbindung voraus. Wer komplett offline arbeitet, nutzt stattdessen offene Modelle, deren Gewichte man herunterladen und selbst betreiben darf. Ob diese für Ihre Aufgaben genügen, zeigt nur ein Test mit echten Beispielen aus Ihrem Alltag.

**Aktualität.** Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Neue Gesetze, Preise oder Normen erfährt es nur, wenn Sie die Dokumente selbst bereitstellen.

**Automatische Updates.** Sicherheitsupdates für Betriebssystem, Treiber und KI-Software kommen nicht von allein. Jemand muss sie außerhalb laden, prüfen und einspielen.

## Was funktioniert offline trotzdem?

Offline funktioniert alles, was ein Modell mit Ihren eigenen Daten erledigen kann: Texte entwerfen und zusammenfassen, interne Dokumente durchsuchen, Gesprächsmitschnitte transkribieren, Code erklären und Daten aus Formularen herauslesen. Voraussetzung ist ein offenes Modell auf passender Hardware.

**Offene Sprachmodelle.** Ein Beispiel sind die gpt-oss-Modelle von OpenAI. Laut [Modellkarte von gpt-oss-20b](https://huggingface.co/openai/gpt-oss-20b) steht das kleinere Modell unter Apache-2.0-Lizenz und läuft mit 16 GB Speicher; das größere passt laut [Modellkarte von gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) auf eine einzelne GPU mit 80 GB, etwa eine NVIDIA H100. Daneben gibt es weitere offene Modellfamilien verschiedener Anbieter.

**Interne Wissenssuche.** Sie können dem Modell Handbücher, Prüfberichte oder Wartungsanleitungen zur Verfügung stellen. Es sucht dann die passenden Stellen und formuliert eine Antwort mit Verweis auf das Dokument. Das ist offline oft wertvoller als jede Websuche, weil es um Ihr eigenes Wissen geht.

**Spracherkennung.** Das Spracherkennungsmodell Whisper ist laut [GitHub-Projekt](https://github.com/openai/whisper) mitsamt Modellgewichten unter MIT-Lizenz veröffentlicht und läuft lokal. Damit lassen sich Besprechungen oder Diktate ohne Cloud in Text umwandeln. Das Projekt weist selbst darauf hin, dass die Qualität stark von der Sprache abhängt.

**Werkzeuge, die sich offline schalten lassen.** Auch Entwicklerwerkzeuge kennen einen Offline-Modus. Die Hugging-Face-Bibliothek macht etwa laut [Dokumentation der Umgebungsvariablen](https://huggingface.co/docs/huggingface_hub/package_reference/environment_variables) mit `HF_HUB_OFFLINE=1` keine HTTP-Aufrufe mehr zum Hub und nutzt nur lokal zwischengespeicherte Dateien.

## Nach welchen Kriterien wählen Sie die passende Stufe?

Die passende Stufe ergibt sich aus drei Fragen: Wie schutzbedürftig sind die Daten, welche Aufgaben soll die KI übernehmen, und wer betreibt das System dauerhaft? Wählen Sie die niedrigste Stufe, die Ihre Schutzanforderung erfüllt — jede höhere kostet mehr Betriebsaufwand.

- **Schutzbedarf der Daten:** Reicht es, dass Anfragen das Haus nicht verlassen? Dann genügt Stufe 1. Gibt es vertragliche oder behördliche Auflagen zur Netztrennung, ist Stufe 3 Pflicht.
- **Art der Aufgaben:** Brauchen Ihre Mitarbeitenden aktuelle Informationen aus dem Netz, etwa Marktpreise oder neue Normen? Dann ist eine komplette Abschottung ein echter Verlust.
- **Qualitätsanspruch:** Testen Sie offene Modelle an echten Aufgaben aus Ihrem Alltag, bevor Sie sich festlegen. Eine Angebotszusammenfassung stellt andere Anforderungen als eine juristische Prüfung.
- **Hardware:** Größere Modelle brauchen Server-GPUs. Klären Sie früh, ob ein Rechner in Ihrem Serverraum Platz, Strom und Kühlung findet.
- **Betrieb:** Benennen Sie, wer Updates einspielt, Modelle wechselt und bei Störungen hilft.

Die rechtliche Bewertung Ihrer konkreten Auflagen ersetzt dieser Artikel nicht; er dient der Orientierung.

## Wie gehen Sie in der Praxis vor?

Starten Sie klein: eine konkrete Aufgabe, ein offenes Modell, ein Testrechner. Erst wenn die Ergebnisse tragen, entscheiden Sie über Stufe und dauerhafte Hardware. So vermeiden Sie, teure Server für einen Anwendungsfall zu kaufen, den das Modell am Ende nicht gut genug löst.

1. **Aufgabe festlegen.** Wählen Sie einen Prozess mit klarem Nutzen, etwa das Durchsuchen von Wartungsanleitungen oder das Zusammenfassen von Prüfberichten.
2. **Stufe bestimmen.** Klären Sie mit Datenschutz und IT-Sicherheit, welche der drei Stufen gilt.
3. **Modell testen.** Probieren Sie zwei bis drei offene Modelle mit echten, aber unkritischen Beispieldaten aus.
4. **Werkzeuge prüfen.** Kontrollieren Sie bei jeder Software, ob sie Telemetrie, Cloud-Funktionen oder Update-Abfragen enthält, und schalten Sie diese ab.
5. **Betrieb planen.** Legen Sie fest, wie neue Modelle und Updates ins Netz kommen. Für Stufe 3 beschreibt der [Air-Gap-Leitfaden](https://www.ruebstudio.de/de/wissen/lokale-ki/air-gapped-ki-abgeschottetes-netz) die nötigen Schritte.
6. **Ausrollen.** Erst dann folgen weitere Nutzer und weitere Aufgaben.

Wie ein solches Vorhaben mit eigener Infrastruktur aufgesetzt werden kann, beschreibt die Seite zu [souveräner KI](https://www.ruebstudio.de/de/souveraene-ki).

## Welche Fallstricke gibt es?

Die häufigsten Fallstricke sind versteckte Verbindungen nach außen, zu hohe Erwartungen an kleine Modelle und ein fehlender Plan für Updates. Alle drei lassen sich vermeiden, wenn Sie sie von Anfang an einplanen und nicht erst nach dem Start entdecken.

- **Versteckte Verbindungen.** Viele Programme prüfen beim Start auf Updates oder senden Nutzungsstatistiken. Auf Stufe 2 und 3 muss jede dieser Funktionen abgeschaltet oder durch die Firewall blockiert sein.
- **Zu hohe Erwartungen.** Ein Modell, das auf einem Bürorechner läuft, ist nicht so leistungsfähig wie die größten Cloud-Modelle. Testen Sie ehrlich.
- **Veraltetes Wissen.** Ohne Internet altern Modell und Dokumente. Planen Sie regelmäßige Aktualisierungen der internen Wissensbasis ein.
- **Kein Verantwortlicher.** Ein Server, um den sich niemand kümmert, wird zur Sicherheitslücke.
- **Download ohne Prüfung.** Modelle aus dem Internet sollten vor der Übertragung ins interne Netz auf Herkunft und Unversehrtheit geprüft werden.

## Fazit: Lohnt sich KI ohne Internet?

KI ohne Internet lohnt sich, wenn Ihre Daten das Haus nicht verlassen sollen und die Aufgaben vor allem mit eigenem Wissen zu tun haben. Wer dagegen auf aktuelle Informationen aus dem Netz oder die stärksten Cloud-Modelle angewiesen ist, gibt mit der Abschottung viel auf.

Für die meisten Unternehmen ist Stufe 1 der vernünftige Einstieg: eigener Server, keine Daten nach außen, aber Updates über das Internet. Die Stufen 2 und 3 sind dann sinnvoll, wenn Auflagen oder Risiken es verlangen. In unserem eigenen Betrieb hat sich bewährt, zuerst eine einzelne Aufgabe sauber zu lösen und erst danach über Hardware und Netztrennung zu entscheiden.

## Häufige Fragen

### Brauche ich für Offline-KI eine eigene IT-Abteilung?

Für den Dauerbetrieb braucht es jemanden, der Server, Updates und Modellwechsel betreut. Das kann intern oder extern sein, aber es muss klar zugeordnet sein.

### Kann ich ChatGPT oder Claude offline betreiben?

Nein. Beide Dienste laufen beim Anbieter bzw. auf Cloud-Plattformen und brauchen eine Netzverbindung. Offline kommen nur Modelle mit herunterladbaren Gewichten infrage.

### Weiß eine Offline-KI, was gestern passiert ist?

Nein. Ein Modell kennt nur seine Trainingsdaten und die Dokumente, die Sie ihm intern bereitstellen. Aktuelles Wissen kommt nur über eigene Datenquellen hinein.

### Wie kommt ein neues Modell in ein Netz ohne Internet?

Es wird auf einem separaten Rechner mit Internetzugang geladen, geprüft und über einen kontrollierten Datenträger oder eine Schleuse übertragen.

## Quellen

- [Ollama FAQ (lokaler Betrieb, Cloud-Funktionen abschalten)](https://docs.ollama.com/faq)
- [Ollama Docs: Web search](https://docs.ollama.com/capabilities/web-search)
- [Hugging Face Hub: Umgebungsvariablen (HF_HUB_OFFLINE)](https://huggingface.co/docs/huggingface_hub/package_reference/environment_variables)
- [Hugging Face: openai/gpt-oss-20b (Modellkarte)](https://huggingface.co/openai/gpt-oss-20b)
- [Hugging Face: openai/gpt-oss-120b (Modellkarte)](https://huggingface.co/openai/gpt-oss-120b)
- [GitHub: openai/whisper](https://github.com/openai/whisper)
- [Claude API Overview (Zugang über API und Cloud-Plattformen)](https://platform.claude.com/docs/en/api/overview)
