Lokale KI installieren: Ein Sprachmodell offline auf PC oder Laptop
Ein Sprachmodell auf dem eigenen Rechner lässt sich ohne Programmierkenntnisse einrichten: Programm installieren, Modell einmal herunterladen, danach läuft der Chat ohne Internetverbindung. Diese Anleitung zeigt den Weg für einen einzelnen Windows-PC oder Mac, welche Modellgröße auf welchen Rechner passt und an welcher Stelle der Einzelplatz nicht mehr reicht. Stand: November 2026.
Was haben Sie am Ende dieser Anleitung?
Am Ende läuft auf Ihrem Rechner ein Sprachmodell, mit dem Sie im Terminal oder in einer Chat-Oberfläche arbeiten, ohne dass Eingaben das Gerät verlassen. Zusätzlich steht eine lokale Programmierschnittstelle bereit, über die Skripte auf demselben Rechner das Modell ansprechen können.
Konkret richten Sie ein:
- Ollama als Laufzeitumgebung, die Modelle lädt und ausführt (Open Source, MIT-Lizenz),
- ein passendes Modell aus der Ollama-Bibliothek, etwa Gemma 3 oder Qwen3,
- optional LM Studio als grafische Oberfläche für Kolleginnen und Kollegen, die kein Terminal nutzen möchten.
Diese Anleitung behandelt bewusst den Einzelplatz. Wenn mehrere Personen ein Modell gemeinsam nutzen sollen, ist ein Server der richtige Weg; die Varianten dafür vergleicht der Überblick LLM-Inferenz-Server: Ollama, vLLM, llama.cpp & Co..
Welche Voraussetzungen muss Ihr Rechner erfüllen?
Sie brauchen ein aktuelles Betriebssystem, genug Arbeitsspeicher für das gewünschte Modell und freien Plattenplatz. Ollama verlangt laut Hersteller Windows 10 22H2 oder neuer beziehungsweise macOS 14 Sonoma oder neuer. Die Grafikkarte ist kein Muss, entscheidet aber über die Geschwindigkeit.
Die Angaben der Hersteller im Überblick:
| Punkt | Ollama | LM Studio |
|---|---|---|
| Windows | Windows 10 22H2 oder neuer, Home oder Pro | x64 mit AVX2 oder ARM (z. B. Snapdragon X Elite) |
| Mac | macOS 14 oder neuer; Apple-Chip mit GPU, Intel nur CPU | macOS 14 oder neuer, nur Apple-Chip |
| Arbeitsspeicher | keine feste Angabe | 16 GB empfohlen |
| Grafik | NVIDIA-Treiber 551.61 oder neuer; AMD über ROCm oder Vulkan | unter Windows mindestens 4 GB eigener Grafikspeicher empfohlen |
Quellen: Ollama für Windows, Ollama für macOS, LM Studio System Requirements.
Beim Plattenplatz rechnet Ollama unter Windows mit mindestens 4 GB für das Programm; für Modelle kommen laut Hersteller-Doku je nach Auswahl zehn bis mehrere hundert GB hinzu. Klären Sie außerdem vorab mit Ihrer IT, ob Sie solche Programme ausführen dürfen. Dass Ollama keine Administratorrechte braucht, heißt nicht, dass es erlaubt ist.
Schritt 1: Welche Modellgröße passt auf welchen Rechner?
Das Modell muss vollständig in den Grafikspeicher passen, damit es zügig antwortet; beim Mac mit Apple-Chip zählt der gemeinsame Arbeitsspeicher. Als Richtwert dient die Downloadgröße in der Ollama-Bibliothek plus Reserve für Betriebssystem, andere Programme und den Gesprächsverlauf.
Die Downloadgrößen zweier verbreiteter Modellfamilien (Ollama-Bibliothek, Stand November 2026):
| Modell | Download | Kontextfenster |
|---|---|---|
gemma3:1b | 806 MB | 32K |
gemma3:4b | 3,4 GB | 128K |
gemma3:12b | 8,2 GB | 128K |
qwen3:4b | 2,5 GB | 256K |
qwen3:8b | 5,2 GB | 40K |
qwen3:14b | 9,3 GB | 40K |
Daraus ergibt sich eine grobe Zuordnung, die Sie auf Ihrem Gerät ausprobieren sollten:
- Laptop mit 8 GB RAM, ohne eigene Grafikkarte: Modelle mit 1 bis 4 Milliarden Parametern (
gemma3:1b,qwen3:4b). Eher für Umformulieren, kurze Zusammenfassungen und einfache Fragen. - Rechner mit 16 GB RAM oder Grafikkarte mit 8 GB: 4B bis 8B (
gemma3:4b,qwen3:8b). Brauchbar für Entwürfe, E-Mails, Erklärungen. - Grafikkarte mit 12 bis 16 GB oder Mac mit 32 GB: 12B bis 14B (
gemma3:12b,qwen3:14b). Spürbar sicherer bei längeren Texten; prüfen Sie die Qualität im Deutschen mit eigenen Beispielen.
Größere Modelle wie gemma3:27b (17 GB) laufen auf Workstations mit viel Speicher. Wie man Hardware für größere Modelle und mehrere Nutzer auslegt, erklärt Hardware für lokale LLMs: GPU-Server richtig auslegen — dort geht es um Server, hier um den Rechner, der schon auf dem Schreibtisch steht.
Schritt 2: Wie installieren Sie Ollama unter Windows?
Laden Sie OllamaSetup.exe von der offiziellen Seite und führen Sie es aus. Laut Ollama-Doku braucht die Installation keine Administratorrechte und landet im Benutzerverzeichnis. Danach läuft Ollama im Hintergrund und ist im Terminal über den Befehl ollama erreichbar.
Ist das Laufwerk C: knapp, legen Sie Programm und Modelle woanders ab. Das Installationsziel setzen Sie beim Aufruf, den Modellordner über die Umgebungsvariable OLLAMA_MODELS:
# Installation auf ein anderes Laufwerk (PowerShell oder Eingabeaufforderung)
OllamaSetup.exe /DIR="D:\Programme\Ollama"
# Modellordner für das eigene Benutzerkonto festlegen
setx OLLAMA_MODELS "D:\ollama-modelle"
Nach dem Setzen der Variable Ollama beenden und neu starten oder ein neues Terminal öffnen, damit die Änderung greift. Ohne Änderung liegen Modelle unter C:\Users\<Name>\.ollama\models (FAQ). Wer eine NVIDIA-Karte nutzt, prüft vorher die Treiberversion (551.61 oder neuer).
Schritt 3: Wie installieren Sie Ollama auf dem Mac?
Öffnen Sie die heruntergeladene ollama.dmg und ziehen Sie Ollama in den Ordner „Programme". Beim ersten Start fragt die App, ob sie den Befehl ollama unter /usr/local/bin verlinken darf; bestätigen Sie das, damit das Terminal den Befehl findet.
Modelle und Einstellungen liegen danach in ~/.ollama (Ollama für macOS). Auf Macs mit Apple-Chip nutzt Ollama CPU und GPU, auf Intel-Macs nur die CPU, was in der Regel langsamer ist. Prüfen Sie die Installation im Terminal:
ollama --version
Schritt 4: Wie laden und starten Sie ein Modell?
Laden Sie das Modell einmal mit ollama pull, solange Internet verfügbar ist, und starten Sie es mit ollama run. Ab dann liegt es lokal; jeder weitere Start lädt nur noch von der Platte. Der Befehl ist unter Windows und macOS identisch.
# einmalig herunterladen (Internet nötig)
ollama pull gemma3:4b
# interaktiven Chat starten, beenden mit /bye
ollama run gemma3:4b
# vorhandene Modelle anzeigen
ollama list
Ollama bietet neben lokalen Modellen auch Cloud-Modelle an. Wer sicherstellen will, dass auf diesem Rechner nur lokal gerechnet wird, schaltet die Cloud-Funktionen laut FAQ ab: entweder mit der Umgebungsvariable OLLAMA_NO_CLOUD=1 oder mit einer Datei ~/.ollama/server.json:
{ "disable_ollama_cloud": true }
Nach einem Neustart von Ollama steht im Log „Ollama cloud disabled: true". Cloud-Modelle und die Websuche sind dann nicht mehr erreichbar.
Standardmäßig arbeitet Ollama mit einem Kontextfenster von 4.096 Tokens. Für längere Dokumente setzen Sie OLLAMA_CONTEXT_LENGTH höher, was allerdings mehr Speicher belegt.
Schritt 5: Wann lohnt sich LM Studio als grafische Oberfläche?
LM Studio ist sinnvoll, wenn Personen ohne Terminal-Erfahrung lokal arbeiten sollen. Es bringt Modellsuche, Download, Chatfenster und das Gespräch mit eigenen Dokumenten in einer Oberfläche mit. Intel-Macs unterstützt es nicht; unter Windows setzt es auf x64-Rechnern AVX2 voraus.
Nach der Installation suchen Sie im Programm ein Modell und laden es herunter; die Doku empfiehlt eine 4-Bit-Variante oder höher, sofern der Rechner sie trägt (Download-Anleitung). Laut Offline-Doku verlassen Chats und hochgeladene Dokumente das Gerät nicht; Modellsuche, Downloads, Laufzeit- und App-Updates brauchen dagegen eine Verbindung.
Zur Lizenz: Die Nutzungsbedingungen erlauben den Einsatz für persönliche und interne Geschäftszwecke. Arbeiten Beschäftigte damit, ist das Unternehmen Vertragspartner; einzelne Funktionen können kostenpflichtig sein. Ollama und LM Studio lassen sich parallel installieren, belegen dann aber jeweils eigenen Speicher für ihre Modelle.
Testen: Läuft das Modell wirklich lokal und auf der GPU?
Zwei Prüfungen genügen: Netzwerk trennen und eine Frage stellen, dann mit ollama ps nachsehen, wo das Modell geladen ist. Antwortet das Modell offline und zeigt die Spalte PROCESSOR „100% GPU", arbeitet der Rechner so schnell, wie er kann.
# bei laufendem Modell in einem zweiten Terminal
ollama ps
Die Spalte PROCESSOR zeigt laut FAQ „100% GPU", „100% CPU" oder eine Aufteilung wie „48%/52% CPU/GPU". Eine Aufteilung heißt: Das Modell passt nicht ganz in den Grafikspeicher. Dann ein kleineres Modell oder ein kürzeres Kontextfenster wählen.
Skripte auf demselben Rechner erreichen das Modell über die lokale Schnittstelle (API-Doku):
curl http://localhost:11434/api/chat -d '{
"model": "gemma3:4b",
"messages": [{"role": "user", "content": "Fasse in zwei Sätzen zusammen, was ein Lieferschein ist."}],
"stream": false
}'
Die Antwort steht im Feld message.content.
Betrieb, Kosten und Sicherheit am Einzelplatz
Laufende Kosten entstehen außer Strom keine; Ollama ist Open Source, Modelle wie Gemma 3 oder Qwen3 laden Sie kostenlos, müssen aber deren Lizenz beachten. Sicherheitsrelevant sind vor allem die Netzwerkfreigabe, Updates und die Frage, welche Daten Sie in den Chat kopieren.
Worauf Sie im Alltag achten sollten:
- Nur lokal erreichbar lassen. Ollama lauscht laut FAQ standardmäßig auf
127.0.0.1:11434, also nur auf dem eigenen Rechner. WerOLLAMA_HOSTauf0.0.0.0setzt, öffnet die Schnittstelle für das ganze Netz. Dann müssen Sie selbst regeln, wer darauf zugreifen darf — das ist kein Einzelplatz mehr. - Speicher wird wieder frei. Ein Modell bleibt standardmäßig fünf Minuten nach der letzten Anfrage im Speicher;
ollama stop <modell>entlädt es sofort. - Updates bewusst einspielen. Ollama erscheint in kurzen Abständen; auf der Release-Seite ist Anfang November 2026 Version 0.40.15 aktuell. Updates brauchen Internet, also gezielt einplanen.
- Daten bleiben trotzdem Daten. Auch lokal gilt: Personenbezogene Daten im Chat sind eine Verarbeitung, die zu Ihren internen Regeln passen muss. Dies ist keine Rechtsberatung.
- Antworten prüfen. Kleine Modelle formulieren flüssig, können bei Fakten aber danebenliegen. Für Zahlen, Namen und Zitate immer gegenprüfen.
Wann kommt der Einzelplatz an seine Grenze?
Der Einzelplatz trägt, solange eine Person mit eigenen, unkritischen Texten arbeitet. Er stößt an Grenzen, sobald mehrere Menschen dasselbe Modell nutzen sollen, Unternehmensdaten aus Laufwerken oder Systemen angebunden werden oder geregelt sein muss, wer was sehen darf.
Typische Signale:
- Mehrere Nutzer. Zehn Laptops mit je eigenem Modell bedeuten zehn Installationen, zehn Update-Stände und meist zu kleine Modelle. Ein zentraler Inferenz-Server mit kräftiger GPU ist dann einfacher zu betreiben.
- Unternehmensdaten. Sobald das Modell auf Dokumentablagen, Tickets oder ein ERP zugreifen soll, brauchen Sie Anbindung, Suche und Protokollierung — das leistet ein Chat auf dem Laptop nicht.
- Rechte und Nachvollziehbarkeit. Wer darf welche Dokumente abfragen, wer hat wann was gefragt? Am Einzelplatz gibt es dafür weder Rollen noch ein zentrales Protokoll.
- Netz ohne Internet. Soll ein Modell in einem abgeschotteten Netz laufen, ist der Download über
ollama pullnicht möglich; Modelle müssen geprüft über eine Schleuse übertragen werden.
Wenn Sie vor allem abwägen, ob ein lokales Modell ChatGPT im Unternehmen ersetzen kann, hilft der Vergleich ChatGPT offline nutzen? Lokale Alternativen für Unternehmen. Er vergleicht Lösungen für ganze Teams; diese Anleitung bringt dagegen genau einen Rechner ans Laufen.
Nächste Schritte
Testen Sie zwei oder drei Modellgrößen mit echten Aufgaben aus Ihrem Alltag, etwa einer E-Mail-Antwort oder der Zusammenfassung eines Prüfberichts, und notieren Sie Qualität und Antwortzeit. So sehen Sie, ob der Einzelplatz reicht oder ob ein gemeinsamer Server sinnvoller ist.
- Für den Sprung zum Server: LLM-Inferenz-Server im Überblick und Hardware für lokale LLMs.
- Für die Frage, wie lokale Modelle mit eigenen Daten, Rechten und Betrieb im Unternehmen zusammenpassen: Souveräne KI im eigenen Haus.
Häufige Fragen
Braucht die lokale KI nach der Installation noch Internet?
Nur zum Herunterladen von Modellen und für Updates. Ist ein Modell einmal geladen, läuft der Chat ohne Verbindung; Sie können das prüfen, indem Sie WLAN und Kabel trennen und eine Frage stellen.
Reicht ein Laptop ohne eigene Grafikkarte?
Für kleine Modelle mit 1 bis 4 Milliarden Parametern ja, die Antworten kommen dann aber merklich langsamer. Macs mit Apple-Chip nutzen den gemeinsamen Arbeitsspeicher als Grafikspeicher und sind deshalb im Vorteil.
Brauche ich Administratorrechte unter Windows?
Für Ollama nicht: Laut Hersteller-Doku installiert es sich ohne Administratorrechte ins Benutzerverzeichnis. Ob Ihre IT das Ausführen solcher Programme erlaubt, ist eine andere Frage und sollte vorher geklärt sein.
Darf ich LM Studio im Unternehmen nutzen?
Die Nutzungsbedingungen erlauben den Einsatz für interne Geschäftszwecke; einzelne Funktionen können kostenpflichtig sein. Für jedes Modell gilt zusätzlich dessen eigene Lizenz.
Quellen
- Ollama Docs: Windows docs.ollama.com
- Ollama Docs: macOS docs.ollama.com
- Ollama Docs: FAQ docs.ollama.com
- Ollama Docs: API /api/chat docs.ollama.com
- Ollama Releases (GitHub) github.com
- Ollama Library: gemma3 ollama.com
- Ollama Library: qwen3 ollama.com
- LM Studio Docs: System Requirements lmstudio.ai
- LM Studio Docs: Offline Operation lmstudio.ai
- LM Studio Docs: Download an LLM lmstudio.ai
- LM Studio App Terms of Service lmstudio.ai