Zum Inhalt springen

Lokale KI installieren: Ein Sprachmodell offline auf PC oder Laptop

Ein Sprachmodell auf dem eigenen Rechner lässt sich ohne Programmierkenntnisse einrichten: Programm installieren, Modell einmal herunterladen, danach läuft der Chat ohne Internetverbindung. Diese Anleitung zeigt den Weg für einen einzelnen Windows-PC oder Mac, welche Modellgröße auf welchen Rechner passt und an welcher Stelle der Einzelplatz nicht mehr reicht. Stand: November 2026.

Was haben Sie am Ende dieser Anleitung?

Am Ende läuft auf Ihrem Rechner ein Sprachmodell, mit dem Sie im Terminal oder in einer Chat-Oberfläche arbeiten, ohne dass Eingaben das Gerät verlassen. Zusätzlich steht eine lokale Programmierschnittstelle bereit, über die Skripte auf demselben Rechner das Modell ansprechen können.

Konkret richten Sie ein:

  • Ollama als Laufzeitumgebung, die Modelle lädt und ausführt (Open Source, MIT-Lizenz),
  • ein passendes Modell aus der Ollama-Bibliothek, etwa Gemma 3 oder Qwen3,
  • optional LM Studio als grafische Oberfläche für Kolleginnen und Kollegen, die kein Terminal nutzen möchten.

Diese Anleitung behandelt bewusst den Einzelplatz. Wenn mehrere Personen ein Modell gemeinsam nutzen sollen, ist ein Server der richtige Weg; die Varianten dafür vergleicht der Überblick LLM-Inferenz-Server: Ollama, vLLM, llama.cpp & Co..

Welche Voraussetzungen muss Ihr Rechner erfüllen?

Sie brauchen ein aktuelles Betriebssystem, genug Arbeitsspeicher für das gewünschte Modell und freien Plattenplatz. Ollama verlangt laut Hersteller Windows 10 22H2 oder neuer beziehungsweise macOS 14 Sonoma oder neuer. Die Grafikkarte ist kein Muss, entscheidet aber über die Geschwindigkeit.

Die Angaben der Hersteller im Überblick:

PunktOllamaLM Studio
WindowsWindows 10 22H2 oder neuer, Home oder Prox64 mit AVX2 oder ARM (z. B. Snapdragon X Elite)
MacmacOS 14 oder neuer; Apple-Chip mit GPU, Intel nur CPUmacOS 14 oder neuer, nur Apple-Chip
Arbeitsspeicherkeine feste Angabe16 GB empfohlen
GrafikNVIDIA-Treiber 551.61 oder neuer; AMD über ROCm oder Vulkanunter Windows mindestens 4 GB eigener Grafikspeicher empfohlen

Quellen: Ollama für Windows, Ollama für macOS, LM Studio System Requirements.

Beim Plattenplatz rechnet Ollama unter Windows mit mindestens 4 GB für das Programm; für Modelle kommen laut Hersteller-Doku je nach Auswahl zehn bis mehrere hundert GB hinzu. Klären Sie außerdem vorab mit Ihrer IT, ob Sie solche Programme ausführen dürfen. Dass Ollama keine Administratorrechte braucht, heißt nicht, dass es erlaubt ist.

Schritt 1: Welche Modellgröße passt auf welchen Rechner?

Das Modell muss vollständig in den Grafikspeicher passen, damit es zügig antwortet; beim Mac mit Apple-Chip zählt der gemeinsame Arbeitsspeicher. Als Richtwert dient die Downloadgröße in der Ollama-Bibliothek plus Reserve für Betriebssystem, andere Programme und den Gesprächsverlauf.

Die Downloadgrößen zweier verbreiteter Modellfamilien (Ollama-Bibliothek, Stand November 2026):

ModellDownloadKontextfenster
gemma3:1b806 MB32K
gemma3:4b3,4 GB128K
gemma3:12b8,2 GB128K
qwen3:4b2,5 GB256K
qwen3:8b5,2 GB40K
qwen3:14b9,3 GB40K

Quellen: gemma3, qwen3.

Daraus ergibt sich eine grobe Zuordnung, die Sie auf Ihrem Gerät ausprobieren sollten:

  • Laptop mit 8 GB RAM, ohne eigene Grafikkarte: Modelle mit 1 bis 4 Milliarden Parametern (gemma3:1b, qwen3:4b). Eher für Umformulieren, kurze Zusammenfassungen und einfache Fragen.
  • Rechner mit 16 GB RAM oder Grafikkarte mit 8 GB: 4B bis 8B (gemma3:4b, qwen3:8b). Brauchbar für Entwürfe, E-Mails, Erklärungen.
  • Grafikkarte mit 12 bis 16 GB oder Mac mit 32 GB: 12B bis 14B (gemma3:12b, qwen3:14b). Spürbar sicherer bei längeren Texten; prüfen Sie die Qualität im Deutschen mit eigenen Beispielen.

Größere Modelle wie gemma3:27b (17 GB) laufen auf Workstations mit viel Speicher. Wie man Hardware für größere Modelle und mehrere Nutzer auslegt, erklärt Hardware für lokale LLMs: GPU-Server richtig auslegen — dort geht es um Server, hier um den Rechner, der schon auf dem Schreibtisch steht.

Schritt 2: Wie installieren Sie Ollama unter Windows?

Laden Sie OllamaSetup.exe von der offiziellen Seite und führen Sie es aus. Laut Ollama-Doku braucht die Installation keine Administratorrechte und landet im Benutzerverzeichnis. Danach läuft Ollama im Hintergrund und ist im Terminal über den Befehl ollama erreichbar.

Ist das Laufwerk C: knapp, legen Sie Programm und Modelle woanders ab. Das Installationsziel setzen Sie beim Aufruf, den Modellordner über die Umgebungsvariable OLLAMA_MODELS:

# Installation auf ein anderes Laufwerk (PowerShell oder Eingabeaufforderung)
OllamaSetup.exe /DIR="D:\Programme\Ollama"

# Modellordner für das eigene Benutzerkonto festlegen
setx OLLAMA_MODELS "D:\ollama-modelle"

Nach dem Setzen der Variable Ollama beenden und neu starten oder ein neues Terminal öffnen, damit die Änderung greift. Ohne Änderung liegen Modelle unter C:\Users\<Name>\.ollama\models (FAQ). Wer eine NVIDIA-Karte nutzt, prüft vorher die Treiberversion (551.61 oder neuer).

Schritt 3: Wie installieren Sie Ollama auf dem Mac?

Öffnen Sie die heruntergeladene ollama.dmg und ziehen Sie Ollama in den Ordner „Programme". Beim ersten Start fragt die App, ob sie den Befehl ollama unter /usr/local/bin verlinken darf; bestätigen Sie das, damit das Terminal den Befehl findet.

Modelle und Einstellungen liegen danach in ~/.ollama (Ollama für macOS). Auf Macs mit Apple-Chip nutzt Ollama CPU und GPU, auf Intel-Macs nur die CPU, was in der Regel langsamer ist. Prüfen Sie die Installation im Terminal:

ollama --version

Schritt 4: Wie laden und starten Sie ein Modell?

Laden Sie das Modell einmal mit ollama pull, solange Internet verfügbar ist, und starten Sie es mit ollama run. Ab dann liegt es lokal; jeder weitere Start lädt nur noch von der Platte. Der Befehl ist unter Windows und macOS identisch.

# einmalig herunterladen (Internet nötig)
ollama pull gemma3:4b

# interaktiven Chat starten, beenden mit /bye
ollama run gemma3:4b

# vorhandene Modelle anzeigen
ollama list

Ollama bietet neben lokalen Modellen auch Cloud-Modelle an. Wer sicherstellen will, dass auf diesem Rechner nur lokal gerechnet wird, schaltet die Cloud-Funktionen laut FAQ ab: entweder mit der Umgebungsvariable OLLAMA_NO_CLOUD=1 oder mit einer Datei ~/.ollama/server.json:

{ "disable_ollama_cloud": true }

Nach einem Neustart von Ollama steht im Log „Ollama cloud disabled: true". Cloud-Modelle und die Websuche sind dann nicht mehr erreichbar.

Standardmäßig arbeitet Ollama mit einem Kontextfenster von 4.096 Tokens. Für längere Dokumente setzen Sie OLLAMA_CONTEXT_LENGTH höher, was allerdings mehr Speicher belegt.

Schritt 5: Wann lohnt sich LM Studio als grafische Oberfläche?

LM Studio ist sinnvoll, wenn Personen ohne Terminal-Erfahrung lokal arbeiten sollen. Es bringt Modellsuche, Download, Chatfenster und das Gespräch mit eigenen Dokumenten in einer Oberfläche mit. Intel-Macs unterstützt es nicht; unter Windows setzt es auf x64-Rechnern AVX2 voraus.

Nach der Installation suchen Sie im Programm ein Modell und laden es herunter; die Doku empfiehlt eine 4-Bit-Variante oder höher, sofern der Rechner sie trägt (Download-Anleitung). Laut Offline-Doku verlassen Chats und hochgeladene Dokumente das Gerät nicht; Modellsuche, Downloads, Laufzeit- und App-Updates brauchen dagegen eine Verbindung.

Zur Lizenz: Die Nutzungsbedingungen erlauben den Einsatz für persönliche und interne Geschäftszwecke. Arbeiten Beschäftigte damit, ist das Unternehmen Vertragspartner; einzelne Funktionen können kostenpflichtig sein. Ollama und LM Studio lassen sich parallel installieren, belegen dann aber jeweils eigenen Speicher für ihre Modelle.

Testen: Läuft das Modell wirklich lokal und auf der GPU?

Zwei Prüfungen genügen: Netzwerk trennen und eine Frage stellen, dann mit ollama ps nachsehen, wo das Modell geladen ist. Antwortet das Modell offline und zeigt die Spalte PROCESSOR „100% GPU", arbeitet der Rechner so schnell, wie er kann.

# bei laufendem Modell in einem zweiten Terminal
ollama ps

Die Spalte PROCESSOR zeigt laut FAQ „100% GPU", „100% CPU" oder eine Aufteilung wie „48%/52% CPU/GPU". Eine Aufteilung heißt: Das Modell passt nicht ganz in den Grafikspeicher. Dann ein kleineres Modell oder ein kürzeres Kontextfenster wählen.

Skripte auf demselben Rechner erreichen das Modell über die lokale Schnittstelle (API-Doku):

curl http://localhost:11434/api/chat -d '{
  "model": "gemma3:4b",
  "messages": [{"role": "user", "content": "Fasse in zwei Sätzen zusammen, was ein Lieferschein ist."}],
  "stream": false
}'

Die Antwort steht im Feld message.content.

Betrieb, Kosten und Sicherheit am Einzelplatz

Laufende Kosten entstehen außer Strom keine; Ollama ist Open Source, Modelle wie Gemma 3 oder Qwen3 laden Sie kostenlos, müssen aber deren Lizenz beachten. Sicherheitsrelevant sind vor allem die Netzwerkfreigabe, Updates und die Frage, welche Daten Sie in den Chat kopieren.

Worauf Sie im Alltag achten sollten:

  • Nur lokal erreichbar lassen. Ollama lauscht laut FAQ standardmäßig auf 127.0.0.1:11434, also nur auf dem eigenen Rechner. Wer OLLAMA_HOST auf 0.0.0.0 setzt, öffnet die Schnittstelle für das ganze Netz. Dann müssen Sie selbst regeln, wer darauf zugreifen darf — das ist kein Einzelplatz mehr.
  • Speicher wird wieder frei. Ein Modell bleibt standardmäßig fünf Minuten nach der letzten Anfrage im Speicher; ollama stop <modell> entlädt es sofort.
  • Updates bewusst einspielen. Ollama erscheint in kurzen Abständen; auf der Release-Seite ist Anfang November 2026 Version 0.40.15 aktuell. Updates brauchen Internet, also gezielt einplanen.
  • Daten bleiben trotzdem Daten. Auch lokal gilt: Personenbezogene Daten im Chat sind eine Verarbeitung, die zu Ihren internen Regeln passen muss. Dies ist keine Rechtsberatung.
  • Antworten prüfen. Kleine Modelle formulieren flüssig, können bei Fakten aber danebenliegen. Für Zahlen, Namen und Zitate immer gegenprüfen.

Wann kommt der Einzelplatz an seine Grenze?

Der Einzelplatz trägt, solange eine Person mit eigenen, unkritischen Texten arbeitet. Er stößt an Grenzen, sobald mehrere Menschen dasselbe Modell nutzen sollen, Unternehmensdaten aus Laufwerken oder Systemen angebunden werden oder geregelt sein muss, wer was sehen darf.

Typische Signale:

  • Mehrere Nutzer. Zehn Laptops mit je eigenem Modell bedeuten zehn Installationen, zehn Update-Stände und meist zu kleine Modelle. Ein zentraler Inferenz-Server mit kräftiger GPU ist dann einfacher zu betreiben.
  • Unternehmensdaten. Sobald das Modell auf Dokumentablagen, Tickets oder ein ERP zugreifen soll, brauchen Sie Anbindung, Suche und Protokollierung — das leistet ein Chat auf dem Laptop nicht.
  • Rechte und Nachvollziehbarkeit. Wer darf welche Dokumente abfragen, wer hat wann was gefragt? Am Einzelplatz gibt es dafür weder Rollen noch ein zentrales Protokoll.
  • Netz ohne Internet. Soll ein Modell in einem abgeschotteten Netz laufen, ist der Download über ollama pull nicht möglich; Modelle müssen geprüft über eine Schleuse übertragen werden.

Wenn Sie vor allem abwägen, ob ein lokales Modell ChatGPT im Unternehmen ersetzen kann, hilft der Vergleich ChatGPT offline nutzen? Lokale Alternativen für Unternehmen. Er vergleicht Lösungen für ganze Teams; diese Anleitung bringt dagegen genau einen Rechner ans Laufen.

Nächste Schritte

Testen Sie zwei oder drei Modellgrößen mit echten Aufgaben aus Ihrem Alltag, etwa einer E-Mail-Antwort oder der Zusammenfassung eines Prüfberichts, und notieren Sie Qualität und Antwortzeit. So sehen Sie, ob der Einzelplatz reicht oder ob ein gemeinsamer Server sinnvoller ist.

Häufige Fragen

Braucht die lokale KI nach der Installation noch Internet?

Nur zum Herunterladen von Modellen und für Updates. Ist ein Modell einmal geladen, läuft der Chat ohne Verbindung; Sie können das prüfen, indem Sie WLAN und Kabel trennen und eine Frage stellen.

Reicht ein Laptop ohne eigene Grafikkarte?

Für kleine Modelle mit 1 bis 4 Milliarden Parametern ja, die Antworten kommen dann aber merklich langsamer. Macs mit Apple-Chip nutzen den gemeinsamen Arbeitsspeicher als Grafikspeicher und sind deshalb im Vorteil.

Brauche ich Administratorrechte unter Windows?

Für Ollama nicht: Laut Hersteller-Doku installiert es sich ohne Administratorrechte ins Benutzerverzeichnis. Ob Ihre IT das Ausführen solcher Programme erlaubt, ist eine andere Frage und sollte vorher geklärt sein.

Darf ich LM Studio im Unternehmen nutzen?

Die Nutzungsbedingungen erlauben den Einsatz für interne Geschäftszwecke; einzelne Funktionen können kostenpflichtig sein. Für jedes Modell gilt zusätzlich dessen eigene Lizenz.

Quellen

  1. Ollama Docs: Windows docs.ollama.com
  2. Ollama Docs: macOS docs.ollama.com
  3. Ollama Docs: FAQ docs.ollama.com
  4. Ollama Docs: API /api/chat docs.ollama.com
  5. Ollama Releases (GitHub) github.com
  6. Ollama Library: gemma3 ollama.com
  7. Ollama Library: qwen3 ollama.com
  8. LM Studio Docs: System Requirements lmstudio.ai
  9. LM Studio Docs: Offline Operation lmstudio.ai
  10. LM Studio Docs: Download an LLM lmstudio.ai
  11. LM Studio App Terms of Service lmstudio.ai