LLM-Inferenz-Server: Ollama, vLLM, llama.cpp & Co. im Überblick
Wer Sprachmodelle im eigenen Haus betreiben will, landet schnell bei einer Schicht, über die selten gesprochen wird: dem Inferenz-Server. Er sitzt zwischen der Hardware und den Anwendungen, lädt das Modell, verwaltet Anfragen und spricht nach außen eine API. Dieser Überblick ordnet die verbreiteten Open-Source-Server ein, erklärt Modellformate und APIs und zeigt, wann welcher Server passt. Stand der Versionsangaben: 5. November 2026.
Was ist ein LLM-Inferenz-Server und wofür wird er eingesetzt?
Ein LLM-Inferenz-Server ist die Software, die ein Sprachmodell in den Speicher von GPU oder CPU lädt, eingehende Anfragen annimmt, die Textgenerierung ausführt und das Ergebnis über eine HTTP-Schnittstelle zurückgibt. Er macht aus einer Modelldatei einen Dienst, den Chat-Oberflächen, KI-Agenten und interne Werkzeuge gemeinsam nutzen.
Ohne diese Schicht müsste jede Anwendung das Modell selbst laden — bei Modellen mit mehreren Gigabyte Gewichten weder praktikabel noch wirtschaftlich. Der Server bündelt die teure Ressource GPU und verteilt sie auf viele Nutzer.
Typische Einsatzzwecke im Unternehmen:
- Interner Chat-Assistent: Eine Oberfläche wie Open WebUI greift auf den Server zu; Mitarbeitende chatten, ohne dass Daten das Haus verlassen.
- KI-Agenten und Automationen: Ein Agent, der Tickets vorsortiert oder Angebote vorbereitet, ruft das Modell programmatisch über die API auf.
- Embeddings für die Wissenssuche: Für eine interne Dokumentensuche (RAG) erzeugt der Server Vektoren aus Texten, sogenannte Embeddings.
- Entwicklung und Tests: Entwicklerinnen und Entwickler probieren Modelle lokal aus, bevor sie in den Betrieb gehen.
Die Frage, ob Sie lokal betreiben sollten, gehört in die Strategie zur souveränen KI und wird im Artikel Lokale KI im Unternehmen ausführlich behandelt. Dieser Artikel setzt eine Ebene tiefer an: Wenn lokal, mit welcher Serving-Software?
Wie funktioniert ein Inferenz-Server? Die Bausteine
Jeder Inferenz-Server besteht aus denselben vier Bausteinen: einem Modellformat, das er lesen kann, einer Rechen-Engine für die jeweilige Hardware, einem Scheduler, der parallele Anfragen verteilt, und einer API nach außen. Die Server unterscheiden sich vor allem darin, wie stark sie jeden Baustein auf Durchsatz oder auf Einfachheit auslegen.
Modellformate: GGUF und Safetensors
In der Praxis begegnen Ihnen zwei Formate. GGUF ist laut Spezifikation im ggml-Projekt „a file format for storing models for inference with GGML and executors based on GGML". Eine GGUF-Datei enthält Gewichte und Metadaten in einer einzigen Datei; das Format ist auf schnelles Laden ausgelegt. GGUF-Modelle liegen meist bereits quantisiert vor, also mit reduzierter Zahlengenauigkeit, damit sie in weniger Speicher passen.
Das zweite Format ist das Hugging-Face-Format: ein Verzeichnis mit Konfigurationsdateien, Tokenizer und Gewichten als Safetensors-Dateien. Damit arbeiten vor allem vLLM und SGLang. Ollama kann laut Import-Dokumentation beide Formate einlesen, quantisiert GGUF-Modelle beim Import aber nicht selbst.
Rechen-Engine und Speicherverwaltung
Den größten Teil des GPU-Speichers belegen neben den Gewichten die Zwischenergebnisse jeder laufenden Unterhaltung, der sogenannte KV-Cache. Wie geschickt ein Server diesen Speicher verwaltet, entscheidet darüber, wie viele Anfragen gleichzeitig laufen können. vLLM nennt dafür im README sein Verfahren PagedAttention sowie Prefix Caching, also die Wiederverwendung gleicher Prompt-Anfänge.
Scheduler: Continuous Batching
Moderne Server warten nicht, bis eine Anfrage fertig ist, sondern fügen neue Anfragen laufend in die Berechnung ein. Dieses Continuous Batching führen sowohl vLLM als auch der llama.cpp-Server (llama-server-README) ausdrücklich als Funktion. Bei Ollama steuert die Umgebungsvariable OLLAMA_NUM_PARALLEL, wie viele Anfragen ein Modell gleichzeitig bearbeitet — laut FAQ ist der Standardwert 1.
Die API: OpenAI-kompatibel als gemeinsamer Nenner
Fast alle Server bieten Endpunkte, die sich wie die OpenAI-API verhalten, allen voran /v1/chat/completions. Das ist der wichtigste praktische Punkt dieser Schicht: Anwendungen, Agenten-Frameworks und Oberflächen sprechen ein gemeinsames Protokoll, und der Server dahinter lässt sich austauschen.
# Dieselbe Anfrage funktioniert gegen Ollama, vLLM, llama-server oder SGLang –
# nur Basis-URL und Modellname ändern sich
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $LLM_API_KEY" \
-d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "Fasse diese Reklamation in drei Sätzen zusammen: ..."}]
}'
Kompatibel heißt allerdings nicht identisch. Ollama unterstützt laut Dokumentation zur OpenAI-Kompatibilität etwa /v1/responses nur zustandslos. vLLM verlangt für den Chat-Endpunkt ein Chat-Template; fehlt es im Tokenizer, müssen Sie laut vLLM-Dokumentation selbst eines angeben.
Welche Inferenz-Server gibt es und wofür eignen sie sich?
Für den Unternehmenseinsatz sind derzeit vier Open-Source-Server relevant: Ollama und llama.cpp für einfache Installationen und gemischte Hardware, vLLM und SGLang für hohen Durchsatz auf Rechenzentrums-GPUs. Text Generation Inference von Hugging Face ist im Wartungsmodus. Die Tabelle fasst die Unterschiede zusammen, Details folgen darunter.
| Server | Version (Stand 05.11.2026) | Lizenz | Modellformat | Stärke |
|---|---|---|---|---|
| Ollama | v0.40.14 | MIT | GGUF, Safetensors-Import | einfache Bedienung, Modellverwaltung |
| llama.cpp (llama-server) | Build b12124 | MIT | GGUF | schlank, läuft auf CPU und vielen GPUs |
| vLLM | v0.32.0 (v0.33 als Release Candidate) | Apache-2.0 | Hugging Face, GGUF u. a. | Durchsatz, Multi-GPU |
| SGLang | v0.5.23 | Apache-2.0 | Hugging Face | Durchsatz, breite Hardwareliste |
Versionen aus den GitHub-Releases der Projekte (Ollama, llama.cpp, vLLM). Alle vier Projekte veröffentlichen in kurzen Abständen; prüfen Sie den aktuellen Stand vor der Installation.
Ollama: Einstieg und kleine Teams
Ollama verpackt die Modellausführung in ein Werkzeug mit eigener Modellverwaltung: ollama pull lädt ein Modell, ollama run startet es, eigene Modelle entstehen über eine Modelfile-Datei. Der Server bindet laut FAQ standardmäßig an 127.0.0.1, Port 11434, und lädt nicht genutzte Modelle nach fünf Minuten aus dem Speicher. Mehrere Modelle können parallel geladen sein, solange der Speicher reicht.
Neben der eigenen API unter /api/ bietet Ollama OpenAI-kompatible Endpunkte für Chat, Completions, Modelle, Embeddings und Audio. Ein wichtiger Punkt für den Betrieb: Den API-Schlüssel, den OpenAI-Clients mitschicken, ignoriert der lokale Ollama-Server laut Dokumentation. Zugriffsschutz müssen Sie also selbst davorsetzen, etwa mit einem Reverse Proxy. Wie das konkret aussieht, beschreibt der geplante Tutorial-Artikel zu Ollama im Unternehmen.
llama.cpp: der schlanke Unterbau
llama.cpp ist eine C/C++-Bibliothek mit einem mitgelieferten HTTP-Server, llama-server. Laut README bietet er OpenAI-kompatible Routen für Chat Completions, Responses und Embeddings, dazu Reranking, paralleles Decoding für mehrere Nutzer, Continuous Batching und JSON-Ausgaben nach Schema.
# llama-server mit GGUF-Modell, alle Schichten auf die GPU, 4 parallele Slots
llama-server -m ./modelle/qwen3-8b-q4_k_m.gguf \
--host 127.0.0.1 --port 8080 \
-ngl all -np 4 --api-key "$LLM_API_KEY"
Anders als Ollama prüft llama-server mit --api-key selbst einen Schlüssel. Dafür fehlt die komfortable Modellverwaltung: Sie laden GGUF-Dateien selbst herunter und starten pro Modell einen Prozess. llama.cpp passt, wenn Sie volle Kontrolle über Parameter wollen oder auf gemischter Hardware arbeiten, etwa auf CPU-Servern ohne GPU oder mit nur teilweise auf die GPU ausgelagerten Schichten (-ngl).
vLLM: Durchsatz für viele Nutzer
vLLM ist auf hohen Durchsatz bei vielen gleichzeitigen Anfragen ausgelegt. Das README nennt PagedAttention, Continuous Batching, Prefix Caching, spekulatives Decoding, Quantisierung in zahlreichen Formaten (darunter FP8, AWQ, GPTQ und GGUF) sowie Tensor- und Pipeline-Parallelität über mehrere GPUs. Neben NVIDIA-GPUs werden AMD- und Intel-GPUs sowie CPUs unterstützt.
# vLLM mit Modell aus dem Hugging-Face-Format, Schlüssel aus Umgebungsvariable
vllm serve Qwen/Qwen3-8B --api-key "$LLM_API_KEY"
Der OpenAI-kompatible Server von vLLM deckt laut Dokumentation Completions, Chat Completions, Responses, Embeddings und Audio-Transkription ab. Beim Schlüssel ist Vorsicht geboten: --api-key schützt nur Endpunkte unter /v1, /v2 und /inference; die Dokumentation warnt ausdrücklich, sich nicht allein darauf zu verlassen. Wie sich vLLM im Alltag gegenüber Ollama verhält, behandelt der geplante Vergleich „Ollama vs. vLLM".
SGLang: Alternative mit breiter Hardwarebasis
SGLang ist wie vLLM ein Serving-Framework für hohen Durchsatz. Die Quickstart-Anleitung startet den Server mit sglang serve und spricht ihn über /v1/chat/completions an. Das README listet NVIDIA-Rechenzentrums-GPUs von A100 bis GB300, aber auch DGX Spark und Jetson Orin, außerdem AMD Instinct, Google TPU, Intel und Apple Silicon.
SGLang lohnt sich als Gegenprobe zu vLLM: Bei einzelnen Modellen und Lastprofilen kann der eine oder der andere Server die Nase vorn haben. Pauschale Aussagen dazu sind wenig belastbar; messen Sie mit Ihrem eigenen Modell und Ihren typischen Anfragen.
Text Generation Inference: nur noch Bestand
Text Generation Inference (TGI) von Hugging Face war lange eine verbreitete Wahl. Laut README ist das Projekt nun im Wartungsmodus und nimmt nur noch kleine Korrekturen an; empfohlen werden vLLM, SGLang sowie llama.cpp oder MLX. Das letzte Release v3.3.7 stammt vom Dezember 2025. Für neue Installationen sollten Sie TGI nicht mehr einplanen.
Und die Oberfläche?
Ein Inferenz-Server hat in der Regel keine Nutzerverwaltung im Sinne eines Unternehmens. Dafür kommt eine Oberfläche wie Open WebUI hinzu, die sich laut README direkt mit Ollama oder über OpenAI-kompatible APIs mit lokalen und Cloud-Modellen verbindet. Sie ist eine eigene Schicht und kein Ersatz für den Server; wie Anmeldung und Rechte dort eingerichtet werden, behandelt ein eigener Artikel in Vorbereitung.
Welche Voraussetzungen brauchen Sie?
Sie brauchen drei Dinge: Hardware mit genug GPU-Speicher für Modell und parallele Anfragen, eine klare Vorstellung von Lastprofil und Nutzerzahl sowie jemanden im Betrieb, der Linux-Server, Container und Netzwerk sicher beherrscht. Fehlt einer der drei Punkte, scheitert das Projekt selten am Modell, sondern am Betrieb.
Hardware. Der Speicherbedarf ergibt sich aus Modellgröße, Quantisierung und Kontextlänge mal Anzahl paralleler Anfragen. Ein kleines, quantisiertes Modell läuft auf einer Workstation-GPU; große Modelle für viele Nutzer brauchen Rechenzentrums-GPUs oder mehrere Karten mit Tensor-Parallelität. Rechnen Sie den KV-Cache mit ein, wie im Artikel zur Auslegung von GPU-Servern für lokale LLMs beschrieben: Lange Kontexte und viele gleichzeitige Nutzer belegen schnell mehr Speicher als die Gewichte selbst.
Lastprofil. Klären Sie vorab: Wie viele Personen nutzen das System gleichzeitig? Sind es kurze Chatfragen oder lange Dokumente? Laufen nachts Stapelverarbeitungen? Diese Antworten entscheiden mehr über die Serverwahl als jede Funktionsliste.
Organisation. Jemand muss Updates einspielen, Modelle freigeben, Zugriffe verwalten und Ausfälle bemerken. Die Projekte veröffentlichen teils mehrmals im Monat neue Versionen. Wer das nicht einplant, betreibt nach einem Jahr eine veraltete, ungepatchte Installation. Wie Updates, Monitoring und Verantwortung dauerhaft geregelt werden, behandelt der Artikel Lokale KI dauerhaft betreiben.
Daten und Recht. Lokaler Betrieb hält Daten im Haus, macht eine Installation aber nicht automatisch datenschutzkonform betreibbar — Protokollierung, Löschfristen und Zugriffsrechte müssen Sie trotzdem regeln. Prüfen Sie außerdem die Lizenz des Modells selbst: Sie ist unabhängig von der Lizenz des Servers. Dieser Hinweis ersetzt keine Rechtsberatung.
Wie gehen Sie bei der Auswahl Schritt für Schritt vor?
Gehen Sie vom Anwendungsfall zur Software, nicht umgekehrt: erst Nutzung und Last beschreiben, dann Modell wählen, dann den Server, der dieses Modell auf Ihrer Hardware am besten bedient. Ein kurzer Lasttest mit echten Anfragen entscheidet am Ende zuverlässiger als jede Tabelle.
- Anwendungsfall festlegen. Chat für alle, ein bestimmter Agent oder Embeddings für die Suche? Jeder Fall hat andere Anforderungen an Latenz und Parallelität.
- Modell auswählen. Wählen Sie ein Modell, dessen Lizenz die gewerbliche Nutzung erlaubt und das in Ihrer Sprache gut funktioniert. Prüfen Sie, in welchem Format es verfügbar ist.
- Server vorauswählen. Ein Team mit wenigen Nutzern und einer GPU startet sinnvoll mit Ollama oder llama.cpp. Viele gleichzeitige Nutzer, mehrere GPUs oder große Modelle sprechen für vLLM oder SGLang.
- Prototyp aufsetzen. Server installieren, nur lokal binden, eine Anwendung über die OpenAI-kompatible API anschließen.
- Lasttest fahren. Mit realistischen Prompts und der erwarteten Zahl gleichzeitiger Nutzer messen: Zeit bis zum ersten Token, Tokens pro Sekunde, Speicherauslastung.
- Absichern. Reverse Proxy mit TLS und Authentifizierung vorschalten, Netzwerkzugriff einschränken, Protokollierung festlegen.
- Betrieb übergeben. Update-Rhythmus, Monitoring, Freigabeprozess für neue Modelle und Verantwortliche festlegen.
Weil alle Server eine ähnliche API sprechen, ist ein späterer Wechsel überschaubar. Ein naheliegender Weg ist deshalb, mit Ollama einen Prototyp zu bauen und für den Produktivbetrieb auf vLLM oder SGLang zu wechseln, sobald die Nutzerzahl steigt. Das gelingt umso leichter, je weniger die Anwendungen auf serverspezifische Sonderfunktionen setzen.
Welche Grenzen und Risiken gibt es?
Die größten Risiken liegen nicht in der Modellqualität, sondern im Betrieb: offene Ports ohne Authentifizierung, unterschätzter Speicherbedarf, Kompatibilitätslücken der API und schnelle Versionswechsel. Dazu kommt, dass lokale Modelle bei schwierigen Aufgaben hinter großen Cloud-Modellen zurückbleiben können.
Offene Server. Ollama ignoriert API-Schlüssel, und der Schlüssel bei vLLM schützt nicht alle Endpunkte. Wer einen Server mit 0.0.0.0 an das Netz bindet, ohne einen Proxy mit Authentifizierung davorzusetzen, stellt das Modell — und je nach Endpunkt auch Verwaltungsfunktionen — jedem im Netz zur Verfügung.
Speicher und Stabilität. Ein Server, der im Test mit einem Nutzer gut läuft, kann unter Last Anfragen abweisen oder stark langsamer werden, wenn der KV-Cache vollläuft. Das nutzbare Kontextfenster und die Zahl paralleler Anfragen müssen zur Hardware passen.
API-Unterschiede. „OpenAI-kompatibel" deckt die Kernfunktionen ab, nicht jede Option. Tool Use, strukturierte Ausgaben, Streaming-Details oder die Responses-API verhalten sich je nach Server unterschiedlich. Testen Sie genau die Funktionen, die Ihre Anwendung nutzt.
Wartung. Die Projekte entwickeln sich schnell; Konfigurationsoptionen ändern sich zwischen Versionen. Pinnen Sie Versionen, testen Sie Updates vor dem Einspielen und lesen Sie die Release Notes.
Wann lokal nicht passt. Brauchen Sie die Fähigkeiten der größten Modelle, haben Sie nur gelegentlich Last oder fehlt Personal für den Betrieb, kann eine Cloud-API mit passendem Vertrag die bessere Wahl sein. Auch Mischformen sind möglich: sensible Daten lokal, der Rest über einen externen Anbieter — mehr dazu unter hybride KI aus lokalen Modellen und Cloud.
Wie fangen Sie an?
Starten Sie klein und messbar: ein Modell, ein Server, ein Anwendungsfall, nur intern erreichbar. In unserem eigenen Betrieb hat sich bewährt, zuerst die API-Schicht festzulegen und Anwendungen nur gegen den OpenAI-kompatiblen Endpunkt zu bauen, damit der Server darunter austauschbar bleibt.
Ein pragmatischer erster Schritt für Teams mit einer GPU-Workstation:
# Ollama installieren (Linux), Modell laden, Funktion prüfen
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:8b
curl http://127.0.0.1:11434/v1/models
Danach schließen Sie eine erste Anwendung an, etwa eine interne Wissenssuche, wie sie im Bereich Wissensmanagement mit KI-Agenten beschrieben ist. Steigt die Zahl der Nutzer, folgt der Lasttest mit vLLM oder SGLang auf derselben Hardware.
Für die übergeordneten Fragen — welche Daten lokal bleiben müssen, wie die Infrastruktur dimensioniert wird und wer den Betrieb verantwortet — lohnt ein Blick auf den Bereich souveräne KI. Wenn Sie den Aufbau intern verankern wollen, beschreibt die Seite zum KI-Aufbau, wie Verantwortung und Kompetenz im Unternehmen entstehen. Weitere Begriffe rund um den Eigenbetrieb, etwa On-Premise-LLM, finden Sie im Lexikon.
Häufige Fragen
Brauche ich für lokale Modelle zwingend eine GPU?
Nein, llama.cpp und Ollama laufen auch auf CPUs, dann aber deutlich langsamer. Für mehrere gleichzeitige Nutzer oder große Modelle ist eine GPU mit ausreichend Speicher praktisch Voraussetzung.
Kann ich bestehenden Code für die OpenAI-API weiterverwenden?
Meist ja. Ollama, vLLM, llama.cpp und SGLang bieten Endpunkte wie /v1/chat/completions an, sodass oft nur Basis-URL, Modellname und Schlüssel geändert werden müssen. Sonderfunktionen einzelner Anbieter sollten Sie trotzdem einzeln testen.
Ist Text Generation Inference von Hugging Face noch eine Option?
Für neue Projekte eher nicht: Das Projekt steht laut eigenem README im Wartungsmodus und empfiehlt vLLM, SGLang, llama.cpp oder MLX. Bestehende Installationen laufen weiter, bekommen aber nur noch kleine Korrekturen.
Welches Modellformat brauche ich?
Das hängt vom Server ab: llama.cpp und Ollama arbeiten mit GGUF-Dateien, vLLM und SGLang laden typischerweise Modelle im Hugging-Face-Format mit Safetensors-Gewichten. vLLM kann laut README zusätzlich GGUF lesen.
Quellen
- Ollama Docs: OpenAI compatibility docs.ollama.com
- Ollama Docs: FAQ docs.ollama.com
- Ollama Docs: Importing a model docs.ollama.com
- Ollama Releases (GitHub) github.com
- vLLM Docs: OpenAI-Compatible Server docs.vllm.ai
- vLLM README (GitHub) github.com
- vLLM Releases (GitHub) github.com
- llama.cpp: llama-server README github.com
- llama.cpp Releases (GitHub) github.com
- GGUF-Spezifikation (ggml) github.com
- SGLang Docs: Quickstart docs.sglang.io
- SGLang README (GitHub) github.com
- Text Generation Inference README (GitHub) github.com
- Open WebUI README (GitHub) github.com