Open-Weight-Modelle im Vergleich: Welches LLM für den Eigenbetrieb?
Wer ein Sprachmodell im eigenen Rechenzentrum betreiben will, steht vor Dutzenden Modellfamilien, die alle paar Monate in neuer Version erscheinen. Ranglisten helfen dabei wenig: Sie messen Durchschnittswerte auf öffentlichen Tests, nicht Ihre Angebote, Tickets oder Prüfberichte. Dieser Überblick ordnet Open-Weight-Modelle deshalb nach zwei Fragen, die im Unternehmen tatsächlich entscheiden: Welche Aufgabe soll das Modell lösen, und auf welcher Hardware läuft es? Alle Angaben haben Stand November 2026 und stammen aus den Model Cards der Hersteller.
Was sind Open-Weight-Modelle und wofür setzen Unternehmen sie ein?
Open-Weight-Modelle sind Sprachmodelle, deren trainierte Gewichte Sie herunterladen und auf eigener Hardware betreiben dürfen. Unternehmen nutzen sie, wenn Daten das Haus nicht verlassen sollen, wenn Kosten pro Anfrage planbar sein müssen oder wenn ein Modell dauerhaft in derselben Version verfügbar bleiben soll.
Der Begriff grenzt sich bewusst von „Open Source" ab. Offen sind die Gewichte, also das Ergebnis des Trainings. Trainingsdaten und Trainingscode veröffentlichen die meisten Hersteller nicht. Dazu kommt die Lizenz: Manche Modelle stehen unter Apache 2.0 oder MIT, andere unter eigenen Herstellerlizenzen mit zusätzlichen Bedingungen.
Typische Einsatzzwecke im Unternehmen:
- Interner Assistent: Fragen zu Handbüchern, Richtlinien und Produktdaten beantworten, ohne dass Texte an einen Cloud-Anbieter gehen.
- Dokumentenverarbeitung: Lieferscheine, Prüfberichte oder Bestellungen auslesen und in strukturierte Felder überführen.
- KI-Agenten: Ein Modell ruft Werkzeuge auf, etwa eine Artikelsuche im ERP oder eine Ticketanlage, und arbeitet mehrstufige Abläufe ab.
- Code-Unterstützung: Entwicklungsteams nutzen ein lokales Modell, damit Quellcode nicht an externe Dienste übertragen wird.
Wann sich der Eigenbetrieb gegenüber einer Cloud-API lohnt, ist eine eigene Abwägung aus Datenschutz, Auslastung und Betriebsaufwand. Die Grundlagen dazu beschreibt die Seite zu souveräner KI im eigenen Betrieb.
Wie funktioniert die Auswahl nach Aufgabe und Hardware?
Die Auswahl folgt drei Bausteinen: Aufgabe, Hardwareklasse und Lizenz. Die Aufgabe bestimmt, welche Fähigkeiten nötig sind, etwa Bildeingabe oder zuverlässige Werkzeugaufrufe. Die Hardware begrenzt die Modellgröße. Die Lizenz entscheidet, ob ein technisch passendes Modell im Unternehmen überhaupt eingesetzt werden darf.
Baustein 1: Modellgröße und Architektur
Zwei Bauarten sind 2026 verbreitet. Dichte Modelle nutzen bei jeder Anfrage alle Parameter, etwa Qwen3.8-27B mit 27 Milliarden Parametern laut Model Card von Qwen3.8-27B. Mixture-of-Experts-Modelle (MoE) haben viele Parameter, aktivieren pro Token aber nur einen Teil. Mistral Small 4 hat laut Model Card von Mistral Small 4 119 Milliarden Parameter, von denen 6,5 Milliarden pro Token aktiv sind.
Für die Praxis heißt das: Ein MoE-Modell antwortet oft so schnell wie ein kleines Modell, braucht aber Speicher für alle Parameter. Die Gesamtgröße bestimmt den Grafikspeicher, die aktiven Parameter eher die Geschwindigkeit.
Baustein 2: Speicherbedarf grob abschätzen
Als Faustregel braucht jeder Parameter in 16-Bit-Genauigkeit zwei Byte. Ein dichtes 27-Milliarden-Modell belegt damit rechnerisch rund 54 GB nur für die Gewichte. Mit 4-Bit-Quantisierung sinkt dieser Anteil auf etwa ein Viertel. Hinzu kommt Speicher für den Kontext (KV-Cache), der mit Kontextlänge und gleichzeitigen Nutzern wächst. Welche GPU- und Serverausstattung sich daraus ergibt, beschreibt der Überblick zu Hardware für lokale LLMs; dort geht es um die Dimensionierung der Maschine, hier um die Wahl des Modells.
Baustein 3: Lizenz
Apache 2.0 und MIT erlauben die kommerzielle Nutzung mit wenigen Pflichten. Eigene Herstellerlizenzen können zusätzliche Bedingungen enthalten. Ein Beispiel: Die Llama 4 Community License verlangt laut Model Card von Llama 4 Scout eine gesonderte Lizenz von Meta, wenn ein Anbieter zum Stichtag mehr als 700 Millionen monatlich aktive Nutzer hat. Für die meisten mittelständischen Unternehmen ist das irrelevant, zeigt aber, dass jede Lizenz gelesen werden muss.
Welche Modelle passen zu welcher Aufgabe?
Für jede typische Aufgabe gibt es 2026 mehrere geeignete Kandidaten. Entscheidend sind dabei weniger Ranglistenplätze als konkrete Fähigkeiten: Kontextlänge für Dokumente, eingebaute Werkzeugaufrufe für Agenten, Bildeingabe für Formulare. Die folgende Übersicht nennt je Aufgabe Kandidaten, deren Fähigkeiten in den Model Cards dokumentiert sind.
| Modell | Bauart | Kontext | Eingabe | Lizenz |
|---|---|---|---|---|
| Qwen3.8-27B | dicht, 27 Mrd. | 262.144 Token | Text, Bild, Video | Apache 2.0 |
| Gemma 4 31B | dicht, 31 Mrd. | 256K Token | Text, Bild | Apache 2.0 |
| Mistral Small 4 | MoE, 119 Mrd. / 6,5 Mrd. aktiv | 256K Token | Text, Bild | Apache 2.0 |
| gpt-oss-20b / -120b | MoE, 21 bzw. 117 Mrd. | keine Angabe in der Model Card | Text | Apache 2.0 |
| DeepSeek-V4-Flash | MoE, 284 Mrd. / 13 Mrd. aktiv | 1 Mio. Token | Text | MIT |
Angaben laut den Model Cards von Qwen3.8-27B, Gemma 4, Mistral Small 4, gpt-oss-120b und DeepSeek-V4-Flash, Stand November 2026.
Chat und interne Assistenz
Für einen internen Assistenten zählen sauberes Deutsch, verlässliches Befolgen von Anweisungen und vertretbare Antwortzeiten. Gemma 4 ist laut Model Card auf über 140 Sprachen vortrainiert, Mistral Small 4 nennt Deutsch ausdrücklich unter den unterstützten Sprachen. Wie gut einzelne Modelle Deutsch schreiben, sollten Sie trotzdem an eigenen Texten prüfen; Sprachlisten sagen wenig über Stil und Fachbegriffe.
RAG: Antworten aus eigenen Dokumenten
Bei Retrieval-Augmented Generation (RAG) sucht ein System passende Textstellen und gibt sie dem Modell als Kontext mit. Wichtig sind hier ein ausreichend langes Kontextfenster und Disziplin, nur aus dem gelieferten Material zu antworten. Qwen3.8-27B bietet laut Model Card nativ 262.144 Token, Gemma 4 in den mittleren Größen 256K. Das Suchmodell (Embedding-Modell) ist ein separates, deutlich kleineres Modell und wird unabhängig gewählt.
KI-Agenten und Werkzeugaufrufe
Agenten brauchen ein Modell, das Funktionen mit festem Schema zuverlässig aufruft (Tool Use bzw. Function Calling) und strukturierte Ausgaben liefert. gpt-oss bringt laut Model Card Funktionsaufrufe und strukturierte Ausgaben nativ mit, muss aber im sogenannten Harmony-Format angesprochen werden. Mistral Small 4 nennt native Funktionsaufrufe und JSON-Ausgabe, Gemma 4 native strukturierte Werkzeugnutzung. Wie solche Agenten in Fachprozessen aussehen, zeigt die Übersicht zu KI-Agenten für Angebot, Service und Vertrieb.
Code
Für Code-Unterstützung zählen langer Kontext, weil ganze Dateien und Repositories hineinpassen müssen, und die Fähigkeit, in Entwicklungswerkzeugen schrittweise zu arbeiten. Die Model Card von Qwen3.8-27B hebt ausdrücklich bessere autonome Planung und die Kompatibilität mit Agenten-Umgebungen und Entwicklungswerkzeugen hervor. Prüfen Sie Code-Modelle immer an Aufgaben aus Ihrer eigenen Codebasis.
Bilder, Formulare, Video
Wenn Lieferscheine, Typenschilder oder Fotos von Schäden verarbeitet werden sollen, braucht das Modell Bildeingabe. Qwen3.8-27B verarbeitet laut Model Card Bilder und Videos, Mistral Small 4 und Gemma 4 Bilder. Die kleineren Gemma-4-Größen E2B, E4B und 12B nehmen laut Google zusätzlich Audio an.
Welche Hardwareklasse brauchen Sie für welches Modell?
Die Hardwareklasse grenzt die Auswahl stärker ein als jede Rangliste. Grob lassen sich drei Klassen unterscheiden: eine Workstation-GPU für Pilotprojekte, eine einzelne Rechenzentrums-GPU für Abteilungen und Server mit mehreren GPUs für große MoE-Modelle oder viele gleichzeitige Nutzer.
Klasse 1: Workstation-GPU
Hier laufen kleinere oder quantisierte Modelle. gpt-oss-20b läuft laut Model Card dank MXFP4-Quantisierung mit 16 GB Speicher und ist für lokale Anwendungsfälle mit geringer Latenz gedacht. Auch quantisierte Varianten von Qwen3.8-27B oder Gemma 4 26B A4B kommen hier in Frage. Diese Klasse eignet sich für Tests mit echten Daten und für einzelne Fachanwender.
Klasse 2: Eine Rechenzentrums-GPU mit 80 GB
gpt-oss-120b passt laut Model Card auf eine einzelne 80-GB-GPU wie NVIDIA H100 oder AMD MI300X. Dichte Modelle um 27 bis 31 Milliarden Parameter laufen hier in 8-Bit-Genauigkeit mit Reserve für Kontext und mehrere Nutzer. Für viele Abteilungsanwendungen ist das der wirtschaftliche Mittelpunkt.
Klasse 3: Server mit mehreren GPUs
Große MoE-Modelle verlangen mehrere GPUs. Das Startbeispiel für Mistral Small 4 in der Model Card verteilt das Modell per vLLM auf zwei GPUs. DeepSeek-V4-Flash hat 284 Milliarden Parameter in FP4/FP8-Mischgenauigkeit und gehört klar in diese Klasse. Lohnend ist das, wenn viele Nutzer gleichzeitig arbeiten oder eine Aufgabe nachweislich nur mit einem großen Modell gelingt.
Welche Voraussetzungen müssen Daten, Systeme und Organisation erfüllen?
Ein lokales Modell ist nur so nützlich wie sein Umfeld. Sie brauchen eine Testsammlung mit echten Aufgaben, eine Serving-Software für den Betrieb, Schnittstellen zu den Fachsystemen und jemanden, der Modellwechsel, Updates und Überwachung verantwortet. Fehlt einer dieser Punkte, scheitern Projekte selten am Modell, sondern am Betrieb.
- Testsammlung (Evals): 30 bis 100 echte Aufgaben mit erwarteter Antwort, zum Beispiel typische Kundenanfragen, Auszüge aus Prüfberichten oder Code-Aufgaben. Sie ist die Grundlage jeder Modellentscheidung.
- Serving-Software: Für den Produktivbetrieb nennt die Qwen-Model-Card SGLang und vLLM; für Einzelplätze ist Ollama verbreitet, das auch die gpt-oss-Model-Card als lokalen Weg aufführt. Die Unterschiede der Server vergleicht der Überblick zu Inferenz-Servern.
- Schnittstellen: Agenten brauchen Zugriff auf ERP, CRM, Ticketsystem oder Dokumentenablage, mit Rechten pro Rolle.
- Betrieb und Verantwortung: Wer spielt Updates ein, wer überwacht Auslastung und Fehlerraten, wer entscheidet über einen Modellwechsel?
- Datenschutz: Ein lokal betriebenes Modell ist datenschutzkonform betreibbar, wenn Protokollierung, Zugriffsrechte und Löschfristen sauber geregelt sind. Der Betrieb im eigenen Haus allein klärt diese Fragen nicht.
Wie gehen Sie bei der Modellauswahl Schritt für Schritt vor?
Bewährt hat sich ein Vorgehen in sechs Schritten: Aufgabe festlegen, Testsammlung bauen, Hardwareklasse bestimmen, zwei bis vier Kandidaten auswählen, alle gegen dieselbe Testsammlung prüfen und das Ergebnis im Betrieb beobachten. So entsteht eine Entscheidung, die Sie auch beim nächsten Modellwechsel wiederholen können.
- Aufgabe präzise beschreiben. Nicht „ein Chatbot", sondern zum Beispiel „Antworten auf technische Rückfragen aus Wartungshandbüchern, mit Quellenangabe".
- Testsammlung bauen. Echte Fälle, inklusive schwieriger und mehrdeutiger. Legen Sie fest, was eine richtige Antwort ist.
- Hardwareklasse festlegen. Was ist vorhanden, was ist budgetiert? Daraus folgt die maximale Modellgröße.
- Kandidaten auswählen. Zwei bis vier Modelle, die Aufgabe, Hardware und Lizenz erfüllen. Ein dichtes und ein MoE-Modell im Vergleich sind oft aufschlussreich.
- Gleich prüfen. Gleiche Prompts, gleiche Quantisierung, gleiche Serving-Software. Messen Sie Trefferquote, Antwortzeit und Speicherbedarf.
- Im Betrieb beobachten. Nach dem Start Fehlerfälle sammeln und die Testsammlung erweitern. In unserem eigenen Betrieb hat sich gezeigt, dass gerade diese gesammelten Fehlerfälle beim nächsten Modellwechsel den größten Wert haben.
Wer diesen Ablauf mit eigenem Team aufbauen will, findet Hinweise zur Organisation auf der Seite KI-Aufbau im Unternehmen.
Wo liegen Grenzen und Risiken offener Modelle?
Open-Weight-Modelle sind keine kostenlose Abkürzung. Sie verlagern Aufwand von der Cloud-Rechnung in Hardware, Betrieb und Prüfung. Dazu kommen fachliche Risiken: Halluzinationen, Lücken bei Fachsprache und kurze Versionszyklen, die eine einmal getroffene Wahl schnell altern lassen.
- Leistungsabstand: Für sehr anspruchsvolle Aufgaben können große Cloud-Modelle besser abschneiden. Ob das für Ihre Aufgabe gilt, zeigt nur die eigene Testsammlung.
- Ranglisten-Falle: Öffentliche Benchmarks und Herstellerangaben messen nicht Ihre Prozesse. Ein Modell, das in einer Rangliste vorne liegt, kann bei Ihren Formularen schwächer sein.
- Formate und Eigenheiten: gpt-oss funktioniert laut Model Card nur im Harmony-Format korrekt. Andere Modelle haben eigene Parser für Werkzeugaufrufe. Solche Details kosten in der Integration Zeit.
- Denkmodus und Antwortzeit: Viele aktuelle Modelle denken vor der Antwort. Qwen3.8-27B hat diesen Modus laut Model Card standardmäßig aktiv; er lässt sich pro Anfrage abschalten. Für schnelle Chat-Antworten sollten Sie das testen.
- Lizenzänderungen: Lizenzen ändern sich zwischen Modellgenerationen. Prüfen Sie bei jedem Update die Lizenz der konkreten Version erneut.
- Kurze Halbwertszeit: Alle paar Monate erscheinen neue Versionen. Planen Sie den Modellwechsel als Routine, nicht als Projekt.
Rechtliche Fragen zu Lizenzen und Datenschutz sind hier nur als Orientierung beschrieben; für verbindliche Aussagen brauchen Sie eine Rechtsberatung.
Wie fangen Sie konkret an?
Starten Sie klein und messbar: eine Aufgabe, eine Testsammlung, eine Workstation-GPU, zwei Modelle. Nach zwei bis vier Wochen wissen Sie, ob die Qualität reicht und welche Hardwareklasse der Produktivbetrieb braucht. Erst dann lohnt die Investition in Server-Hardware.
Ein pragmatischer Einstieg Stand November 2026:
- Kandidat A, dicht: Qwen3.8-27B oder Gemma 4 31B, quantisiert auf einer Workstation-GPU.
- Kandidat B, MoE: gpt-oss-20b für Agenten- und Werkzeugtests auf derselben Maschine.
- Serving: Ollama für den ersten Test, vLLM oder SGLang, sobald mehrere Nutzer zugreifen.
- Messung: Trefferquote auf der Testsammlung, Antwortzeit, Speicherbedarf bei realistischer Kontextlänge.
Vertiefungen zu VRAM-Berechnung, Lizenzen, deutscher Sprachqualität und Werkzeugaufrufen erscheinen als eigene Artikel in diesem Themenbereich und werden hier automatisch aufgelistet. Begriffe wie Quantisierung, MoE oder KV-Cache erklärt das KI-Lexikon. Einen Überblick über alle Themen bietet der Wissensbereich.
Häufige Fragen
Was ist der Unterschied zwischen Open Weight und Open Source?
Open Weight heißt, dass die trainierten Gewichte herunterladbar sind. Trainingsdaten und Trainingscode sind meist nicht offen, und die Lizenz kann Bedingungen enthalten.
Brauche ich für ein lokales LLM zwingend eine Grafikkarte?
Für den produktiven Betrieb mit mehreren Nutzern praktisch ja. Auf CPU laufen kleine, quantisierte Modelle zwar, aber für Tests, nicht für eine Abteilung.
Wie oft sollte ich das Modell wechseln?
Nur, wenn ein neues Modell Ihre eigene Testsammlung messbar besser löst. Neue Versionen erscheinen alle paar Monate; ein fester Prüfrhythmus pro Quartal reicht in der Regel.
Darf ich Open-Weight-Modelle kommerziell nutzen?
Bei Apache 2.0 und MIT grundsätzlich ja, bei eigenen Herstellerlizenzen gelten zusätzliche Bedingungen. Prüfen Sie die Lizenz jedes Modells; dieser Artikel ist keine Rechtsberatung.
Quellen
- Qwen3.8-27B – Model Card (Hugging Face) huggingface.co
- Gemma 4 – Model Card (Google AI for Developers) ai.google.dev
- Mistral Small 4 119B – Model Card (Hugging Face) huggingface.co
- gpt-oss-120b – Model Card (Hugging Face) huggingface.co
- gpt-oss-20b – Model Card (Hugging Face) huggingface.co
- DeepSeek-V4-Flash – Model Card (Hugging Face) huggingface.co
- Llama 4 Scout – Model Card und Lizenz (Hugging Face) huggingface.co