Lokale KI dauerhaft betreiben: Updates, Monitoring, Verantwortung
Ein On-Premise-LLM im Pilotprojekt zum Laufen zu bringen, dauert oft nur wenige Tage. Die eigentliche Arbeit beginnt danach: Treiber veralten, neue Modellversionen erscheinen, Anwender bauen Abläufe auf die Antworten, und irgendwann fällt der Server an einem Montagmorgen aus. Dieser Überblick beschreibt, was der laufende Betrieb umfasst, wer dafür zuständig sein sollte und wie Sie ihn planen, bevor das System produktiv geht.
Was gehört zum Betrieb lokaler KI?
Der Betrieb umfasst alles, was nach dem Go-live passiert: die Plattform aktuell halten, Modelle kontrolliert wechseln, Technik und Antwortqualität überwachen, Störungen beheben und Verantwortlichkeiten festlegen. Pilotprojekte klammern genau diese Punkte meist aus, weil sie erst nach Wochen oder Monaten sichtbar werden.
Ein lokaler KI-Dienst besteht aus mehr Schichten als ein klassischer Applikationsserver, und jede Schicht hat ihren eigenen Änderungsrhythmus:
- Hardware und Betriebssystem: GPU-Server, Firmware, Linux-Distribution. Wie Sie die Server vorab dimensionieren, beschreibt der Überblick zur Hardware für lokale LLMs; hier geht es um den Betrieb danach. Ändert sich selten, aber Ausfälle wiegen schwer.
- GPU-Treiber und Laufzeit: NVIDIA-Treiber, CUDA, Container-Runtime. Neue Versionen kommen regelmäßig und hängen voneinander ab.
- Inferenz-Software: zum Beispiel vLLM, Ollama oder llama.cpp. Diese Projekte entwickeln sich schnell; Konfigurationsoptionen und Metriken ändern sich zwischen Versionen.
- Modell: Gewichte, Tokenizer, Quantisierung. Jeder Wechsel ändert das Verhalten des gesamten Systems.
- Anwendung: Prompts, Retrieval-Pipeline, Schnittstellen zu ERP, DMS oder Ticketsystem.
- Daten: Dokumente im Suchindex, Embeddings, Zugriffsrechte.
Betrieb heißt, für jede dieser Schichten zu klären, wer sie pflegt, wie oft sie sich ändert und woran man merkt, dass etwas nicht stimmt.
Warum reicht der normale Serverbetrieb nicht?
Klassische Überwachung erkennt, ob ein Dienst antwortet, aber nicht, ob die Antwort stimmt. Ein Sprachmodell kann technisch einwandfrei laufen und trotzdem nach einem Update andere, schlechtere Ergebnisse liefern. Deshalb braucht lokale KI neben dem IT-Betrieb eine fachliche Qualitätskontrolle.
Drei Eigenschaften unterscheiden LLM-Systeme von üblicher Unternehmenssoftware:
- Verhalten statt Funktion: Ein neues Modell besteht alle technischen Tests und formuliert trotzdem Prüfberichte anders, ignoriert ein Ausgabeformat oder zitiert Dokumente ungenauer — bis hin zu Halluzinationen, die vorher nicht auftraten.
- Ressourcen am Limit: GPU-Speicher ist knapp. Längere Eingaben, mehr parallele Nutzer oder ein größeres Modell können einen bisher stabilen Dienst überlasten.
- Abhängigkeiten über Schichten: Eine neue Version der Inferenz-Software setzt oft einen neueren Treiber voraus, der wiederum eine bestimmte CUDA-Version verlangt. Ein einzelnes Update zieht so mehrere Änderungen nach sich.
Für Sie bedeutet das: Ein Update ist erst abgeschlossen, wenn auch die fachliche Prüfung bestanden ist — nicht schon, wenn der Dienst wieder startet.
Welche Rollen braucht der Betrieb?
Mindestens zwei Rollen müssen benannt sein: ein technischer Betrieb für Plattform und Verfügbarkeit und ein fachlicher Owner, der Qualität beurteilt und Modellwechsel freigibt. In kleineren Unternehmen können das zwei Personen in Teilzeit sein, aber nie niemand.
Eine bewährte Aufteilung sieht so aus:
| Aufgabe | Technischer Betrieb | Fachlicher Owner | Datenschutz/Informationssicherheit |
|---|---|---|---|
| Treiber, Inferenz-Software, Betriebssystem | verantwortlich | informiert | informiert |
| Modellwechsel | führt durch | gibt frei | bei neuen Datenflüssen beteiligt |
| Testsatz pflegen | unterstützt | verantwortlich | – |
| Monitoring und Alarme | verantwortlich | definiert fachliche Schwellen | – |
| Störung mit falschen Antworten | unterstützt | entscheidet über Abschalten | informiert |
| Zugriffsrechte auf Dokumente | setzt um | definiert | prüft |
Wichtig ist die Frage, wer einen laufenden Dienst abschalten darf, wenn er erkennbar falsche Ergebnisse liefert. Diese Entscheidung sollte vor dem Go-live schriftlich feststehen. In unserem eigenen Betrieb hat sich bewährt, die Abschaltbefugnis beim fachlichen Owner zu verankern und den technischen Betrieb nur für die Durchführung zuständig zu machen.
Die NIST AI Risk Management Framework ordnet solche Zuständigkeiten in vier Funktionen: Govern, Map, Measure und Manage. Für den Betrieb sind vor allem Govern (Rollen und Regeln) und Manage (laufender Umgang mit Risiken) relevant. NIST hat am 26. Juli 2024 zusätzlich ein Profil speziell für generative KI veröffentlicht (NIST AI 600-1).
Wie laufen Updates und Modellwechsel ab?
Updates laufen in festen Wartungsfenstern, Modellwechsel nach einem eigenen Freigabeprozess. Der Kern ist immer derselbe: Version festschreiben, in einer Testumgebung gegen einen eigenen Testsatz prüfen, freigeben, umstellen und den Weg zurück offenhalten.
Plattform-Updates im Wartungsfenster
Treiber, Betriebssystem und Inferenz-Software sollten in einem festen Fenster aktualisiert werden, zum Beispiel monatlich außerhalb der Kernarbeitszeit. Sicherheitsupdates mit hoher Dringlichkeit bilden die Ausnahme. Vor jedem Update gehört ein Abgleich, welche Treiber- und CUDA-Version die neue Inferenz-Software voraussetzt, ins Änderungsprotokoll.
Modellversionen festschreiben
Ein Modell sollte immer über eine eindeutige Version geladen werden, nie über „die neueste“. Bei Modellen von Hugging Face geht das über den Parameter revision, der laut Dokumentation des huggingface_hub einen Branch, einen Tag oder einen Commit-Hash annimmt — beim Commit-Hash in voller Länge, nicht in der siebenstelligen Kurzform:
from huggingface_hub import snapshot_download
# Modell auf einen festen Commit pinnen statt "main"
pfad = snapshot_download(
repo_id="organisation/modellname",
revision="<vollständiger-40-stelliger-commit-hash>",
)
print(pfad)
Die Gewichte liegen danach im lokalen Cache bzw. in Ihrem eigenen Modell-Repository. Ein Neustart des Servers lädt dann garantiert dasselbe Modell wie gestern.
Freigabe über einen eigenen Testsatz
Vor jedem Modellwechsel läuft ein fester Satz typischer Anfragen aus Ihrem Alltag gegen altes und neues Modell: Angebotsanfragen, Ticket-Zusammenfassungen, Fragen an das Dokumentenarchiv. Der fachliche Owner vergleicht die Ergebnisse und gibt frei. Öffentliche Benchmarks ersetzen diesen Schritt nicht, weil sie Ihre Dokumente, Formate und Fachbegriffe nicht kennen.
Rückweg offenhalten
Das alte Modell bleibt nach dem Wechsel einige Wochen verfügbar, damit Sie bei Problemen per Konfiguration zurückschalten können. Ohne diesen Rückweg wird jeder Modellwechsel zu einer Wette.
Was muss überwacht werden?
Überwachen Sie zwei Ebenen: die Technik mit klassischen Metriken und die Antwortqualität mit Stichproben. Technisch helfen die vier goldenen Signale aus dem SRE-Handbuch von Google — Latenz, Last, Fehler und Auslastung —, ergänzt um GPU-spezifische Werte wie Speicher und Temperatur.
Das SRE-Buch von Google nennt als die vier goldenen Signale Latenz, Traffic, Fehler und Sättigung. Für einen LLM-Dienst lassen sie sich direkt übertragen:
- Latenz: Zeit bis zum ersten Token und Gesamtdauer einer Anfrage. vLLM stellt dafür laut Dokumentation unter
/metricsunter anderemvllm:time_to_first_token_secondsundvllm:e2e_request_latency_secondsals Histogramme bereit. - Last: Anzahl laufender und wartender Anfragen (
vllm:num_requests_running,vllm:num_requests_waiting). - Fehler: HTTP-Fehler der API, abgebrochene Generierungen, Timeouts in der Anwendung.
- Sättigung: Belegung des KV-Cache (
vllm:kv_cache_usage_perc, wobei 1 für 100 % steht) und GPU-Speicher.
Für die GPU selbst liefert der NVIDIA DCGM Exporter Metriken im Prometheus-Format. Zu den Standardzählern gehören DCGM_FI_DEV_GPU_UTIL (Auslastung), DCGM_FI_DEV_FB_USED (belegter Grafikspeicher), DCGM_FI_DEV_GPU_TEMP (Temperatur) und DCGM_FI_DEV_XID_ERRORS (letzter XID-Fehler, ein Hinweis auf Treiber- oder Hardwareprobleme).
Eine Alarmregel für Prometheus könnte so aussehen:
groups:
- name: llm-betrieb
rules:
- alert: LLMErstesTokenLangsam
# 95. Perzentil der Zeit bis zum ersten Token im 10-Minuten-Fenster
expr: histogram_quantile(0.95, sum(rate(vllm:time_to_first_token_seconds_bucket[10m])) by (le)) > 5
for: 15m
labels:
severity: warning
annotations:
summary: "Antwortbeginn dauert länger als 5 Sekunden (p95)"
- alert: LLMWarteschlangeVoll
expr: max(vllm:num_requests_waiting) > 20
for: 10m
labels:
severity: critical
Die Schwellenwerte im Beispiel sind Ausgangswerte, keine Empfehlung — sinnvolle Grenzen ergeben sich erst aus einigen Wochen Messung im eigenen Betrieb. Beachten Sie außerdem, dass vLLM Metriken nach einer festen Regel abkündigt: Eine in Version X.Y als veraltet markierte Metrik wird in X.Y+1 ausgeblendet und in X.Y+2 entfernt. Prüfen Sie Ihre Dashboards daher bei jedem Update der Inferenz-Software.
Fachliche Qualität
Technische Metriken erkennen keine falschen Antworten. Planen Sie deshalb eine regelmäßige Stichprobe, etwa wöchentlich einige echte Anfragen mit Antwort, die der fachliche Owner bewertet. Zusätzlich hilft ein einfacher Rückmeldeknopf in der Anwendung, über den Anwender falsche Antworten markieren.
Das SRE-Buch formuliert dazu einen Grundsatz, der auch hier gilt: Jeder Alarm, der jemanden weckt, muss eine Handlung erfordern. Alarme, auf die niemand reagieren kann, gehören in einen Bericht, nicht in die Rufbereitschaft.
Wie geht man mit Störungen um?
Für lokale KI gibt es zwei Arten von Störungen: der Dienst ist nicht erreichbar, oder er antwortet erkennbar falsch. Für beide braucht es vorab festgelegte Schritte, einen Ansprechpartner und eine Entscheidung, was Anwender während der Störung tun.
Technischer Ausfall: Server, GPU oder Inferenz-Dienst fallen aus. Hier greifen die üblichen IT-Prozesse: Ticket, Ansprechpartner, Wiederanlauf. LLM-spezifisch ist die Frage, ob es einen Ausweichweg gibt — einen zweiten Server, ein kleineres Modell auf anderer Hardware oder schlicht den manuellen Prozess von vorher. Sinnvoll ist eine bewusste Entscheidung je Anwendung: Ein interner Assistent darf vielleicht einige Stunden ausfallen, ein Agent im Auftragseingang braucht dagegen einen Ausweichweg.
Fachliche Störung: Der Dienst läuft, aber die Antworten sind falsch, etwa nach einem Modellwechsel, nach einer Änderung im Dokumentenbestand oder weil eine Schnittstelle veraltete Daten liefert. Hier entscheidet der fachliche Owner, ob der Dienst weiterläuft, auf das alte Modell zurückgeschaltet oder abgeschaltet wird. Danach gehört die Ursache ins Änderungsprotokoll und der auslösende Fall in den Testsatz, damit er beim nächsten Update geprüft wird.
Welche Anwendungen einen Ausweichweg brauchen, hängt vom Einsatzfeld ab; typische Einsatzfelder beschreibt der Überblick zu Anwendungen lokaler KI. Halten Sie für beide Fälle fest: Wer wird informiert, wo steht die Anleitung für den Rückweg, und was sagen Sie den Anwendern.
Welche rechtlichen Pflichten betreffen den Betrieb?
Für viele interne Einsätze ergeben sich die Betriebspflichten vor allem aus Datenschutz und Informationssicherheit. Wer ein Hochrisiko-System im Sinne des EU AI Act betreibt, hat zusätzlich Pflichten aus Artikel 26, etwa menschliche Aufsicht, Überwachung und Aufbewahrung von Protokollen. Dieser Abschnitt ist eine Orientierung, keine Rechtsberatung.
Nach Artikel 26 EU AI Act müssen Betreiber von Hochrisiko-KI-Systemen unter anderem:
- die menschliche Aufsicht Personen übertragen, die über die nötige Kompetenz, Schulung und Befugnis verfügen,
- den Betrieb anhand der Betriebsanleitung des Anbieters überwachen und bei Risiken den Anbieter informieren und die Nutzung aussetzen,
- automatisch erzeugte Protokolle, soweit sie unter ihrer Kontrolle stehen, mindestens sechs Monate aufbewahren, sofern andere Vorschriften nichts anderes bestimmen,
- Beschäftigte und ihre Vertretungen vor dem Einsatz am Arbeitsplatz informieren.
Laut der dort wiedergegebenen Fassung gelten diese Pflichten für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027 (Stand Oktober 2026). Ob Ihr Einsatz überhaupt hochriskant ist, hängt vom konkreten Zweck ab und sollte rechtlich geprüft werden. Unabhängig davon decken sich die genannten Punkte mit dem, was ein sauberer Betrieb ohnehin braucht: benannte Verantwortliche, Überwachung und nachvollziehbare Protokolle.
Die Mitbestimmung ist ebenfalls ein Betriebsthema: Werden Protokolle so gespeichert, dass sich Rückschlüsse auf einzelne Beschäftigte ziehen lassen, ist in Deutschland in der Regel der Betriebsrat einzubeziehen; maßgeblich ist § 87 Abs. 1 Nr. 6 BetrVG zu technischen Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung der Beschäftigten zu überwachen.
Welche Voraussetzungen sollten vor dem Go-live erfüllt sein?
Vor dem Go-live sollten Rollen benannt, Versionen festgeschrieben, Monitoring eingerichtet, ein Testsatz angelegt und ein Rückweg dokumentiert sein. Fehlt einer dieser Punkte, ist das System ein verlängerter Pilot und noch kein Betrieb.
Eine kompakte Prüfliste:
- Organisation: technischer Betrieb und fachlicher Owner benannt, Vertretung geregelt, Abschaltbefugnis schriftlich festgelegt.
- Versionen: Treiber, CUDA, Inferenz-Software und Modell-Commit sind dokumentiert und reproduzierbar installierbar, zum Beispiel über Container-Images mit festen Tags.
- Monitoring: Metriken für Latenz, Last, Fehler und GPU sind erfasst, Alarme haben einen Empfänger.
- Qualität: Ein Testsatz mit echten, anonymisierten Fällen existiert und ist versioniert.
- Störung: Anleitung für Neustart, Rückschalten auf das alte Modell und manuellen Ausweichprozess liegt vor.
- Daten: Es ist geklärt, welche Anfragen und Antworten wie lange protokolliert werden.
Wie Sie die Infrastruktur dafür grundsätzlich aufsetzen und welche Varianten es für souveräne KI gibt, beschreibt die Seite zu souveräner KI im eigenen Haus.
In welchen Schritten führt man den Betrieb ein?
Am einfachsten ist es, den Betrieb schon während des Piloten mitzubauen: zuerst Versionen und Rollen, dann Monitoring, dann der Freigabeprozess für Modellwechsel. Nach einigen Wochen Messung werden Schwellenwerte und Wartungsfenster nachgeschärft.
- Bestandsaufnahme: Alle Komponenten mit Version aufschreiben, von der Firmware bis zum Prompt.
- Festschreiben: Modell per Commit-Hash, Software per Container-Tag pinnen. Keine automatischen Updates im Produktivsystem.
- Rollen benennen: Technischer Betrieb, fachlicher Owner, Vertretungen, Abschaltbefugnis.
- Monitoring einrichten: Metrik-Endpunkt der Inferenz-Software und GPU-Exporter in die vorhandene Überwachung einbinden, erste Alarme mit großzügigen Schwellen.
- Testsatz anlegen: Typische und schwierige Fälle aus dem Alltag sammeln, mit erwarteter Antwort.
- Wartungsfenster festlegen: Rhythmus für Plattform-Updates, Freigabeprozess für Modellwechsel.
- Störungsübung: Einmal bewusst auf das alte Modell zurückschalten und den Ausfall des Servers durchspielen.
- Nachschärfen: Nach einigen Wochen Schwellenwerte, Stichprobenumfang und Protokollierung anpassen.
Wo liegen Grenzen und Risiken?
Das größte Risiko ist unterschätzter Aufwand: Lokale KI verlangt laufend Zeit für Updates, Tests und Qualitätskontrolle, und dieses Wissen sitzt oft bei einer einzigen Person. Hinzu kommen schnell alternde Software und Hardware, die nicht beliebig skaliert.
- Wissensinsel: Wenn nur eine Person weiß, wie der Server aufgesetzt ist, ist jeder Urlaub ein Betriebsrisiko. Dokumentation und Vertretung sind Pflicht, nicht Kür.
- Software-Tempo: Inferenz-Software ändert Optionen und Metriken zwischen Versionen. Wer selten aktualisiert, steht irgendwann vor einem großen, riskanten Sprung.
- Modellalterung: Ein Modell, das heute passt, kann in einem Jahr deutlich hinter neueren Modellen liegen. Ein Wechsel kostet jedes Mal Testaufwand.
- Kapazität: GPU-Speicher ist eine harte Grenze. Mehr Nutzer oder längere Dokumente können zusätzliche Hardware erfordern, deren Beschaffung Vorlauf braucht.
- Schleichende Qualitätsverluste: Ändern sich Dokumente, Formulare oder Schnittstellen, sinkt die Qualität oft unbemerkt. Ohne Stichproben fällt das erst auf, wenn ein Anwender sich beschwert.
Wann lokaler Betrieb nicht passt: Wenn niemand im Haus Zeit für die genannten Rollen hat und auch kein externer Partner sie übernimmt, ist ein gehosteter Dienst mit vertraglich geregeltem Betrieb oft die ehrlichere Wahl — vorausgesetzt, Datenschutz und Vertraulichkeit lassen das zu.
Wie fange ich an?
Beginnen Sie mit zwei Dingen, die wenig kosten und viel klären: einer Liste aller Komponenten mit Version und einer schriftlichen Rollenverteilung. Danach folgen Monitoring und Testsatz. Erst wenn diese vier Bausteine stehen, sollte ein lokales KI-System als produktiv gelten.
Eine pragmatische Reihenfolge für die ersten Wochen:
- Woche 1: Komponentenliste, Modell und Software festschreiben, Rollen benennen.
- Woche 2: Metriken von Inferenz-Software und GPU in die vorhandene Überwachung einbinden.
- Woche 3: Testsatz mit typischen Fällen anlegen, erste Stichprobe durch den fachlichen Owner.
- Woche 4: Rückweg auf das alte Modell testen, Wartungsfenster festlegen, Dokumentation ergänzen.
Wenn Sie den Aufbau und Betrieb einer eigenen KI-Plattform von Grund auf planen, finden Sie die Grundlagen auf der Seite zu souveräner KI; weitere Artikel zu Infrastruktur, Kosten und Recht sammelt der Wissensbereich.
Häufige Fragen
Reicht es, wenn die IT den LLM-Server wie jeden anderen Server betreibt?
Für Hardware, Betriebssystem und Backups ja. Ob die Antworten nach einem Update noch stimmen, kann die IT allein nicht beurteilen — dafür braucht es einen fachlichen Owner mit eigenem Testsatz.
Wie oft sollte man das Modell wechseln?
Nicht nach Kalender, sondern wenn ein neues Modell im eigenen Testsatz messbar besser abschneidet oder das alte keine Sicherheitsupdates mehr bekommt. Ein fester Rhythmus gilt eher für Treiber und Inferenz-Software.
Welche Kennzahlen sollte man als Erstes überwachen?
Latenz bis zum ersten Token, Fehlerrate, Länge der Warteschlange und GPU-Speicher. Dazu kommt mindestens eine fachliche Stichprobe pro Woche, weil technische Metriken falsche Antworten nicht erkennen.
Gilt der EU AI Act für jeden internen LLM-Einsatz?
Die Pflichten aus Artikel 26 betreffen Betreiber von Hochrisiko-Systemen; viele interne Assistenten fallen nicht darunter. Ob ein konkreter Einsatz hochriskant ist, muss im Einzelfall rechtlich geprüft werden.
Quellen
- Google SRE Book: Monitoring Distributed Systems sre.google
- vLLM Documentation: Production Metrics docs.vllm.ai
- NVIDIA DCGM Exporter: Default Counters github.com
- Hugging Face Hub: Download files from the Hub huggingface.co
- NIST AI Risk Management Framework nist.gov
- EU AI Act, Artikel 26: Pflichten der Betreiber von Hochrisiko-KI-Systemen artificialintelligenceact.eu
- § 87 Betriebsverfassungsgesetz (Mitbestimmungsrechte) gesetze-im-internet.de