Hybride KI: Lokale Modelle und Cloud sinnvoll kombinieren
Die Frage „lokal oder Cloud?" wird in vielen IT-Abteilungen als Entweder-oder diskutiert. In der Praxis landen die meisten Unternehmen bei einer Mischung: Ein Teil der Anfragen läuft auf eigenen Servern, ein anderer Teil bei einem Cloud-Anbieter. Entscheidend ist nicht, ob gemischt wird, sondern nach welcher Regel. Dieser Überblick beschreibt das Architekturprinzip, das sich dafür bewährt: Routing nach Datenklasse und Aufgabenschwere.
Was ist hybride KI und wofür wird sie eingesetzt?
Hybride KI bedeutet, dass ein Unternehmen Sprachmodelle auf eigener Infrastruktur (ein On-Premise-LLM) und Modelle eines Cloud-Anbieters parallel betreibt und jede Anfrage nach festen Regeln einem der beiden Wege zuordnet. Ziel ist, vertrauliche Daten im eigenen Haus zu halten und trotzdem für schwierige Aufgaben auf große Cloud-Modelle zugreifen zu können.
Das unterscheidet hybride KI von zwei anderen Mustern, die oft unter demselben Namen laufen:
- Parallelbetrieb ohne Regel: Einige Abteilungen nutzen ein Cloud-Abo, andere ein lokales Modell. Es gibt keine gemeinsame Steuerung, keine gemeinsame Protokollierung und keine Garantie, dass vertrauliche Daten nicht doch in der Cloud landen.
- Lokal als Notlösung: Ein lokales Modell steht bereit, falls die Cloud ausfällt. Das ist Ausfallsicherheit, aber keine Architektur nach Datenklassen.
Echte hybride KI hat einen zentralen Einstiegspunkt, durch den jede Anfrage läuft, und eine Entscheidungslogik, die man prüfen und dokumentieren kann. Typische Einsatzfelder sind interne Wissenssuche über Handbücher und Verträge, das Zusammenfassen von Tickets und Prüfberichten, Entwürfe für Angebote, Programmierassistenz und Agenten, die in ERP- oder CRM-Systemen arbeiten. Ein Teil dieser Aufgaben berührt Personaldaten, Kalkulationen oder Konstruktionsunterlagen, ein anderer Teil nur öffentlich verfügbare Informationen. Genau diese Mischung macht eine pauschale Entscheidung für eine Seite so unbefriedigend.
Wie funktioniert Routing nach Datenklasse und Aufgabenschwere?
Jede Anfrage wird an zwei Achsen gemessen. Die Datenklasse legt fest, wohin eine Anfrage überhaupt gehen darf. Die Aufgabenschwere bestimmt innerhalb dieser erlaubten Ziele, welches Modell sie bekommt. Die Datenklasse ist eine harte Grenze, die Aufgabenschwere eine Optimierung. Diese Reihenfolge darf nie umgekehrt werden.
Achse 1: Datenklasse
Die meisten Unternehmen kommen mit drei bis vier Klassen aus, die sich an bestehenden Informationsschutzrichtlinien orientieren:
- Öffentlich: Produktbeschreibungen von der Website, veröffentlichte Normen, allgemeine Fachfragen. Darf in jede Cloud.
- Intern: Arbeitsanweisungen, interne Präsentationen, unkritische E-Mails. Darf zu Cloud-Anbietern mit Vertrag zur Auftragsverarbeitung und Rechenzentrum in der EU.
- Vertraulich: Kalkulationen, Konstruktionsdaten, Kundenverträge, Personaldaten. Bleibt auf eigener Infrastruktur.
- Streng vertraulich: Gesundheitsdaten, Daten unter besonderen Geheimhaltungspflichten, Exportkontrolle. Oft nur auf dedizierten Systemen, manchmal gar nicht für KI freigegeben.
Werden personenbezogene Daten an einen Cloud-Anbieter gegeben, ist dieser in der Regel Auftragsverarbeiter. Art. 28 DSGVO verlangt dafür unter anderem einen schriftlichen Vertrag, Verarbeitung nur auf dokumentierte Weisung und Regeln für Unterauftragsverarbeiter. Ob ein bestimmter Anbieter für eine bestimmte Datenklasse ausreicht, ist eine Einzelfallprüfung – dieser Artikel ersetzt keine Rechtsberatung. Einen Überblick über die Datenschutzpflichten beim Einsatz von Agenten gibt der Beitrag DSGVO und KI-Agenten.
Auch die Aufbewahrung beim Anbieter gehört zur Einordnung. Anthropic schreibt etwa in seinem Privacy Center, dass Ein- und Ausgaben über die API standardmäßig innerhalb von 30 Tagen im Backend gelöscht werden, mit Ausnahmen etwa bei Verstößen gegen die Nutzungsrichtlinien oder abweichenden Vereinbarungen. Solche Angaben gehören in die Begründung, warum eine Datenklasse zu einem Anbieter darf oder nicht.
Achse 2: Aufgabenschwere
Innerhalb der erlaubten Ziele entscheidet die Schwere der Aufgabe:
- Leicht: Klassifizieren, Extrahieren von Feldern aus einem Lieferschein, kurze Zusammenfassungen, Übersetzungen von Standardtexten. Kleinere offene Modelle auf eigener Hardware reichen hier oft aus.
- Mittel: Antworten aus einer Wissensbasis mit Quellenangabe, Entwürfe für E-Mails und Angebote. Mittelgroße offene Modelle oder kleinere Cloud-Modelle.
- Schwer: Mehrstufige Agenten mit Tool Use, lange Verträge mit Querbezügen, anspruchsvolle Programmieraufgaben. Hier sind große Cloud-Modelle häufig deutlich stärker.
Dass sich das Verteilen nach Schwere lohnen kann, zeigt die Forschung zu sogenannten Routern. Die Autoren von RouteLLM beschreiben Router, die zur Laufzeit zwischen einem stärkeren und einem schwächeren Modell wählen, und berichten, dass sich die Kosten damit in einzelnen Fällen mehr als halbieren ließen, ohne dass die Antwortqualität sank. Das ist ein Forschungsergebnis, keine Zusage für den eigenen Betrieb.
Die Entscheidungsmatrix
Aus beiden Achsen entsteht eine kleine Matrix:
| Datenklasse | Leicht | Mittel | Schwer |
|---|---|---|---|
| Öffentlich | lokal klein | Cloud | Cloud groß |
| Intern | lokal klein | EU-Cloud | EU-Cloud groß |
| Vertraulich | lokal klein | lokal mittel | lokal groß oder ablehnen |
| Streng vertraulich | dediziert | dediziert | ablehnen |
Die rechte untere Ecke ist der ehrliche Teil der Matrix: Es gibt Aufgaben, die mit vertraulichen Daten und eigener Hardware nicht in der gewünschten Qualität lösbar sind. Dann muss jemand entscheiden, ob man in größere eigene Hardware investiert, die Daten vorher reduziert oder die Aufgabe nicht automatisiert.
Welche Bausteine braucht eine hybride KI-Architektur?
Eine hybride Architektur besteht aus vier Bausteinen: lokalen Inferenzservern, einem oder mehreren Cloud-Zugängen, einem Gateway, das alle Anfragen entgegennimmt und verteilt, sowie Protokollierung und Richtlinien. Das Gateway ist das Herzstück, weil nur dort die Routing-Regeln zentral durchgesetzt werden können.
Lokale Inferenzserver. Werkzeuge wie vLLM und Ollama stellen offene Modelle über eine OpenAI-kompatible Schnittstelle bereit, unter anderem mit den Endpunkten /v1/chat/completions und /v1/embeddings. Das ist wichtig, weil Anwendungen dann mit derselben Client-Bibliothek lokal und in der Cloud arbeiten können. Welches der beiden Werkzeuge passt, hängt vor allem von der Zahl gleichzeitiger Nutzer und vom gewünschten Betriebsaufwand ab – testen Sie beide mit Ihrer erwarteten Last.
Cloud-Zugänge. Ein oder mehrere Anbieter mit passenden Verträgen, idealerweise mit Rechenzentrumsstandort in der EU für die Klasse „intern". Jeder Zugang wird im Gateway als eigenes Ziel mit eigener Datenklassen-Freigabe hinterlegt.
Gateway. Ein Dienst, der nach außen eine einheitliche API anbietet und intern auf die Ziele verteilt. Der LiteLLM-Router bündelt etwa mehrere Deployments unter einem gemeinsamen Modellnamen und bietet Strategien wie simple-shuffle, latency-based-routing, least-busy und cost-based-routing sowie eigene Routing-Logik. Er kümmert sich auch um Wiederholungen, Fallbacks und das vorübergehende Aussetzen fehlerhafter Ziele.
Protokollierung und Richtlinien. Wer hat wann mit welcher Datenklasse welches Modell aufgerufen? Ohne diese Information lässt sich weder gegenüber Datenschutz noch gegenüber Betriebsrat oder Revision belegen, dass die Regeln eingehalten werden.
Beispiel: Modellgruppen pro Datenklasse
Die folgende Konfiguration zeigt das Prinzip in der Syntax des LiteLLM-Proxys (Stand Oktober 2026). Statt technischer Modellnamen bekommen Anwendungen Gruppennamen, die die Datenklasse schon im Namen tragen:
model_list:
# Vertraulich: nur eigener vLLM-Server
- model_name: vertraulich-standard
litellm_params:
model: openai/lokales-modell-mittel
api_base: http://gpu01.intern:8000/v1
api_key: os.environ/LOCAL_API_KEY
# Zweiter lokaler Server als Ausweichziel
- model_name: vertraulich-reserve
litellm_params:
model: openai/lokales-modell-klein
api_base: http://gpu02.intern:8000/v1
api_key: os.environ/LOCAL_API_KEY
# Intern: Cloud-Deployment in einer EU-Region
- model_name: intern-stark
litellm_params:
model: azure/eu-deployment
api_base: os.environ/AZURE_EU_ENDPOINT
api_key: os.environ/AZURE_EU_KEY
router_settings:
# Fallbacks nur innerhalb derselben Datenklasse
fallbacks: [{"vertraulich-standard": ["vertraulich-reserve"]}]
Der wichtigste Punkt steht im letzten Kommentar. Das Fallback-Konzept von LiteLLM verweist von einer Modellgruppe auf eine andere. Zeigt ein Fallback von einer vertraulichen Gruppe auf ein Cloud-Modell, hebelt ein einziger Ausfall des eigenen Servers die gesamte Datenklassen-Regel aus. Fallbacks dürfen deshalb nie Klassengrenzen überschreiten.
Welche Varianten hybrider KI gibt es?
Hybride Architekturen unterscheiden sich vor allem darin, wer die Datenklasse bestimmt und wo das Routing passiert. Drei Varianten kommen häufig vor; sie lassen sich kombinieren und schrittweise ausbauen.
Routing durch die Anwendung. Jede Anwendung kennt die Herkunft ihrer Daten und ruft gezielt die passende Modellgruppe auf, etwa die Wissenssuche über Personalunterlagen immer vertraulich-standard. Das ist einfach und gut prüfbar, setzt aber Disziplin in jedem Entwicklungsteam voraus.
Routing im Gateway. Die Anwendung übergibt die Datenklasse als Metadatum, das Gateway wählt das Ziel und prüft zusätzlich, ob die Anfrage zur angegebenen Klasse passt, etwa durch Erkennung von IBANs, Personalnummern oder Projektkennungen. Das zentralisiert die Regeln, verlangt aber eigene Logik im Gateway, die gepflegt werden muss.
Lernende Router. Ein kleines Modell schätzt die Schwere einer Anfrage und entscheidet, ob das kleine oder große Modell sie bekommt – das Prinzip aus der RouteLLM-Arbeit. Das ist ausschließlich für die Achse Aufgabenschwere sinnvoll. Die Datenklasse sollte nie ein lernendes Modell bestimmen, weil Fehlentscheidungen dort nicht korrigierbar sind: Was einmal in der Cloud war, lässt sich nicht zurückholen.
Ein Sonderfall ist die Datenreduktion vor dem Cloud-Aufruf: Ein lokales Modell entfernt Namen, Beträge oder Kennungen aus einem Text, bevor eine anonymisierte Fassung an ein großes Cloud-Modell geht. Das klingt elegant, ist aber fehleranfällig, weil Rückschlüsse oft aus dem Kontext möglich bleiben. Für die Klasse „vertraulich" ist es meist kein ausreichender Schutz.
Welche Voraussetzungen müssen erfüllt sein?
Bevor die erste Anfrage geroutet wird, braucht es drei Dinge: eine schriftliche Datenklassifizierung, die auch für KI-Anfragen gilt, eine Liste der Systeme, aus denen Daten in Prompts fließen, und eine Person oder Rolle, die das Gateway und seine Regeln verantwortet. Die Technik ist meist der kleinere Teil.
Daten. Viele Unternehmen haben eine Informationsschutzrichtlinie, die aber für Dokumente formuliert ist, nicht für Prompts. Ein Agent, der aus dem ERP eine Stückliste und aus dem Mailpostfach eine Kundenanfrage zusammenführt, erzeugt eine Anfrage mit gemischter Datenklasse. Die Regel muss deshalb lauten: Die höchste enthaltene Klasse bestimmt das Ziel.
Systeme. Für lokale Modelle braucht es GPU-Hardware der Server- oder Workstation-Klasse (Auslegung im Beitrag Hardware für lokale LLMs), Netzwerkzugang aus den Anwendungen und ein Monitoring für Auslastung und Antwortzeiten. Für Cloud-Zugänge braucht es Verträge, Schlüsselverwaltung und eine Freigabe durch den Datenschutz.
Organisation. Jemand muss entscheiden, welches Modell in welcher Gruppe läuft, wann ein Modell ausgetauscht wird und wie Ausnahmen beantragt werden. Diese Rollen lassen sich in eine bestehende KI-Governance einhängen, statt ein eigenes Gremium zu gründen. Wenn Agenten in Fachprozesse eingebunden werden, etwa bei KI-Agenten für Angebot, Service und Vertrieb, kommen die Fachbereiche als Mitentscheider hinzu, weil nur sie die Datenklasse ihrer Unterlagen verlässlich einschätzen.
Wie geht man beim Aufbau Schritt für Schritt vor?
Beginnen Sie mit der Klassifizierung und einem einzelnen Anwendungsfall, nicht mit der Hardware. Ein schrittweiser Aufbau verhindert, dass teure Server bestellt werden, bevor klar ist, welche Modellgrößen die eigenen Aufgaben überhaupt brauchen.
- Anwendungsfälle sammeln und einordnen. Für jeden geplanten Einsatz notieren: Welche Daten fließen hinein, welche Klasse haben sie, wie schwer ist die Aufgabe? Das ergibt eine erste Belegung der Matrix.
- Gateway zuerst. Auch wenn anfangs nur ein Cloud-Modell angebunden ist: Alle Anwendungen sprechen ab Tag eins über das Gateway. Ein späterer Wechsel auf lokale Modelle ist dann eine Konfigurationsänderung, kein Umbau jeder Anwendung.
- Modellgruppen nach Klasse benennen. Gruppennamen wie
vertraulich-standardstatt technischer Modellnamen machen die Regel im Code sichtbar und erleichtern Prüfungen. - Lokales Modell für die häufigste vertrauliche Aufgabe testen. Mit echten Beispielen aus dem Betrieb prüfen, ob ein offenes Modell auf der verfügbaren Hardware die Qualität erreicht. Erst danach über weitere Hardware entscheiden.
- Fallbacks und Ablehnungen definieren. Für jede Gruppe festlegen, was bei Ausfall passiert – anderes Ziel derselben Klasse oder eine klare Fehlermeldung.
- Protokollierung einschalten und auswerten. Nach einigen Wochen zeigt die Auswertung, welche Gruppen ausgelastet sind, wo Antwortzeiten zu hoch sind und ob Anwendungen die richtigen Klassen verwenden.
- Aufgabenschwere verfeinern. Erst wenn die Datenklassen stabil laufen, lohnt es sich, innerhalb einer Klasse nach Schwere zwischen kleinem und großem Modell zu verteilen.
In unserem eigenen Betrieb hat sich vor allem Schritt 2 bewährt: Weil alle Werkzeuge von Anfang an über eine gemeinsame Schnittstelle gingen, ließ sich später jede Aufgabe einzeln zwischen lokalen und Cloud-Modellen verschieben, ohne die Werkzeuge selbst anzufassen.
Welche Grenzen und Risiken hat hybride KI?
Hybride KI ist komplexer als jede reine Variante. Sie betreiben zwei Welten, deren Modelle sich unterschiedlich verhalten, und eine Steuerungsschicht dazwischen, die selbst ausfallen oder falsch konfiguriert sein kann. Wer nur wenige, unkritische Anwendungsfälle hat, fährt mit einer einzigen Lösung oft besser.
- Unterschiedliches Verhalten der Modelle. Prompts, die mit einem großen Cloud-Modell gut funktionieren, liefern mit einem kleineren lokalen Modell oft schwächere Ergebnisse. Jede Modellgruppe braucht eigene Tests, und Prompts müssen eventuell pro Gruppe angepasst werden.
- Falsch gesetzte Datenklassen. Die Architektur ist nur so gut wie die Klassifizierung. Gibt eine Anwendung „intern" an, obwohl Personaldaten enthalten sind, schützt auch ein sorgfältig konfiguriertes Gateway nicht.
- Klassenüberschreitende Fallbacks. Wie oben beschrieben, der häufigste technische Fehler. Regelmäßig prüfen, besonders nach Konfigurationsänderungen.
- Gateway als Single Point of Failure. Fällt das Gateway aus, fallen alle KI-Anwendungen aus. Es braucht Redundanz und Überwachung wie jeder andere zentrale Dienst.
- Protokolle als neue Datensammlung. Werden Prompts und Antworten vollständig mitgeschrieben, entsteht eine Datenbank mit vertraulichen Inhalten. Protokollieren Sie Metadaten standardmäßig und Inhalte nur, wenn es einen Grund und eine Löschfrist gibt.
- Fixkosten eigener Hardware. Lokale Server rechnen sich erst ab einem gewissen Volumen. Bei geringer Nutzung stehen sie überwiegend still.
Wie fange ich mit hybrider KI an?
Der sinnvollste Einstieg ist eine einseitige Matrix aus Datenklassen und Aufgabenschwere für Ihre fünf wichtigsten geplanten KI-Anwendungsfälle. Sie zeigt sofort, ob Sie überhaupt lokale Modelle brauchen, für welche Aufgaben und in welcher Größe – und ob die Cloud für den Rest genügt.
Danach folgt ein Gateway mit zunächst nur einem oder zwei Zielen, das alle neuen Anwendungen nutzen. Steht fest, dass vertrauliche Aufgaben lokal laufen müssen, folgt ein Pilot mit einem offenen Modell auf einem einzelnen GPU-Server. Wer die strategische Seite – Anbieterwahl, Betriebsmodell, Verantwortlichkeiten – strukturiert angehen will, findet unter Souveräne KI einen Überblick über den Betrieb eigener Modelle. Für die gemeinsame Erarbeitung der Matrix im Team eignet sich ein Workshop, in dem Fachbereiche und IT die Anwendungsfälle gemeinsam einordnen.
Wenn Sie die Regeln einmal festgelegt haben, wird jede neue KI-Anwendung zu einer einfachen Frage: Welche Datenklasse, welche Schwere? Die Antwort steht dann schon in der Matrix.
Häufige Fragen
Ist hybride KI teurer als reine Cloud-Nutzung?
Das hängt vom Volumen ab. Eigene Server verursachen Fixkosten für Hardware und Betrieb, sparen aber laufende Tokenkosten bei vielen Routineanfragen; bei geringem Volumen ist die reine Cloud meist günstiger.
Brauche ich für hybride KI ein eigenes Rechenzentrum?
Nein. Für den Anfang genügt oft ein einzelner GPU-Server im eigenen Serverraum oder bei einem europäischen Hoster, auf dem ein Inferenzserver wie vLLM oder Ollama läuft.
Darf ein Fallback von lokal in die Cloud automatisch greifen?
Nur für Anfragen, deren Datenklasse die Cloud ohnehin erlaubt. Für vertrauliche Daten muss der Fallback auf ein anderes internes Modell zeigen oder die Anfrage mit einer klaren Fehlermeldung ablehnen.
Wer entscheidet, welche Datenklasse eine Anfrage hat?
Am verlässlichsten die Anwendung, aus der die Anfrage kommt, weil sie weiß, aus welchem System die Daten stammen. Automatische Erkennung im Gateway ist eine zusätzliche Sicherung, kein Ersatz.
Quellen
- LiteLLM: Router – Load Balancing, Routing-Strategien, Fallbacks docs.litellm.ai
- LiteLLM Proxy: Fallbacks, Retries, Cooldowns docs.litellm.ai
- vLLM: OpenAI-kompatibler Server docs.vllm.ai
- Ollama: OpenAI-Kompatibilität docs.ollama.com
- Ong et al.: RouteLLM – Learning to Route LLMs with Preference Data arxiv.org
- Art. 28 DSGVO – Auftragsverarbeiter gdpr-info.eu
- Anthropic Privacy Center: Aufbewahrungsdauer von Organisationsdaten privacy.claude.com