Zum Inhalt springen

Kosten lokaler KI: Wann sich eigene GPU-Server gegenüber APIs rechnen

Die Frage „lokal oder API?" wird oft mit einem einzigen Vergleich beantwortet: Kaufpreis eines GPU-Servers gegen die Monatsrechnung eines Modellanbieters. Diese Rechnung greift zu kurz. Die beiden Modelle haben eine grundlegend andere Kostenstruktur – das eine ist fast vollständig fix, das andere fast vollständig variabel. Dieser Artikel erklärt beide Strukturen und gibt Ihnen eine Rechenlogik, die Sie mit Ihren eigenen Zahlen füllen. Konkrete Preise nennen wir bewusst nicht, weil sie sich zu schnell ändern.

Was unterscheidet die Kosten lokaler KI grundsätzlich von API-Kosten?

Bei einer API zahlen Sie pro verarbeitetem Token, also nur für tatsächliche Nutzung. Bei lokaler KI zahlen Sie für Kapazität: Hardware, Strom, Raum und Personal fallen an, egal ob der Server ausgelastet ist oder stillsteht. Deshalb entscheidet bei lokaler KI vor allem die Auslastung über die Kosten pro Anfrage.

Daraus folgt ein einfaches Bild. Die API-Kosten steigen linear mit dem Volumen. Die Kosten der eigenen Infrastruktur sind eine Treppe: Bis zur Kapazitätsgrenze eines Servers bleiben sie nahezu konstant, danach brauchen Sie die nächste Stufe – einen weiteren Server, mehr GPUs, mehr Betreuung. Irgendwo kreuzen sich Gerade und Treppe. Dieser Punkt ist der Break-even, und er liegt für jedes Unternehmen woanders.

Wichtig ist auch, was Sie eigentlich vergleichen. Ein lokal betriebenes Open-Weight-Modell und ein großes API-Modell liefern nicht automatisch dieselbe Qualität. Ein fairer Vergleich setzt voraus, dass beide Varianten Ihre Aufgabe in ausreichender Qualität lösen. Sonst vergleichen Sie Kosten für unterschiedliche Leistungen.

Wie setzen sich API-Kosten zusammen?

API-Kosten ergeben sich aus der Zahl der Eingabe- und Ausgabe-Token multipliziert mit dem jeweiligen Preis pro Million Token. Hinzu kommen Rabatte und Aufschläge: Caching, Batch-Verarbeitung, Datenresidenz und Denk-Token verändern die Rechnung deutlich. Wer nur den Listenpreis für Eingabe-Token betrachtet, verschätzt sich fast immer.

Die wichtigsten Bausteine, am Beispiel der Preisstruktur von Anthropic (Stand November 2026):

  • Eingabe und Ausgabe getrennt. Ausgabe-Token sind teurer als Eingabe-Token. Bei Claude Sonnet 5.5 kostet ein Ausgabe-Token laut Anthropics Modellübersicht das Fünffache eines Eingabe-Tokens. Für Anwendungen, die lange Texte erzeugen, zählt also vor allem die Ausgabe.
  • Denk-Token. Modelle mit Reasoning denken vor der Antwort. Diese Token werden laut Anthropic-Dokumentation zu Thinking als Ausgabe-Token abgerechnet, auch wenn der Denktext nicht zurückgegeben wird. Die abgerechnete Token-Zahl passt dann nicht zu dem, was Sie in der Antwort sehen.
  • Prompt-Caching. Wiederkehrende Präfixe – Systemprompt, Handbuch, Produktkatalog – lassen sich zwischenspeichern. Ein Cache-Treffer kostet laut Anthropics Preisseite standardmäßig 10 % des normalen Eingabepreises, bei einzelnen Modellen noch weniger; das Schreiben in den Cache kostet dafür einen Aufschlag.
  • Batch-Verarbeitung. Wer nicht sofort eine Antwort braucht, kann Anfragen gebündelt einreichen. Anthropic gewährt dafür laut Batch-Dokumentation 50 % Rabatt auf Eingabe und Ausgabe, die meisten Batches sind in unter einer Stunde fertig, spätestens nach 24 Stunden verfallen sie. OpenAI nennt in seiner Batch-API-Dokumentation ebenfalls 50 % Rabatt bei einem Zeitfenster von 24 Stunden.
  • Datenresidenz. Wer die Verarbeitung auf eine Region festlegt, zahlt teilweise einen Aufschlag. Bei Anthropic gilt für US-only-Inferenz auf Modellen ab Claude 4.6 laut Preisseite ein Faktor von 1,1 auf alle Token-Kategorien.

Für die eigene Rechnung heißt das: Ermitteln Sie nicht nur die Token-Menge, sondern das Profil. Wie lang sind die Eingaben, wie lang die Ausgaben? Wie viel davon wiederholt sich und ist cachebar? Was kann warten und läuft als Batch? Erst daraus ergibt sich ein realistischer Durchschnittspreis pro Anfrage.

Wie setzen sich die Kosten eines eigenen GPU-Servers zusammen?

Ein eigener Server verursacht vier Kostenblöcke: Anschaffung oder Miete der Hardware, laufende Betriebskosten für Strom, Kühlung und Rechenzentrum, Personal für Einrichtung und Betrieb sowie Reserven für Ausfälle und Wachstum. Nur der erste Block steht auf der Rechnung des Händlers. Die anderen drei entscheiden häufig darüber, ob sich die Investition rechnet.

Hardware. Rechnen Sie die Anschaffung über die Nutzungsdauer, die Sie realistisch ansetzen, auf Monate um – und stimmen Sie die Abschreibung mit Ihrer Buchhaltung ab. Neben den GPUs gehören CPU, Arbeitsspeicher, schneller Speicher, Netzwerk und Gehäuse dazu. Wie Sie einen Server passend zum Modell auslegen, beschreibt der Artikel Hardware für lokale LLMs: GPU-Server richtig auslegen.

Strom und Kühlung. Rechenzentrums-GPUs ziehen viel Leistung. Eine NVIDIA H100 in der SXM-Bauform ist laut NVIDIA-Datenblatt für bis zu 700 Watt ausgelegt, die PCIe-basierte H100 NVL für 350 bis 400 Watt. Ein Server mit mehreren solcher Karten erreicht schnell mehrere Kilowatt – und die Abwärme muss abgeführt werden. Für die Rechnung brauchen Sie die durchschnittliche Leistungsaufnahme, die Laufzeit und Ihren Strompreis inklusive Kühlaufwand.

Personal. Jemand muss Treiber, Inferenz-Software, Modelle und Sicherheitsupdates pflegen, Monitoring einrichten und bei Störungen reagieren. Dieser Block wird am häufigsten unterschätzt, weil er nicht als Rechnung eingeht, sondern als Arbeitszeit, die anderswo fehlt. Welche Aufgaben im laufenden Betrieb anfallen, listet der Artikel zum Betrieb lokaler KI auf.

Reserven. Ein einzelner Server ist ein einzelner Ausfallpunkt. Wer einen produktiven Prozess daran hängt, braucht Ersatzteile, einen zweiten Knoten oder eine Ausweichlösung – im Zweifel die API. Auch Lastspitzen kosten Kapazität, die die meiste Zeit ungenutzt bleibt.

Welche Rolle spielt die Auslastung?

Die Auslastung ist der größte Hebel in der Rechnung. Ein GPU-Server kostet pro Monat fast dasselbe, ob er eine oder eine Million Anfragen bearbeitet. Je mehr sinnvolle Arbeit er erledigt, desto niedriger sind die Kosten pro Token. Ein halb ausgelasteter Server kostet pro Token doppelt so viel wie ein voll ausgelasteter.

Moderne Inferenz-Server holen viel aus der Hardware heraus, wenn viele Anfragen gleichzeitig eintreffen. vLLM etwa nennt in seiner Dokumentation Continuous Batching, PagedAttention zur effizienten Verwaltung des KV-Speichers und Prefix-Caching als zentrale Funktionen. Welche Inferenz-Server es gibt und worin sie sich unterscheiden, zeigt der Überblick über LLM-Inferenz-Server. Der Effekt: Der Durchsatz steigt mit der Zahl paralleler Anfragen, solange Speicher und Rechenleistung reichen.

Das hat zwei Konsequenzen für die Planung:

  1. Gleichmäßige Last ist billiger als Spitzenlast. Ein Server, der rund um die Uhr Dokumente klassifiziert, ist anders ausgelastet als einer, der nur zur Bürozeit Chatanfragen beantwortet. Nachts und am Wochenende steht er sonst still.
  2. Mehrere Anwendungsfälle teilen sich die Fixkosten. Wenn derselbe Server tagsüber interaktive Anfragen und nachts Batch-Jobs wie Zusammenfassungen oder Extraktionen erledigt, sinken die Kosten pro Token für beide.

Messen Sie die Auslastung deshalb nicht geschätzt, sondern mit einem Testbetrieb: realistische Anfragen, realistische Parallelität, gemessener Durchsatz in Token pro Sekunde.

Wie rechne ich den Break-even selbst aus?

Den Break-even finden Sie, indem Sie die monatlichen Gesamtkosten der eigenen Infrastruktur durch die monatlich verarbeiteten Token teilen und das Ergebnis mit dem durchschnittlichen API-Preis pro Token vergleichen. Liegt der lokale Wert dauerhaft darunter, rechnet sich der eigene Betrieb – bei gleicher Qualität.

Die Rechnung in Schritten:

  1. API-Seite: Ermitteln Sie Eingabe-, Ausgabe- und Denk-Token pro Monat. Ziehen Sie Cache-Anteil und Batch-Anteil ab und multiplizieren Sie mit den aktuellen Listenpreisen. Ergebnis: monatliche API-Kosten und daraus der Durchschnittspreis pro Million Token.
  2. Lokale Seite, fix: Abschreibung der Hardware pro Monat plus Rechenzentrums- oder Raumkosten plus anteiliges Personal.
  3. Lokale Seite, variabel: Stromverbrauch (Leistung mal Stunden mal Strompreis) inklusive Kühlung.
  4. Kapazität: gemessener Durchsatz mal Betriebsstunden mal realistische Auslastung. Das ergibt die Token, die der Server pro Monat tatsächlich liefern kann.
  5. Vergleich: lokale Kosten pro Million Token gegen den API-Durchschnittspreis.

Als Formel in Python, zum Einsetzen eigener Werte:

# Alle Werte selbst einsetzen – hier keine Beispielpreise
api_preis_pro_mio = 0.0        # gewichteter Durchschnitt inkl. Cache/Batch
hardware_pro_monat = 0.0       # Anschaffung / Abschreibungsmonate
betrieb_pro_monat = 0.0        # Raum, Wartung, Versicherung
personal_pro_monat = 0.0       # anteilige Arbeitszeit
kw_durchschnitt = 0.0          # gemessene Leistungsaufnahme inkl. Kühlung
strompreis_pro_kwh = 0.0
tokens_pro_sekunde = 0.0       # gemessener Durchsatz bei Ihrer Last
auslastung = 0.0               # Anteil der Zeit mit sinnvoller Arbeit (0–1)

stunden = 730
strom = kw_durchschnitt * stunden * strompreis_pro_kwh
lokal_gesamt = hardware_pro_monat + betrieb_pro_monat + personal_pro_monat + strom
mio_tokens = tokens_pro_sekunde * 3600 * stunden * auslastung / 1e6

if mio_tokens > 0:
    lokal_pro_mio = lokal_gesamt / mio_tokens
    print(f"lokal: {lokal_pro_mio:.2f} pro Mio. Token, API: {api_preis_pro_mio:.2f}")

Rechnen Sie anschließend ein pessimistisches und ein optimistisches Szenario. Wenn der lokale Betrieb nur im optimistischen Fall gewinnt, ist die Entscheidung aus Kostensicht nicht belastbar.

Welche Kosten werden typischerweise übersehen?

Übersehen werden vor allem Kosten, die nicht auf einer Rechnung stehen: Personalzeit, Ausfallsicherheit, Modellpflege und Evaluierung. Auf der API-Seite werden dagegen Denk-Token, Wiederholungen bei Agenten und Tokenizer-Unterschiede unterschätzt. Beide Seiten haben blinde Flecken, und ein fairer Vergleich muss beide ausleuchten.

Auf der lokalen Seite:

  • Modellwechsel und Evaluierung. Neue Open-Weight-Modelle erscheinen laufend. Jeder Wechsel bedeutet Tests, ob die Qualität für Ihre Aufgaben reicht, und eventuell neue Prompts.
  • Sicherheit und Updates. Inferenz-Software, Treiber und Betriebssystem brauchen regelmäßige Updates. Ein ungepatchter Server mit Zugriff auf Unternehmensdaten ist ein Risiko.
  • Leerlauf. Ein Server, der für Spitzenlast ausgelegt ist, läuft den Großteil der Zeit unter Kapazität.
  • Lieferzeiten und Ersatz. Rechenzentrums-GPUs sind nicht immer kurzfristig lieferbar. Ein Defekt kann einen Prozess länger lahmlegen als ein API-Ausfall.

Auf der API-Seite:

  • Denk-Token. Reasoning-Modelle erzeugen Token, die Sie nicht sehen, aber bezahlen.
  • Agenten-Schleifen. Ein KI-Agent, der Werkzeuge aufruft, schickt bei jedem Schritt den bisherigen Verlauf erneut als Eingabe mit. Die Token-Menge wächst mit jeder Runde, wenn Sie nicht cachen oder kürzen.
  • Tokenizer-Wechsel. Dieselbe Textmenge ergibt nicht bei jedem Modell dieselbe Token-Zahl. Anthropic schreibt in der Modellübersicht, dass eine Million Token mit dem aktuellen Tokenizer rund 555.000 Wörter umfasst, bei älteren Modellen rund 750.000 Wörter. Wer das Modell wechselt, sollte seine Token-Mengen neu messen.
  • Preisänderungen. API-Preise können zwischen Modellgenerationen steigen oder fallen. Planen Sie mit Bandbreiten statt mit einem festen Wert.

Wann passt lokale KI aus Kostensicht nicht?

Aus reiner Kostensicht passt lokale KI nicht, wenn das Volumen klein oder stark schwankend ist, wenn kein Personal für den Betrieb da ist oder wenn nur die größten API-Modelle die nötige Qualität liefern. In diesen Fällen zahlen Sie für Kapazität, die Sie nicht nutzen, oder Sie bekommen schlechtere Ergebnisse.

Typische Signale gegen den eigenen Server:

  • Sie stehen am Anfang und kennen Ihr Volumen noch nicht. Dann ist die API das günstigere Experimentierfeld.
  • Die Last kommt in seltenen Spitzen, etwa bei Monatsabschlüssen oder Kampagnen.
  • Ihre Aufgabe braucht sehr lange Kontexte oder komplexes Reasoning, das lokal betreibbare Modelle noch nicht zuverlässig leisten.
  • Niemand im Haus kann oder will den Betrieb übernehmen.

Umgekehrt spricht oft nicht die Kostenrechnung allein für lokale KI, sondern Datenhoheit, Netztrennung, Latenz oder Unabhängigkeit vom Anbieter. Diese Gründe sind legitim – aber sie sollten als solche benannt werden und nicht als Kostenargument verkleidet. Welche Rolle sie spielen, behandelt die Seite zu souveräner KI.

Welche Mischformen gibt es?

Die meisten Unternehmen müssen sich nicht für eine Seite entscheiden. Eine Mischform betreibt die gleichmäßige Grundlast lokal und schickt Spitzen, seltene Spezialaufgaben oder besonders anspruchsvolle Anfragen an eine API. So bleibt der eigene Server gut ausgelastet, ohne für Spitzen dimensioniert zu sein.

Gängige Aufteilungen:

  • Nach Datenklasse: Vertrauliche Dokumente bleiben lokal, unkritische Anfragen gehen an die API.
  • Nach Schwierigkeit: Ein kleineres lokales Modell erledigt Routine wie Klassifikation oder Extraktion, ein großes API-Modell übernimmt die schwierigen Fälle.
  • Nach Zeit: Interaktive Anfragen tagsüber über die API, Batch-Verarbeitung nachts lokal – oder umgekehrt, je nachdem, wo die Kapazität günstiger ist.

Wie solche Architekturen aufgebaut sind, beschreibt der Überblick Hybride KI: lokal und Cloud kombinieren. Für die Rechnung bedeutet das: Teilen Sie Ihr Token-Profil auf und rechnen Sie jede Teilmenge einzeln. Eine Mischform braucht allerdings eine Routing-Schicht, die entscheidet, wohin eine Anfrage geht. Auch die kostet Entwicklungs- und Pflegezeit.

Wie fange ich an?

Beginnen Sie mit Messung statt Kauf. Protokollieren Sie über einige Wochen die tatsächlichen Token-Mengen Ihrer Anwendungsfälle über eine API, testen Sie parallel ein Open-Weight-Modell auf gemieteter Hardware und vergleichen Sie Qualität und Durchsatz. Erst mit diesen Zahlen lohnt sich die Break-even-Rechnung.

Ein praktikabler Ablauf:

  1. Anwendungsfälle auflisten und je Fall Volumen, Antwortzeitbedarf und Datenklasse notieren.
  2. API-Verbrauch messen, getrennt nach Eingabe, Ausgabe, Cache und Batch. Die Abrechnungsdaten der Anbieter liefern das bereits.
  3. Qualität lokal prüfen: Ein Open-Weight-Modell auf gemieteten GPUs mit Ihren echten Aufgaben testen, bevor Sie Hardware kaufen.
  4. Durchsatz messen mit einem Inferenz-Server wie vLLM unter realistischer Parallelität.
  5. Rechnung mit Bandbreiten aufstellen: pessimistisch, erwartet, optimistisch.
  6. Entscheidung mit Ausstiegspfad: Auch bei lokaler KI eine API als Ausweichlösung offenhalten.

Wer diese Schritte durchläuft, hat am Ende keine Bauchentscheidung, sondern eine Rechnung, die er gegenüber Geschäftsführung und Controlling vertreten kann. Und er weiß, welche Zahl sich ändern muss, damit die Entscheidung kippt – etwa ein Preisrutsch bei der API oder eine deutlich höhere Auslastung durch neue Anwendungsfälle.

Häufige Fragen

Gibt es eine feste Token-Menge, ab der lokale KI günstiger ist?

Nein. Die Schwelle hängt von Modellgröße, Hardware, Auslastung, Personalkosten und den aktuellen API-Preisen ab. Sie lässt sich nur mit Ihren eigenen Zahlen ermitteln.

Sind Open-Weight-Modelle kostenlos?

Die Gewichte sind oft frei nutzbar, der Betrieb nicht. Sie bezahlen Hardware, Strom, Kühlung, Wartung und die Menschen, die das System aktuell halten. Lizenzbedingungen sollten Sie trotzdem einzeln prüfen.

Lohnt sich lokale KI für einen einzelnen Anwendungsfall?

Selten allein aus Kostengründen. Häufiger entscheiden Datenhoheit, Netztrennung oder Latenz. Mehrere Anwendungsfälle auf derselben Hardware verbessern die Auslastung und damit die Rechnung.

Wie oft sollte ich die Rechnung wiederholen?

Mindestens bei jeder größeren Preisänderung der API-Anbieter, bei neuen Modellgenerationen und vor jeder Hardware-Erweiterung. API-Preise und Tokenizer ändern sich spürbar zwischen Modellgenerationen.

Quellen

  1. Anthropic: Pricing (Claude API) platform.claude.com
  2. Anthropic: Models overview platform.claude.com
  3. Anthropic: Batch processing platform.claude.com
  4. Anthropic: Thinking platform.claude.com
  5. OpenAI: Batch API developers.openai.com
  6. NVIDIA H100 Tensor Core GPU – Spezifikationen nvidia.com
  7. vLLM Dokumentation docs.vllm.ai