
Lokale KI auf Ihren eigenen Servern — auf Wunsch ganz ohne Internet
Die erste Frage im Mittelstand ist fast nie „Was kann KI?“. Sie lautet: „Wo landen dabei unsere Daten?“ Darauf gibt es eine bessere Antwort als eine Klausel im Vertrag: Lokale KI heißt, das Sprachmodell läuft auf Rechnern in Ihrem Netz. Anfragen und Dokumente verlassen das Haus nicht — wenn Sie wollen, auch ganz ohne Verbindung nach außen.
- Modelle, die auf Ihren Servern laufen
- Die Hardware dafür, richtig ausgelegt
- Ihre Dokumente durchsuchbar machen
- Teils im Haus, teils in der Cloud
- Betrieb, damit es nach sechs Monaten noch läuft
- Von der Cloud ins eigene Haus
Welche Daten dürfen nicht in die Cloud?
Konstruktionsdaten, Kalkulationen, Personalakten, Kundenverträge, Rezepturen, Quellcode. Wenn ein Agent darauf zugreifen muss, um nützlich zu sein, entscheidet der Aufbau darüber, ob das Projekt überhaupt zustande kommt.
Kein unfreiwilliger Abfluss
Läuft das Modell auf Ihrer Hardware, verlässt kein Dokument und keine Anfrage Ihr Netz. Das steht nicht im Vertrag, das ist eine Eigenschaft des Aufbaus.
Unabhängig von Anbietern
Preise ändern sich, Modelle werden abgekündigt, Bedingungen werden angepasst. Wer den Unterbau selbst betreibt, kann das Modell tauschen, ohne alles neu zu bauen.
Kosten, die Sie vorher kennen
Wenn Sie pro Anfrage zahlen, kennen Sie die Rechnung erst hinterher. Ein eigener Server kostet einmal und danach kalkulierbar wenig.
Sie können belegen, wer was gesehen hat
In einer eigenen Umgebung lässt sich protokollieren, wer welche Information wann über welchen Weg gesehen hat. Das erleichtert jedes Gespräch mit Datenschutz und Revision.
DSGVO und AI Act
Seit August 2026 gilt der AI Act in weiten Teilen. Für die meisten Agenten im Mittelstand heißt das zwei Dinge: Ihre Leute müssen wissen, womit sie arbeiten, und es muss erkennbar sein, wenn eine Antwort von einer KI kommt. Beides regelt man am Anfang in einem Absatz — oder später in einem Projekt. Wer Bewerbungen vorsortieren lassen will, landet dagegen in einer strengeren Kategorie; darüber sprechen wir, bevor wir etwas bauen.
Im Fachjargon: on-premise
Gemeint ist immer dasselbe: Die Modelle laufen auf Rechnern, die Ihnen gehören, in Ihrem Netz. Wer stattdessen ein deutsches Rechenzentrum mietet, erfüllt dieselbe Anforderung, ohne Hardware zu kaufen. Beides besprechen wir.
Drei Stufen: vom eigenen Server bis komplett offline
Lokal ist nicht gleich lokal. Wie weit die KI vom Internet getrennt sein muss, hängt an Ihren Daten und Ihren Vorgaben. Alle drei Stufen bauen wir auf demselben Unterbau.
1 · Eigener Server
Das Modell läuft in Ihrem Serverraum oder in einem gemieteten deutschen Rechenzentrum. Ihre Daten bleiben bei Ihnen, Updates und neue Modelle kommen über die normale Internetverbindung.
2 · Ohne Cloud
Kein Datenverkehr zu KI-Anbietern, keine Telemetrie. Die Firewall lässt nur durch, was Sie freigegeben haben. Für die Mitarbeiter fühlt es sich an wie ein internes ChatGPT.
3 · Komplett offline
Keine Verbindung nach außen, auch nicht für Updates (im Fachjargon „air-gapped“). Modelle, Software und Aktualisierungen kommen geprüft per Datenträger ins Netz. Für Fertigungsnetze, Entwicklungsabteilungen und Bereiche mit Geheimschutz.
Was es braucht, damit KI im eigenen Haus läuft
Modelle, die auf Ihren Servern laufen
Auswahl, Betrieb und Optimierung offener Modelle auf Ihrer Hardware — passend zur Aufgabe statt „das größte, das geht“.
Die Hardware dafür, richtig ausgelegt
Auslegung, Beschaffung und Einrichtung der Server. Dimensioniert an realer Last, nicht an Prospektwerten.
Ihre Dokumente durchsuchbar machen
Jede Antwort mit Quellenangabe, und jeder Mitarbeiter sieht nur, was er auch sonst sehen darf. Ohne dass ein Dokument Ihr Netz verlässt.
Teils im Haus, teils in der Cloud
Sensibles bleibt lokal, Unkritisches darf nach außen. Die Grenze ziehen Sie — wir sorgen dafür, dass sie technisch hält.
Betrieb, damit es nach sechs Monaten noch läuft
Verfügbarkeit, Aktualisierung, Protokollierung, Kostenkontrolle. Damit die Infrastruktur nicht zum Problem der IT wird.
Von der Cloud ins eigene Haus
Bestehende Cloud-Lösungen schrittweise ins Haus holen, ohne den laufenden Betrieb anzuhalten.
Was wir dazu offen sagen
Lokal ist nicht automatisch besser. Eigene Hardware kostet Geld und will betrieben werden, und die größten Modelle laufen weiterhin in der Cloud. Und sie rechnet sich nicht über die Kosten: Ein Agent, der ein paar hundert Anfragen am Tag beantwortet, ist über die Cloud auf Jahre hinaus billiger. Ein eigener Server lohnt sich, wenn Ihre Daten das Haus nicht verlassen dürfen — oder wenn ein Agent den ganzen Tag arbeitet. Welcher Weg für Sie richtig ist, klären wir, bevor irgendjemand Hardware bestellt.
Was Unternehmen uns zu lokaler KI fragen
Funktioniert KI auch ohne Internet?
Ja. Offene Sprachmodelle laufen vollständig auf eigener Hardware, eine Internetverbindung braucht es dafür nicht. Das Modell wird einmal ins Netz gebracht und arbeitet danach offline: Dokumente durchsuchen, Fragen beantworten, Entwürfe schreiben. Nur für neue Modelle und Updates muss etwas ins Netz kommen — wenn nötig per Datenträger.
Kann man ChatGPT offline nutzen?
ChatGPT selbst nicht, es läuft nur in der Cloud von OpenAI. Es gibt aber offene Modelle, die auf eigenen Servern laufen, und Oberflächen, die sich wie ChatGPT bedienen lassen. So entsteht ein internes ChatGPT, bei dem keine Eingabe Ihr Haus verlässt.
Wie kommen Updates in ein Netz ohne Internet?
Über einen festgelegten Weg: Neue Modelle und Software werden außerhalb geladen, geprüft und per Datenträger oder Datenschleuse ins abgeschottete Netz gebracht. Welche Versionen laufen, ist dokumentiert. Das richten wir so ein, dass Ihre IT es ohne uns wiederholen kann.
Läuft lokale KI auch auf einem einzelnen PC oder Laptop?
Kleinere Modelle laufen auf einem guten Arbeitsplatzrechner, auch offline — gut zum Ausprobieren oder für Einzelne mit sehr vertraulichen Daten. Sobald mehrere Menschen gleichzeitig damit arbeiten oder ein Agent auf Unternehmensdaten zugreift, gehört die KI auf einen zentralen Server.
Welche Hardware braucht man für lokale KI?
Für die meisten Agenten im Mittelstand reicht ein einzelner Server mit leistungsfähigen Grafikkarten, der in Ihrem bestehenden Serverraum steht. Wie groß er sein muss, hängt davon ab, wie viele Menschen gleichzeitig damit arbeiten und welche Modelle die Aufgabe braucht. Wir legen die Hardware an Ihrer realen Last aus, nicht an Prospektwerten — und bevor irgendjemand etwas bestellt.
Ist eine lokale KI so gut wie ChatGPT?
Für allgemeines Weltwissen und sehr anspruchsvolle Aufgaben sind die größten Cloud-Modelle weiterhin vorn. Für die Aufgaben eines Agenten im Unternehmen — Dokumente lesen, Antworten mit Quelle geben, Entwürfe schreiben — reichen offene Modelle, die auf eigener Hardware laufen, in vielen Fällen aus. Ob das für Ihren Anwendungsfall gilt, testen wir an Ihren Daten, bevor Sie investieren.
Ist eine lokale KI automatisch DSGVO-konform?
Nicht automatisch, aber sie ist datenschutzkonform betreibbar, und vieles wird einfacher: Wenn keine Daten Ihr Netz verlassen, entfällt die Frage, was ein Cloud-Anbieter damit macht. Berechtigungen, Protokollierung und Löschfristen müssen trotzdem sauber geregelt sein. Das bauen wir von Anfang an mit ein.
Eigener Server oder deutsches Rechenzentrum?
Beides kann die Anforderung erfüllen, dass Ihre Daten unter Ihrer Kontrolle bleiben. Ein eigener Server lohnt sich, wenn Daten das Haus gar nicht verlassen dürfen oder ein Agent den ganzen Tag arbeitet. Ein gemietetes Rechenzentrum spart den Hardwarekauf. Wir rechnen beides mit Ihnen durch.
Was muss bei Ihnen im Haus bleiben?
Wir sehen uns gemeinsam an, welche Ihrer Daten wirklich nicht hinaus dürfen — und was das für den Aufbau bedeutet.