# Datenschutz im KI-Betrieb: Lokale Systeme richtig aufsetzen

> Nein. Lokaler Betrieb hält Prompts und Dokumente im eigenen Haus, ersetzt aber weder Rechtsgrundlage noch technisch-organisatorische Maßnahmen. Protokolle, Zugriffsrechte, Löschfristen, Verträge mit Dienstleistern und die Dokumentation müssen Sie weiterhin selbst regeln.

Kanonische URL: https://www.ruebstudio.de/de/wissen/lokale-ki/datenschutz-ki-betrieb-lokal  
Autor: Dr.-Ing. Marcus Rüb, CEO  
Veröffentlicht: 2026-11-06

Wer ein Sprachmodell auf eigenen Servern betreibt, löst ein wichtiges Problem: Prompts, Dokumente und Antworten verlassen das Haus nicht mehr. Damit ist der Datenschutz aber nicht erledigt, sondern er verlagert sich. Statt eines Vertrags mit einem Cloud-Anbieter müssen Sie nun selbst festlegen, was protokolliert wird, wer was sehen darf und wie Daten wieder verschwinden. Dieser Überblick zeigt die technisch-organisatorische Seite im Eigenbetrieb; die rechtliche Einordnung steht im Artikel [DSGVO und KI-Agenten im Unternehmen](https://www.ruebstudio.de/de/wissen/ki-recht/dsgvo-ki-agenten-unternehmen). Hinweis: Das ist Orientierung, keine Rechtsberatung.

## Was bedeutet Datenschutz im lokalen KI-Betrieb?

Datenschutz im lokalen KI-Betrieb heißt: Sie wenden die Grundsätze der DSGVO auf jede Stelle an, an der Ihr KI-System personenbezogene Daten speichert oder verarbeitet. Das sind nicht nur Modell und Eingabe, sondern auch Protokolle, Vektordatenbank, Zwischenspeicher und Backups. Der lokale Betrieb ändert, wer Verantwortung trägt, nicht ob.

Die Grundsätze stehen in [Art. 5 DSGVO](https://dsgvo-gesetz.de/art-5-dsgvo/): Rechtmäßigkeit und Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung sowie Integrität und Vertraulichkeit. Absatz 2 ergänzt die Rechenschaftspflicht: Sie müssen die Einhaltung nicht nur sicherstellen, sondern nachweisen können. Für ein KI-System bedeutet das ganz praktisch, dass es eine Dokumentation geben muss, die erklärt, welche Daten wo liegen und warum.

Lokaler Betrieb ist dabei ein echter Vorteil. Die Datenschutzkonferenz (DSK) hält in ihrer [Orientierungshilfe zu RAG-Systemen vom Oktober 2025](https://www.datenschutz-berlin.de/fileadmin/user_upload/pdf/publikationen/DSK/orientierungshilfen/2025-DSK-OH_RAG.pdf) fest, dass ein RAG-System unter Umständen on-premise betrieben werden kann und sich dadurch vermeiden lässt, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle übertragen werden. Dieselbe Orientierungshilfe macht aber klar, dass Transparenz, Zweckbindung und Betroffenenrechte im Einzelfall zu prüfen bleiben.

Typische Einsatzfälle, bei denen diese Fragen sofort auftauchen:

- ein interner Assistent, der Fragen zu Handbüchern, Prüfberichten und Servicetickets beantwortet,
- ein Agent, der Angebote aus früheren Vorgängen vorbereitet und dabei Kundenkontakte liest,
- eine Suche über Personalrichtlinien, Betriebsvereinbarungen oder Verträge.

In allen drei Fällen landen Namen, E-Mail-Adressen und Inhalte über Personen im System, auch wenn das niemand geplant hat.

## Aus welchen Bausteinen besteht ein lokales KI-System – und wo liegen die Daten?

Ein lokales KI-System besteht meist aus fünf Bausteinen: Modell-Server, Anwendung oder Chat-Oberfläche, Dokumentenablage, Vektordatenbank und Betriebsdaten wie Protokolle und Backups. Personenbezogene Daten können in jedem dieser Bausteine liegen, und für jeden brauchen Sie eine eigene Antwort auf Zugriff, Aufbewahrung und Löschung.

**Modell-Server.** Hier läuft das Sprachmodell, etwa mit Ollama oder vLLM. Das Modell selbst enthält Trainingsdaten des Herstellers, die Sie nicht kennen. Der Europäische Datenschutzausschuss stellt in seiner [Opinion 28/2024](https://www.edpb.europa.eu/system/files/2024-12/edpb_opinion_202428_ai-models_en.pdf) fest, dass mit personenbezogenen Daten trainierte Modelle nicht in allen Fällen als anonym gelten können; die Wahrscheinlichkeit, solche Daten herauszuholen, muss dafür unerheblich sein. Für den Betrieb heißt das: Wählen Sie Modelle mit dokumentierter Herkunft und bewerten Sie diese Frage, statt sie zu übergehen.

**Anwendung und Chat-Oberfläche.** Sie speichert oft den Gesprächsverlauf pro Nutzer. Das ist bequem und zugleich die größte unbemerkte Datensammlung im System, denn Mitarbeitende kopieren E-Mails, Lebensläufe oder Kundendaten in den Prompt.

**Dokumentenablage.** Die Referenzdokumente für [Retrieval-Augmented Generation (RAG)](https://www.ruebstudio.de/de/lexikon/rag-retrieval-augmented-generation) kommen aus Fileservern, SharePoint, dem Ticketsystem oder dem ERP. Sie bringen ihre eigenen Personendaten und ihre eigenen Berechtigungen mit.

**Vektordatenbank.** Aus den Dokumenten werden Textabschnitte (Chunks) und daraus Vektoren, sogenannte [Embeddings](https://www.ruebstudio.de/de/lexikon/embedding), erzeugt. Die DSK beschreibt, dass diese Vektoren zusammen mit einer Verknüpfung zu den Textabschnitten oder mit den Abschnitten selbst gespeichert werden. Wer die Datenbank liest, liest also im Zweifel die Inhalte mit.

**Betriebsdaten.** Protokolle des Modell-Servers, Monitoring, Fehlerberichte, Zwischenspeicher und Backups. Bei vLLM etwa lässt sich laut [CLI-Referenz](https://docs.vllm.ai/en/latest/cli/serve/) die Protokollierung von Anfragen einschalten; auf Debug-Stufe werden dann auch die Prompt-Eingaben geschrieben, und mit einer weiteren Option die Ausgaben. Eine einmal für die Fehlersuche gesetzte Option kann so zum dauerhaften Prompt-Archiv werden.

## Welche Themen müssen Sie im Betrieb regeln?

Im Betrieb kommen vier Themen immer wieder: was Sie protokollieren und wie lange, wer welche Dokumente über den Agenten sehen darf, wie Daten aus allen Speichern verschwinden und welche Datenklassen überhaupt in welches Modell dürfen. Jedes Thema lässt sich technisch lösen, aber nur, wenn es vor dem Start entschieden ist.

### Protokollierung von Prompts und Antworten

Protokolle brauchen Sie für Fehlersuche, Sicherheit und Nachvollziehbarkeit. Gleichzeitig sind sie eine Kopie aller Eingaben. Entscheiden Sie getrennt nach Zweck: Technische Metadaten (Zeitpunkt, Nutzerkennung, Modell, Dauer, Fehlercodes) reichen für den Regelbetrieb meist aus. Volltexte von Prompts und Antworten sollten die Ausnahme sein, mit kurzer, festgelegter Frist und eingeschränktem Lesezugriff. Die DSK weist darauf hin, dass eine Dokumentation der für die Antwort genutzten Quellen (Referenzen auf Chunks oder Dokumente) die Nachvollziehbarkeit verbessert. Diese Referenzen sind oft wertvoller als der ganze Antworttext.

### Berechtigungen im RAG

Das Sprachmodell kennt keine Rechte. Die DSK schreibt ausdrücklich, dass im Modell selbst nicht gesteuert werden kann, auf welche Informationen bestimmte Nutzer Zugriff haben dürfen. Die Steuerung muss deshalb vor dem Modell passieren: in der Vektordatenbank und beim Abruf der Dokumente. Als bewährte Maßnahmen nennt die Orientierungshilfe die Mandantentrennung beziehungsweise funktionale Trennung und ein Rechte- und Rollenkonzept. Praktisch heißt das: Jeder Chunk trägt die Berechtigung seines Quelldokuments, und der Retriever filtert nach den Rechten des anfragenden Nutzers, bevor ein Text das Modell erreicht.

### Löschung über alle Speicher

Hier liegt der größte Unterschied zwischen Modell und RAG. Nach der DSK sind Einträge in Vektordatenbank und Referenzdokumenten direkt adressierbar und damit gezielt löschbar; klassische Löschmechanismen nach Aufbewahrungsfristen lassen sich für beide nutzen. Die Probleme bei der Datenlöschung im Sprachmodell selbst bleiben dagegen bestehen. Daraus folgt eine Architekturregel: Personenbezogene Daten gehören in den RAG-Teil, nicht in ein mit Firmendaten nachtrainiertes Modell. Das ist auch für das Recht auf Löschung nach [Art. 17 DSGVO](https://dsgvo-gesetz.de/art-17-dsgvo/) entscheidend, das eine unverzügliche Löschung verlangt, sobald einer der dort genannten Gründe vorliegt.

### Datenklassen und Modellwahl

Nicht jede Information muss in jedes System. Legen Sie Datenklassen fest (zum Beispiel öffentlich, intern, vertraulich, besonders schutzbedürftig) und ordnen Sie jedem Modell und jeder Wissensquelle zu, welche Klassen erlaubt sind. Besonders schutzbedürftig sind die Kategorien aus Art. 9 DSGVO, etwa Gesundheitsdaten. Die DSK hält fest, dass auch solche Daten bei Erfüllung der Anforderungen im RAG verarbeitet werden können, weil sie nicht dauerhaft im Modell verbleiben, solange kein Training damit stattfindet. Wie lokale Systeme in eine souveräne Gesamtarchitektur passen, beschreibt die Seite [Souveräne KI](https://www.ruebstudio.de/de/souveraene-ki).

## Welche Voraussetzungen brauchen Sie?

Sie brauchen drei Dinge: eine Übersicht über die Daten, die das System sehen soll, ein funktionierendes Identitäts- und Rechtemanagement, an das sich das KI-System anbinden lässt, und klare Zuständigkeiten für Betrieb und Datenschutz. Fehlt eines davon, entstehen die typischen Lücken – meist bei Rechten und Löschung.

**Datenübersicht.** Welche Quellen sollen angebunden werden, welche Personengruppen kommen darin vor (Kunden, Mitarbeitende, Bewerber, Lieferanten), welche Aufbewahrungsfristen gelten bereits für die Originale?

**Identität und Rechte.** Das KI-System sollte sich an Ihren bestehenden Verzeichnisdienst anbinden (etwa Microsoft Entra ID oder ein LDAP-Verzeichnis), damit Gruppen und Rechte nicht doppelt gepflegt werden. Für den Modell-Server selbst gilt: Er braucht einen geschützten Zugang. Ollama lauscht laut [Ollama-FAQ](https://docs.ollama.com/faq) standardmäßig nur auf 127.0.0.1, Port 11434; wer über `OLLAMA_HOST` auf alle Netzwerkschnittstellen umstellt, macht die Schnittstelle im Netz erreichbar. Eine eingebaute Anmeldung für die lokale Schnittstelle beschreibt die FAQ nicht. vLLM bietet mit `--api-key` einen Schlüssel, der laut Dokumentation aber nur bestimmte Endpunkte schützt.

**Zuständigkeiten.** Wer entscheidet über neue Wissensquellen? Wer prüft Protokolle? Wer bearbeitet Auskunfts- und Löschanfragen, die das KI-System betreffen? Ohne Namen an diesen Stellen bleibt jede Regel Papier.

**Verträge.** Lokal heißt nicht automatisch ohne Dienstleister. Betreibt ein Hoster die Server, hat ein IT-Dienstleister Fernzugriff oder läuft das Monitoring als Cloud-Dienst, prüfen Sie einen Vertrag zur Auftragsverarbeitung nach [Art. 28 DSGVO](https://dsgvo-gesetz.de/art-28-dsgvo/). Der Dienstleister darf Daten dann nur auf dokumentierte Weisung verarbeiten.

## Wie setzen Sie den Betrieb Schritt für Schritt auf?

Gehen Sie in sechs Schritten vor: Zweck festlegen, Datenflüsse aufzeichnen, Voreinstellungen datensparsam wählen, Rechte durchreichen, Fristen und Löschung automatisieren, dokumentieren und regelmäßig prüfen. Die Reihenfolge ist wichtig, weil spätere Schritte auf den Entscheidungen der früheren aufbauen.

1. **Zweck festlegen.** Formulieren Sie für jede Anwendung einen konkreten Zweck, etwa „Beantwortung technischer Rückfragen aus Servicehandbüchern und abgeschlossenen Tickets“. Der Zweck bestimmt, welche Quellen angebunden werden dürfen. Eine Quelle, die nicht zum Zweck passt, bleibt draußen, auch wenn sie nützlich wäre.

2. **Datenflüsse aufzeichnen.** Zeichnen Sie den Weg eines Prompts: Oberfläche, Anwendung, Retriever, Vektordatenbank, Modell-Server, Antwort, Protokoll, Backup. Markieren Sie jede Stelle, an der Inhalte gespeichert werden. Diese Skizze ist die Grundlage für das Verzeichnis von Verarbeitungstätigkeiten nach [Art. 30 DSGVO](https://dsgvo-gesetz.de/art-30-dsgvo/), das unter anderem Zwecke, Datenkategorien, Empfänger und – wenn möglich – Löschfristen und eine allgemeine Beschreibung der technischen und organisatorischen Maßnahmen enthält.

3. **Voreinstellungen datensparsam wählen.** [Art. 25 DSGVO](https://dsgvo-gesetz.de/art-25-dsgvo/) verlangt Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen: Standardmäßig dürfen nur die für den Zweck erforderlichen Daten verarbeitet werden, auch was Speicherdauer und Zugänglichkeit angeht. Konkret: Gesprächsverläufe nur speichern, wenn Nutzer das brauchen; Volltext-Logging auf dem Modell-Server ausgeschaltet lassen; Debug-Stufen nur befristet aktivieren.

4. **Rechte durchreichen.** Übernehmen Sie beim Einlesen die Berechtigungen jedes Quelldokuments in die Metadaten der Chunks. Der Retriever filtert bei jeder Anfrage nach den Gruppen des angemeldeten Nutzers. Testen Sie das mit zwei Testkonten unterschiedlicher Abteilungen, bevor echte Nutzer kommen.

5. **Fristen und Löschung automatisieren.** Legen Sie für jede Speicherstelle eine Frist fest und setzen Sie sie mit Jobs um, nicht per Hand. Wird ein Quelldokument gelöscht oder geändert, müssen die zugehörigen Chunks und Vektoren beim nächsten Abgleich verschwinden. Prüfen Sie auch, wie lange Backups die gelöschten Daten noch enthalten, und dokumentieren Sie das.

6. **Dokumentieren und regelmäßig prüfen.** [Art. 32 DSGVO](https://dsgvo-gesetz.de/art-32-dsgvo/) verlangt unter anderem Verschlüsselung und Pseudonymisierung, wo angemessen, die Fähigkeit zur Wiederherstellung nach Zwischenfällen und ein Verfahren zur regelmäßigen Überprüfung der Wirksamkeit der Maßnahmen. Planen Sie diese Prüfung fest ein, etwa nach jeder neu angebundenen Quelle und bei jedem Modellwechsel.

Ob zusätzlich eine Datenschutz-Folgenabschätzung nötig ist, hängt vom Risiko ab. [Art. 35 DSGVO](https://dsgvo-gesetz.de/art-35-dsgvo/) verlangt sie bei voraussichtlich hohem Risiko, insbesondere bei Verwendung neuer Technologien, und nennt als Regelbeispiele unter anderem die umfangreiche Verarbeitung besonderer Kategorien personenbezogener Daten.

## Wo liegen Grenzen und Risiken?

Die größten Risiken im Eigenbetrieb sind offen erreichbare Modell-Server, RAG-Systeme ohne Rechteprüfung, vergessene Protokolle und Backups sowie die Annahme, ein lokales Modell sei automatisch unbedenklich. Hinzu kommen Grenzen, die sich technisch nicht vollständig lösen lassen: Ausgaben bleiben schwer erklärbar und das Modell kann falsche Aussagen über Personen erzeugen.

**Transparenz bleibt begrenzt.** Die DSK schreibt, dass sich mit RAG die Nachvollziehbarkeit des Inputs verbessern lässt, die Transparenz in Bezug auf das Sprachmodell aber nicht. Auch bei Embeddings sei nicht nachvollziehbar, warum einem Chunk ein bestimmter Vektor zugeordnet wird.

**Richtigkeit ist nicht garantiert.** RAG kann Halluzinationen nach Einschätzung der DSK in gewissem Umfang reduzieren; dass das Modell trotzdem unrichtige personenbezogene Daten ausgibt, lässt sich aber nicht vollständig ausschließen. Für Auskünfte über Personen sollte die Antwort deshalb immer auf die Quelle verweisen, und ein Mensch prüft, bevor etwas nach außen geht.

**Zweckbindung kann unbemerkt brechen.** Die DSK weist darauf hin, dass sich Daten aus der Vektordatenbank mit Daten im Modell verketten können und das in der Ausgabe gegebenenfalls nicht erkennbar ist. Das spricht für eng zugeschnittene Anwendungen statt eines Assistenten, der „alles“ weiß.

**Angriffe auf den RAG-Teil.** Die Orientierungshilfe nennt Membership-Inference- und Data-Poisoning-Angriffe auf die Daten im RAG-Subsystem. Wer Dokumente in die Wissensbasis schreiben kann, kann die Antworten beeinflussen; Schreibrechte auf die Quellen sind deshalb sicherheitsrelevant.

**Training mit Firmendaten.** Wer ein Modell mit personenbezogenen Daten nachtrainiert, verliert die gezielte Löschbarkeit. Diesen Schritt sollten Sie nur gehen, wenn er wirklich nötig ist, und vorher bewerten.

**Wann lokaler Betrieb nicht passt.** Fehlen Personal und Prozesse für Updates, Rechteverwaltung und Überwachung, kann ein sauber vertraglich abgesicherter Dienst mit Datenverarbeitung in der EU das geringere Risiko sein. Ein schlecht gewarteter Server im eigenen Keller schützt Daten nicht besser als ein gut betriebener Dienst mit klarer Auftragsverarbeitung.

## Wie fangen Sie an?

Fangen Sie mit einer einzigen, eng umrissenen Anwendung an, für die Sie Zweck, Quellen und Nutzergruppen klar benennen können. Bauen Sie dafür Rechteprüfung, Protokollierungsregeln und Löschjobs von Anfang an ein und erweitern Sie erst danach auf weitere Quellen.

Eine praktikable Reihenfolge für die ersten Wochen:

- **Inventur:** Liste der geplanten Quellen mit Personengruppen, bestehenden Rechten und Aufbewahrungsfristen.
- **Architektur-Skizze:** Datenfluss vom Prompt bis zum Backup, mit jeder Speicherstelle.
- **Betriebsregeln:** Was wird protokolliert, wer liest Protokolle, welche Fristen gelten, wer bearbeitet Anfragen von Betroffenen.
- **Technische Mindestmaßnahmen:** Modell-Server nicht offen im Netz, Anmeldung an der Oberfläche, Rechtefilter im Retriever, verschlüsselte Datenträger, getestete Löschung.
- **Dokumentation:** Eintrag im Verarbeitungsverzeichnis, Beschreibung der Maßnahmen, Entscheidung zur Folgenabschätzung mit Begründung.
- **Test mit echten Rollen:** zwei oder drei Testkonten aus verschiedenen Abteilungen, gezielte Fragen nach Inhalten, die sie nicht sehen dürfen.

In unserem eigenen Betrieb hat sich bewährt, die Rechteprüfung als automatischen Test zu formulieren, der bei jeder neuen Quelle mitläuft: Ein Testkonto ohne Berechtigung stellt eine Frage, deren Antwort nur in einem gesperrten Dokument steht, und der Test schlägt fehl, wenn das System sie beantwortet.

Wenn Sie lokale Systeme nicht nur für eine Wissenssuche, sondern für Fachprozesse planen, lohnt ein Blick auf [KI-Agenten für das Wissensmanagement](https://www.ruebstudio.de/de/ki-agenten/wissensmanagement) und auf den Aufbau einer [KI-Organisation im Unternehmen](https://www.ruebstudio.de/de/ki-aufbau). Die rechtlichen Grundlagen wie Rechtsgrundlage, Informationspflichten und Betroffenenrechte behandelt der Artikel [DSGVO und KI-Agenten im Unternehmen](https://www.ruebstudio.de/de/wissen/ki-recht/dsgvo-ki-agenten-unternehmen); dieser Überblick ergänzt ihn um die Frage, wie Sie das im eigenen Rechenzentrum technisch umsetzen.

## Häufige Fragen

### Brauche ich für ein lokales Sprachmodell einen Auftragsverarbeitungsvertrag?

Mit dem Modellhersteller in der Regel nicht, solange das Modell nur auf Ihren Servern läuft. Betreibt aber ein Rechenzentrum, ein Hoster oder ein IT-Dienstleister die Maschinen oder hat Fernzugriff, ist ein Vertrag nach Art. 28 DSGVO zu prüfen.

### Sind Embeddings in der Vektordatenbank personenbezogene Daten?

Sie können es sein, weil sie mit den Textabschnitten verknüpft oder zusammen mit ihnen gespeichert werden. Behandeln Sie Vektoren deshalb wie die Quelldokumente: gleiche Rechte, gleiche Löschfristen.

### Muss ich für ein internes KI-System eine Datenschutz-Folgenabschätzung machen?

Das hängt vom Risiko ab, nicht vom Betriebsort. Verarbeitet das System etwa Gesundheits- oder Personaldaten in großem Umfang oder bereitet es Entscheidungen über Personen vor, spricht viel für eine DSFA nach Art. 35 DSGVO.

### Kann ich einzelne Personen aus einem lokalen Modell löschen?

Aus dem Modell selbst praktisch nicht, aus Dokumentenablage, Vektordatenbank und Protokollen dagegen schon. Deshalb gehören personenbezogene Daten in den RAG-Teil und nicht in ein nachtrainiertes Modell.

### Reicht es, den Modell-Server nur im internen Netz zu betreiben?

Nein. Das interne Netz ersetzt keine Anmeldung, keine Rollen und keine Protokollierung. Jeder Mitarbeitende mit Netzzugang käme sonst an alle Antworten, die das System liefern kann.

## Quellen

- [DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0, Oktober 2025](https://www.datenschutz-berlin.de/fileadmin/user_upload/pdf/publikationen/DSK/orientierungshilfen/2025-DSK-OH_RAG.pdf)
- [EDSA/EDPB: Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models](https://www.edpb.europa.eu/system/files/2024-12/edpb_opinion_202428_ai-models_en.pdf)
- [Art. 5 DSGVO – Grundsätze für die Verarbeitung personenbezogener Daten](https://dsgvo-gesetz.de/art-5-dsgvo/)
- [Art. 17 DSGVO – Recht auf Löschung](https://dsgvo-gesetz.de/art-17-dsgvo/)
- [Art. 25 DSGVO – Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen](https://dsgvo-gesetz.de/art-25-dsgvo/)
- [Art. 28 DSGVO – Auftragsverarbeiter](https://dsgvo-gesetz.de/art-28-dsgvo/)
- [Art. 30 DSGVO – Verzeichnis von Verarbeitungstätigkeiten](https://dsgvo-gesetz.de/art-30-dsgvo/)
- [Art. 32 DSGVO – Sicherheit der Verarbeitung](https://dsgvo-gesetz.de/art-32-dsgvo/)
- [Art. 35 DSGVO – Datenschutz-Folgenabschätzung](https://dsgvo-gesetz.de/art-35-dsgvo/)
- [Ollama FAQ](https://docs.ollama.com/faq)
- [vLLM: vllm serve – CLI-Referenz](https://docs.vllm.ai/en/latest/cli/serve/)
