# KI-Tools im Unternehmen auswählen: Die Landkarte für den Mittelstand

> Ein mittelständisches Unternehmen braucht selten ein einzelnes KI-Tool, sondern je eine Lösung auf vier Ebenen: Assistent, Automations- oder Agentenplattform, Coding-Agent und bei sensiblen Daten eine lokale Laufzeit. Ausgewählt wird nach Prozess, Datenklasse und Betriebsmodell, nicht nach Modell-Rangliste.

Kanonische URL: https://www.ruebstudio.de/de/wissen/ki-tools-und-plattformen/ki-tools-unternehmen-auswaehlen  
Autor: Dr.-Ing. Marcus Rüb, CEO  
Veröffentlicht: 2026-10-27

Wer heute „KI-Tools" sucht, findet Hunderte Produkte, die scheinbar alle dasselbe können. Für ein mittelständisches Unternehmen ist die Frage aber nicht, welches Tool gerade vorne liegt, sondern welche Art von Werkzeug zu welchem Prozess und zu welchen Daten passt. Diese Landkarte ordnet das Angebot in vier Ebenen, nennt Auswahlkriterien und zeigt, in welcher Reihenfolge man sinnvoll vorgeht (Stand: Oktober 2026).

## Was sind KI-Tools im Unternehmen und wofür werden sie eingesetzt?

KI-Tools im Unternehmen sind Software, die Sprachmodelle für Arbeit nutzbar macht: Texte entwerfen, Dokumente durchsuchen, Abläufe automatisieren, Code schreiben. Das Modell selbst ist dabei nur ein Baustein. Entscheidend ist, was um das Modell herum gebaut ist: Oberfläche, Anbindung an Ihre Systeme, Rechteverwaltung und der Vertrag, unter dem Ihre Daten verarbeitet werden.

Typische Einsatzfelder im Mittelstand sind:

- **Textarbeit im Büro:** Angebote formulieren, E-Mails beantworten, Protokolle zusammenfassen, Lastenhefte gegenlesen.
- **Wissen finden:** Fragen an Handbücher, Normen, Servicehistorie oder interne Richtlinien stellen, statt Ordner zu durchsuchen.
- **Wiederkehrende Abläufe:** eingehende Anfragen klassifizieren, Lieferscheine auslesen, Daten zwischen ERP, CRM und E-Mail übertragen.
- **Softwareentwicklung:** interne Werkzeuge, Schnittstellen, Auswertungen und Tests schneller bauen.
- **Vertrauliche Daten:** Konstruktions-, Personal- oder Vertragsdaten auswerten, ohne dass sie das Unternehmen verlassen.

Jedes dieser Felder hat eine eigene Werkzeugklasse. Wer alles mit einem Chat-Assistenten lösen will, stößt schnell an Grenzen; wer für jedes Feld ein eigenes Produkt kauft, verliert den Überblick.

## Wie ist die Tool-Landschaft aufgebaut? Die vier Ebenen

Die Landschaft lässt sich in vier Ebenen ordnen, die aufeinander aufbauen: Assistenten für die tägliche Arbeit einzelner Personen, Automations- und Agentenplattformen für Abläufe, Coding-Agenten für die Entwicklung eigener Lösungen und lokale Laufzeiten für Modelle im eigenen Rechenzentrum. Fast jedes Produkt lässt sich einer dieser Ebenen zuordnen.

| Ebene | Wofür | Typische Vertreter | Wer nutzt es |
|---|---|---|---|
| 1. Assistenten | Textarbeit, Recherche, Analyse im Dialog | ChatGPT, Claude, Microsoft Copilot, Gemini, Le Chat | alle Mitarbeitenden |
| 2. Automations- und Agentenplattformen | wiederkehrende Abläufe zwischen Systemen | n8n, Make, Zapier, Dify, Copilot Studio | Fachbereich mit IT |
| 3. Coding-Agenten | eigene Werkzeuge und Integrationen bauen | Claude Code, Codex, Cursor, GitHub Copilot | Entwicklung, technische Fachkräfte |
| 4. Lokale Laufzeiten | Modelle auf eigener Hardware betreiben | Ollama, vLLM, llama.cpp, LM Studio, Open WebUI | IT-Betrieb |

Die Ebenen ersetzen sich nicht gegenseitig. Ein Unternehmen kann einen Cloud-Assistenten für allgemeine Textarbeit nutzen, Abläufe mit einer Plattform automatisieren und für vertrauliche Konstruktionsdaten einen lokalen Server betreiben, den dieselbe Plattform anspricht.

## Ebene 1: Wann reicht ein KI-Assistent?

Ein Assistent reicht, wenn Menschen im Dialog mit dem Modell arbeiten und das Ergebnis selbst weiterverwenden: einen Text verbessern, ein PDF zusammenfassen, eine Tabelle auswerten. Er ist der schnellste Einstieg, weil er ohne Integration funktioniert. Entscheidend ist der Vertrag: Unternehmenslizenzen regeln Datenverarbeitung und Training anders als private Konten.

Ein Beispiel für diesen Unterschied: Microsoft beschreibt, dass die Nutzung von Microsoft Copilot und Copilot Chat in Organisationen unter dem [Data Protection Addendum mit Microsoft als Auftragsverarbeiter](https://learn.microsoft.com/en-us/copilot/microsoft-365/enterprise-data-protection) steht und Prompts und Antworten nicht zum Training der Basismodelle verwendet werden. Dieselbe Seite weist aber auch darauf hin, dass Websuchanfragen an Bing anders behandelt werden, mit Microsoft als eigenständig Verantwortlichem. Anthropic schreibt in seinen [kommerziellen Nutzungsbedingungen](https://www.anthropic.com/legal/commercial-terms), dass es keine Modelle auf Kundeninhalten aus seinen Diensten trainieren darf. Solche Details stehen nicht im Prospekt, sondern in Vertrag und Dokumentation. Den Einsatz eines einzelnen Assistenten im Detail beschreibt der Artikel zu [Claude im Unternehmen](https://www.ruebstudio.de/de/wissen/ki-tools-und-plattformen/claude-im-unternehmen); diese Landkarte ordnet ihn nur in die Ebenen ein.

Grenzen eines Assistenten: Er arbeitet nur, wenn jemand ihn bedient. Er greift nur auf die Systeme zu, für die es Konnektoren gibt, und nur mit den Rechten der jeweiligen Person. Für einen Ablauf, der täglich hundertmal ohne Menschen laufen soll, ist er das falsche Werkzeug.

## Ebene 2: Wann braucht es eine Automations- oder Agentenplattform?

Eine Plattform wird nötig, wenn ein Ablauf regelmäßig und ohne manuellen Start laufen soll: eine Anfrage kommt per E-Mail, wird klassifiziert, die Kundendaten werden aus dem CRM geholt, ein Angebotsentwurf entsteht und landet zur Freigabe beim Vertrieb. Solche Plattformen verbinden Systeme und rufen an den passenden Stellen ein Sprachmodell auf.

Die Angebote unterscheiden sich vor allem in drei Punkten:

- **Betriebsmodell:** reine Cloud-Dienste oder selbst betreibbar. n8n etwa lässt sich laut [Hosting-Dokumentation](https://docs.n8n.io/hosting/) auf eigener Infrastruktur, im eigenen Rechenzentrum oder in einer privaten Cloud betreiben.
- **Lizenz:** „quelloffen" heißt nicht immer frei nutzbar. Der Großteil des n8n-Codes steht unter der [Sustainable Use License](https://github.com/n8n-io/n8n/blob/master/LICENSE.md), die Nutzung und Änderung für eigene interne Geschäftszwecke erlaubt, die Weitergabe aber einschränkt. Für den internen Einsatz passt das, für ein Produkt, das Sie an Dritte verkaufen, nicht ohne Weiteres. Den Einsatz dieser einen Plattform vertieft der Artikel [n8n im Unternehmen](https://www.ruebstudio.de/de/wissen/ki-tools-und-plattformen/n8n-im-unternehmen), während es hier um die Einordnung der ganzen Ebene geht.
- **Zielgruppe:** Manche Werkzeuge richten sich an Fachanwender mit grafischem Editor, andere an Entwickler, die Agenten mit Werkzeugen und Gedächtnis zusammenstellen.

Grenzen: Grafische Abläufe werden bei vielen Sonderfällen unübersichtlich. Fehlerbehandlung, Versionierung und Tests sind in manchen Plattformen schwächer als in klassischem Code. Und ein Ablauf, der automatisch Entscheidungen trifft, braucht klare Freigabepunkte, an denen ein Mensch bestätigt. Wie solche Fachagenten für einzelne Prozesse aussehen, zeigt die Übersicht zu [KI-Agenten für Angebot, Service, Wissen und Vertrieb](https://www.ruebstudio.de/de/ki-agenten).

## Ebene 3: Wofür sind Coding-Agenten da?

Coding-Agenten schreiben, ändern und testen Software weitgehend selbstständig. Sie sind das Werkzeug, wenn die Plattform an Grenzen stößt oder ein Unternehmen eigene Integrationen und interne Werkzeuge bauen will. Für den Mittelstand sind sie interessant, weil auch kleine IT-Teams damit Schnittstellen und Auswertungen umsetzen können, die früher extern vergeben wurden.

Anthropic beschreibt [Claude Code](https://code.claude.com/docs/en/overview) als agentisches Werkzeug, das die Codebasis liest, Dateien bearbeitet, Befehle ausführt und mit Entwicklungswerkzeugen zusammenarbeitet; es läuft im Terminal, in IDEs wie VS Code und JetBrains, als Desktop-App und im Browser. Über das [Model Context Protocol (MCP)](https://www.ruebstudio.de/de/lexikon/was-ist-model-context-protocol-mcp) kann es zusätzliche Datenquellen und Werkzeuge anbinden. Vergleichbare Produkte anderer Anbieter unterscheiden sich in Bedienoberfläche, Modellwahl und Integration in bestehende Entwicklungsumgebungen.

Grenzen: Ein Coding-Agent ersetzt kein Verständnis der Fachlichkeit. Er führt auf Ihrem Rechner oder in Ihrer Umgebung Befehle aus und braucht deshalb klare Berechtigungen, Code-Review und eine Versionsverwaltung. In unserem eigenen Betrieb hat sich bewährt, Agenten nur in Repositories mit Tests arbeiten zu lassen und jede Änderung über Git nachvollziehbar zu halten.

## Ebene 4: Wann gehören Modelle auf eigene Hardware?

Lokale Laufzeiten betreiben offene Sprachmodelle auf eigener Hardware, sodass Daten das Unternehmen nicht verlassen. Sie lohnen sich, wenn vertrauliche Daten verarbeitet werden, wenn Internetverbindung oder Vertragslage die Cloud ausschließen oder wenn viele gleichartige Anfragen dauerhaft anfallen. Der Preis dafür ist eigener Betriebsaufwand.

Die Werkzeuge haben unterschiedliche Schwerpunkte:

- [Ollama](https://github.com/ollama/ollama) steht unter MIT-Lizenz, läuft auf macOS, Windows und Linux und stellt eine REST-Schnittstelle bereit, im Standard unter `localhost:11434`. Gut für Arbeitsplätze, Tests und kleinere Server.
- [vLLM](https://docs.vllm.ai/en/latest/) ist eine Serving-Bibliothek für hohen Durchsatz mit OpenAI-kompatiblem API-Server. Laut [Projektseite](https://github.com/vllm-project/vllm) steht es unter Apache-2.0-Lizenz und unterstützt unter anderem NVIDIA-, AMD- und Intel-GPUs. Gedacht für Server, die viele Anfragen parallel bedienen.
- [Open WebUI](https://docs.openwebui.com/) ist eine selbst gehostete Chat-Oberfläche, die laut Dokumentation auch vollständig offline betrieben werden kann und sowohl Ollama als auch OpenAI-kompatible Schnittstellen anspricht. Damit entsteht ein interner Assistent im Stil von Ebene 1.

Grenzen: Offene Modelle, die auf einem einzelnen Server laufen, sind bei komplexen Aufgaben oft schwächer als die großen Cloud-Modelle. Hardware, Updates, Überwachung und Sicherheit liegen bei Ihnen. Was eine souveräne KI-Infrastruktur darüber hinaus ausmacht, beschreibt die Seite zu [souveräner KI im eigenen Haus](https://www.ruebstudio.de/de/souveraene-ki).

## Welche Voraussetzungen braucht die Auswahl?

Vor jeder Tool-Entscheidung stehen drei Klärungen: welche Prozesse unterstützt werden sollen, welche Datenklassen dabei berührt werden und wer das Werkzeug betreiben kann. Ohne diese Antworten wird nach Funktionslisten entschieden, und das Ergebnis passt selten zum Alltag.

**Prozesse:** Beschreiben Sie zwei oder drei konkrete Abläufe mit Eingang, Schritten und Ergebnis, zum Beispiel „Kundenanfrage per E-Mail bis Angebotsentwurf". Daraus folgt, ob ein Assistent reicht oder ein automatisierter Ablauf nötig ist.

**Datenklassen:** Teilen Sie Ihre Daten grob ein, etwa in öffentlich, intern, vertraulich und streng vertraulich. Für jede Klasse legen Sie fest, auf welcher Ebene und unter welchem Vertrag sie verarbeitet werden darf. Werden personenbezogene Daten an einen Dienstleister gegeben, verlangt [Art. 28 DSGVO](https://gdpr-info.eu/art-28-gdpr/) einen Vertrag zur Auftragsverarbeitung mit festgelegten Pflichten. Das ist keine Rechtsberatung; lassen Sie die konkrete Einordnung von Ihrem Datenschutzbeauftragten prüfen.

**Organisation:** Seit dem 2. Februar 2025 verpflichtet [Artikel 4 des AI Act](https://artificialintelligenceact.eu/article/4/) Anbieter und Betreiber von KI-Systemen, Maßnahmen zur Förderung der KI-Kompetenz ihres Personals zu ergreifen. Wer Tools einführt, sollte Schulung und Nutzungsregeln deshalb von Anfang an mitplanen, etwa in einem [Workshop für Führungskräfte und Fachbereiche](https://www.ruebstudio.de/de/workshop). Dazu kommt die Frage, wer Lizenzen verwaltet, Zugänge vergibt und Fragen der Mitarbeitenden beantwortet.

**Systeme:** Notieren Sie, wo die Daten liegen, die ein Tool braucht: Microsoft 365, Google Workspace, ERP, CRM, Dateiserver, Ticketsystem. Ein Werkzeug ohne Anbindung an diese Systeme bleibt eine Insel.

## Nach welchen Kriterien wählen Sie aus?

Ausgewählt wird nach Passung zum Prozess, Umgang mit Daten, Betriebsaufwand und Ausstiegsmöglichkeit. Die Qualität des Sprachmodells ist ein Kriterium unter mehreren und ändert sich mit jedem Release. Ein Tool, das heute knapp schwächer antwortet, aber sauber in Ihre Systeme passt, ist im Alltag oft die bessere Wahl.

Eine kurze Prüfliste je Kandidat:

1. **Prozesspassung:** Deckt das Werkzeug den beschriebenen Ablauf von Anfang bis Ende ab, oder nur einen Teil?
2. **Daten und Vertrag:** Gibt es einen Unternehmensvertrag mit Auftragsverarbeitung? Wird mit Ihren Daten trainiert? Wo werden sie verarbeitet und gespeichert?
3. **Rechte und Protokollierung:** Lassen sich Zugriffe nach Rollen steuern, und ist nachvollziehbar, wer was gefragt und ausgelöst hat?
4. **Integration:** Gibt es fertige Anbindungen an Ihre Systeme, eine offene API oder Unterstützung für MCP?
5. **Modellwahl:** Ist das Tool an ein Modell gebunden, oder lässt sich das Modell wechseln, auch auf ein lokales?
6. **Betrieb:** Wer betreibt es, wer aktualisiert es, und was passiert bei Ausfall?
7. **Ausstieg:** Lassen sich Abläufe, Prompts und Daten exportieren, wenn Sie wechseln wollen?
8. **Lizenz und Kosten:** Wie wird abgerechnet, pro Person, pro Ausführung oder pro Token, und wie verhält sich das bei steigender Nutzung?

Gewichten Sie die Kriterien nach Ebene: Bei Assistenten zählen Vertrag und Bedienbarkeit, bei Plattformen Integration und Fehlerbehandlung, bei lokalen Laufzeiten Betriebsaufwand und Hardware.

## Wie gehen Sie in Schritten vor?

Bewährt hat sich ein Vorgehen in sechs Schritten, das mit einem Assistenten für alle beginnt und erst danach in Automatisierung und eigene Infrastruktur investiert. So sammelt das Unternehmen Erfahrung, bevor größere Entscheidungen fallen, und jeder Schritt liefert für sich Nutzen.

1. **Bestand aufnehmen:** Welche KI-Tools werden bereits genutzt, auch inoffiziell über private Konten? Das ist häufig mehr als erwartet.
2. **Regeln festlegen:** eine kurze Nutzungsrichtlinie mit Datenklassen, erlaubten Werkzeugen und Ansprechperson.
3. **Assistent einführen:** ein Assistent mit Unternehmensvertrag für alle, begleitet von Schulung. Private Konten werden damit überflüssig.
4. **Zwei Abläufe pilotieren:** auf Ebene 2 zwei klar umrissene Prozesse automatisieren, mit Freigabe durch einen Menschen und messbarem Vorher-Nachher.
5. **Eigene Bausteine entwickeln:** wo Plattformen nicht reichen, mit Coding-Agenten Schnittstellen und Werkzeuge bauen.
6. **Lokalen Betrieb prüfen:** für Datenklassen, die die Cloud nicht verlassen dürfen, einen lokalen Server mit offenem Modell aufsetzen und an die Plattform anbinden.

Wie sich diese Schritte in eine übergeordnete Planung einfügen, beschreibt der Artikel zur [KI-Strategie für den Mittelstand](https://www.ruebstudio.de/de/wissen/ki-strategie/ki-strategie-mittelstand). Dort geht es um Ziele und Agenda, hier um die Werkzeuge, mit denen die Agenda umgesetzt wird.

## Welche Grenzen und Risiken gibt es?

Die größten Risiken entstehen nicht durch ein schlechtes Tool, sondern durch fehlende Regeln: Daten landen in privaten Konten, Abläufe laufen ohne Kontrolle, und niemand weiß, welche Werkzeuge im Einsatz sind. Dazu kommen technische Grenzen der Modelle selbst, die kein Produkt vollständig beseitigt.

- **Fehlerhafte Antworten:** Sprachmodelle formulieren auch falsche Aussagen überzeugend. Jeder Ablauf mit Außenwirkung, etwa Angebote oder Kundenantworten, braucht eine Prüfung durch einen Menschen.
- **Schatten-IT:** Ohne offiziell bereitgestelltes Werkzeug weichen Mitarbeitende auf private Konten aus. Verbote allein helfen wenig; ein gutes offizielles Angebot schon.
- **Abhängigkeit:** Plattformen mit proprietären Ablaufformaten erschweren den Wechsel. Prüfen Sie Exportmöglichkeiten vor dem Kauf.
- **Prompt-Injection:** Agenten, die E-Mails oder Webseiten lesen und daraufhin handeln, können durch manipulierte Inhalte zu ungewollten Aktionen verleitet werden. Rechte daher eng fassen.
- **Kostenentwicklung:** Abrechnung pro Token oder Ausführung kann bei Erfolg schnell wachsen. Setzen Sie Budgets und Warnschwellen.
- **Betriebsaufwand lokal:** Ein lokaler Server ohne Zuständigen veraltet. Ohne Updates und Überwachung entsteht ein neues Sicherheitsrisiko.

## Wie fangen Sie an?

Fangen Sie mit einer Bestandsaufnahme und einem Assistenten für alle an, und wählen Sie danach zwei Abläufe für einen Piloten aus. Entscheiden Sie Ebene für Ebene, statt eine Gesamtlösung zu kaufen. Nach drei Monaten wissen Sie, welche Werkzeuge im Alltag tragen und wo eigene Entwicklung oder lokaler Betrieb nötig sind.

Drei Fragen helfen beim ersten Gespräch im Führungskreis:

- Welche zwei Abläufe kosten heute die meiste Routinearbeit und hätten den größten Nutzen?
- Welche Daten dürfen auf keinen Fall in einen Cloud-Dienst?
- Wer im Unternehmen übernimmt die Verantwortung für KI-Werkzeuge, fachlich und technisch?

Fehlt intern jemand, der diese Fragen steuert und die Tool-Landschaft über die Zeit pflegt, kann eine [externe KI-Leitung in Teilzeit](https://www.ruebstudio.de/de/ki-aufbau) die Rolle übergangsweise übernehmen, bis eigene Kompetenz aufgebaut ist. Begriffe wie Agent, RAG oder MCP erklärt das [KI-Lexikon](https://www.ruebstudio.de/de/lexikon).

## Häufige Fragen

### Reicht ein einziges KI-Tool für das ganze Unternehmen?

Für den Einstieg oft ja, meist ein Chat-Assistent mit Unternehmensvertrag. Sobald wiederkehrende Abläufe automatisiert oder vertrauliche Daten verarbeitet werden sollen, kommen weitere Ebenen hinzu.

### Dürfen Mitarbeitende private Konten von ChatGPT oder Claude dienstlich nutzen?

Davon ist abzuraten. Private Verbraucherkonten unterliegen anderen Nutzungsbedingungen als Unternehmensverträge, und das Unternehmen hat weder Auftragsverarbeitungsvertrag noch Verwaltung über die Daten.

### Wann lohnt sich ein lokaler Betrieb von Sprachmodellen?

Wenn Daten das Haus nicht verlassen sollen, etwa Konstruktionsdaten, Personalakten oder Verträge, und wenn jemand den Server dauerhaft betreuen kann. Für allgemeine Textarbeit reicht in der Regel ein Cloud-Assistent mit Unternehmensvertrag.

### Wer sollte im Unternehmen über KI-Tools entscheiden?

Eine kleine Gruppe aus Fachbereich, IT und Datenschutz, mit einer verantwortlichen Person aus der Geschäftsführung. Die Fachbereiche bringen die Prozesse ein, IT und Datenschutz die Grenzen.

## Quellen

- [EU AI Act, Artikel 4: KI-Kompetenz](https://artificialintelligenceact.eu/article/4/)
- [DSGVO, Artikel 28: Auftragsverarbeiter](https://gdpr-info.eu/art-28-gdpr/)
- [Microsoft Learn: Enterprise data protection in Microsoft Copilot and Microsoft Copilot Chat](https://learn.microsoft.com/en-us/copilot/microsoft-365/enterprise-data-protection)
- [Anthropic: Commercial Terms of Service](https://www.anthropic.com/legal/commercial-terms)
- [Claude Code Docs: Overview](https://code.claude.com/docs/en/overview)
- [n8n: Sustainable Use License](https://github.com/n8n-io/n8n/blob/master/LICENSE.md)
- [n8n Docs: Hosting n8n](https://docs.n8n.io/hosting/)
- [Ollama auf GitHub](https://github.com/ollama/ollama)
- [vLLM Dokumentation](https://docs.vllm.ai/en/latest/)
- [vLLM auf GitHub](https://github.com/vllm-project/vllm)
- [Open WebUI Dokumentation](https://docs.openwebui.com/)
