41 Prozent der deutschen Unternehmen nutzen inzwischen KI, hat Bitkom im April 2026 erhoben. Was die Studie nicht sagt: Viele davon tippen täglich in ChatGPT, bekommen generische Antworten zurück, und fragen sich dann, warum das Ergebnis nichts mit ihrer eigenen Realität zu tun hat. Der Grund ist simpel: Die KI kennt eure Produkte, Prozesse und Dokumente schlicht nicht.
Die Frage, die immer mehr Unternehmer beschäftigt: Was weiss meine KI wirklich über mein Unternehmen? Foto: Sanket Mishra auf Pexels
Warum die Standard-KI immer daneben liegt
Stell dir vor, du stellst einem neuen Mitarbeiter eine Frage zu eurem Reparaturprozess und er antwortet mit der Musterlösung aus seinem Schulbuch. Das ist exakt das, was passiert, wenn du ChatGPT nach internen Abläufen fragst.
Öffentliche Sprachmodelle kennen das Internet von gestern. Sie kennen keine internen PDFs, kein CRM-Wissen, keine Produktions-SOP, keine Preisliste von letzter Woche. Das Ergebnis sind Antworten, die technisch korrekt aber praktisch nutzlos sind.
Die Lösung heißt RAG: Retrieval-Augmented Generation. Das klingt nach Informatikstudium, ist aber konzeptionell einfach: Bevor das Modell antwortet, liest es zuerst in euren eigenen Dokumenten nach. Die Antwort basiert dann auf dem, was ihr hochgeladen habt, nicht auf dem, was irgendwer mal ins Internet geschrieben hat.
”Müll rein ist Müll raus. Das gilt bei KI-Wissensdatenbanken noch stärker als anderswo, weil das System seine eigenen Fehler nicht erkennt.”
— Erfahrungswert aus Mittelstands-RAG-Projekten, Pexon Consulting 2026
Wann lohnt sich eine eigene Wissensdatenbank?
Nicht für jeden Betrieb macht es sofort Sinn. Diese fünf Fragen helfen bei der Entscheidung:
1. Gibt es repetitive Informationsanfragen? Wenn eure IT, euer Support oder euer Vertrieb täglich die gleichen Fragen beantworten, die irgendwo in einem Handbuch stehen, ist das ein klares Signal.
2. Liegt das Firmenwissen in Dokumenten? PDFs, Word-Dateien, SharePoint-Ordner, Confluence-Wikis: Je mehr davon vorhanden, desto mehr profitiert eine RAG-Lösung davon.
3. Kostet Einarbeitung viel Zeit? Ein klassisches RAG-System kann neuen Mitarbeitern den IT-Support-Ticker lösen, Produktfragen beantworten oder HR-Fragen klären, ohne dass ein erfahrener Kollege die Zeit investieren muss.
4. Sind die Dokumente aktuell? Das ist der Haken: Eine Wissensdatenbank ist nur so gut wie die Inhalte darin. Wer veraltete Unterlagen einspeist, bekommt veraltete Antworten mit KI-Autorität.
5. Ist Datenschutz ein Thema? Für sensible Branchen (Gesundheit, Recht, Finanzen) braucht ihr entweder eine On-Premise-Lösung oder einen Anbieter mit DSGVO-konformem Datenverarbeitungsvertrag.
Vorab prüfen: reicht der gecachte Langkontext?
Im Juli führte die Frage „Wie bekommen wir unsere Dokumente in die KI?” fast zwangsläufig zu einer Vektordatenbank. Seitdem haben sich zwei Stellschrauben bewegt. Die Claude-Modelle ab Version 4.6 verarbeiten ein Kontextfenster von einer Million Token zum Standardpreis, eine Anfrage mit 900.000 Token kostet je Token dasselbe wie eine mit 9.000. Und wiederholt gesendeter Text lässt sich zwischenspeichern: Ein Cache-Treffer kostet zehn Prozent des normalen Eingabepreises, bei Claude Fable 5.1 sogar nur 2,5 Prozent.
Für einen kleinen Dokumentenbestand ändert das die Rechnung spürbar. Nehmt 25 bis 30 Handbücher, Preislisten und Prozessbeschreibungen, zusammen rund 40.000 Token, also grob 60 Seiten Text. Ihr schickt den ganzen Stapel bei jeder Frage mit und lasst ihn zwischenspeichern. Mit Claude Sonnet 5 zu 2 US-Dollar je Million Eingabe-Token sieht das so aus:
- Cache schreiben, Fünf-Minuten-Fenster: 40.000 Token zu 2,50 US-Dollar je Million, macht 10 US-Cent je Kaltstart.
- Cache lesen: 40.000 Token zu 0,20 US-Dollar je Million, macht 0,8 US-Cent je Frage.
- Die Antwort selbst: 600 Token zu 10 US-Dollar je Million, macht 0,6 US-Cent.
Bei 500 Fragen im Monat und 150 Kaltstarts landet ihr bei rund 19 Euro, gerechnet mit 1,17 US-Dollar je Euro. Das ist eine andere Größenordnung als die 200 bis 500 Euro Monatsgebühr einer SaaS-Lösung.
Die Grenzen dieses Wegs sind allerdings hart. Er skaliert linear: Verzehnfacht ihr Dokumente und Fragen, verzehnfachen sich die Kosten, während eine Vektorsuche nur die passenden Abschnitte einsammelt und ab einer gewissen Größe deshalb billiger wird. Zugriffsrechte je Dokument lassen sich so gut wie gar nicht abbilden, jeder Fragende sieht den gesamten Stapel. Und jemand muss die Dateien weiterhin aktuell halten. Als Vortest vor der Werkzeugentscheidung ist der Weg trotzdem unschlagbar schnell: Ihr merkt an einem Nachmittag, ob eure Dokumente überhaupt brauchbare Antworten hergeben, bevor Budget in eine Plattform fließt. Die Token-Rechnung dahinter steht ausführlich in unserem Kostenartikel zur Claude-API.
Die 3 Wege im Vergleich
Es gibt keine Universallösung. Welcher Weg zu euch passt, hängt von drei Faktoren ab: Wie viele Dokumente habt ihr? Wie sensibel sind die Daten? Und wie viel interne IT-Kapazität steht bereit?
Weg 1: SaaS-Lösung (1 bis 2 Wochen)
Werkzeuge wie ChatGPT Enterprise, Notion AI oder Guru bieten eingebaute RAG-Funktionen. Ihr ladet eure Dokumente hoch, konfiguriert einen Bot, und die interne Suche funktioniert. Für den kleinen Einstieg mit Quellenangabe je Antwort reicht oft schon Google NotebookLM.
Geeignet für: Unternehmen mit 50 bis 500 Dokumenten, die schnell starten wollen und deren Daten nicht hochsensibel sind.
Kosten: 200 bis 500 Euro pro Monat bei den gängigen Anbietern, Stand September 2026. Die Einrichtung schafft ein technisch versierter Mitarbeiter in wenigen Tagen ohne externe Hilfe.
Grenzen: Ihr habt wenig Kontrolle darüber, wo eure Daten liegen. Für DSGVO-Compliance braucht ihr zwingend einen Datenverarbeitungsvertrag. Komplexe Abfragen über viele Dokumenttypen hinweg überfordern manche Dienste.
Weg 2: Low-Code-Integration (2 bis 4 Wochen)
Microsoft Copilot Studio greift direkt auf SharePoint-Dokumente zu und lässt sich ohne Programmierung konfigurieren. Wer stärker auf Automatisierung setzt, kann mit n8n oder Make eine eigene RAG-Pipeline aufbauen und sie mit einer Vektordatenbank wie Qdrant verbinden.
Geeignet für: Unternehmen, die bereits auf Microsoft 365 setzen oder No-Code-Automatisierung nutzen. Mehr Flexibilität als SaaS, weniger Aufwand als Custom Dev.
Kosten: Microsoft rechnet Copilot Studio seit dem 1. September 2025 in Copilot Credits ab. Ein Prepaid-Paket mit 25.000 Credits steht auf der deutschen Preisseite bei 173,30 Euro im Monat, nutzungsbasiert über Azure kostet ein Credit 0,01 US-Dollar. Reste verfallen zum Monatsende. Für eine Wissensdatenbank ist der Verbrauchssatz die entscheidende Zahl: Eine generative Antwort zieht 2 Credits, eine Antwort mit Tenant-Graph-Grounding 10. Bei zehn Credits je Frage ist ein Paket nach 2.500 Fragen leer. Wer bereits Microsoft-365-Copilot-Lizenzen hat, zahlt für diese Beschäftigten in Copilot Chat, Teams und SharePoint im Rahmen der Fair-Use-Grenzen nichts obendrauf. Die vollständige Aufstellung samt Sitzpreisen steht in unserer Kostenübersicht zu Microsoft Copilot. Dazu kommt die M365-Grundlizenz, die seit Juli 2026 spürbar teurer geworden ist. Open-Source-Stack mit n8n: primär Infrastrukturkosten von 50 bis 300 Euro/Monat, dazu 2 bis 5 Tage Einrichtungsaufwand intern.
Grenzen: Für sehr große Dokumentenmengen (10.000+) oder mehrstufige Logik wird es schnell komplex. Gute Dokumentation der eigenen Prozesse ist Voraussetzung.
Weg 3: Custom Development (8 bis 16 Wochen)
Wer eigene Datenquellen (ERP, CRM, proprietäre Datenbanken) anbinden will oder maximale Kontrolle benötigt, kommt an einer maßgeschneiderten Lösung nicht vorbei. Frameworks wie LangChain oder LlamaIndex bilden die technische Basis, kombiniert mit einer Vektordatenbank und einem selbst gehosteten oder API-basierten Sprachmodell. Für die Anbindung an die Firmensysteme gibt es mit dem Model Context Protocol inzwischen einen gemeinsamen Stecker, der einen Teil der Individualentwicklung erspart (Erklärung und die Sicherheitsfragen dazu).
Geeignet für: Unternehmen mit mehr als 10.000 Dokumenten, komplexen Berechtigungsstrukturen oder harten Compliance-Anforderungen.
Kosten: Einmalig 60.000 bis 120.000 Euro (Entwicklung), laufend 500 bis 2.000 Euro/Monat (Infrastruktur). Dazu kommt ein interner Verantwortlicher für Wartung und Dokumentenpflege.
Grenzen: Ohne interne IT-Kapazität ist die Lösung nach dem Go-Live ein Wartungsproblem. Plant den Betrieb von Anfang an ein.
In fünf Schritten zum Pilot
Unabhängig vom gewählten Weg gilt: Startet klein, lernt schnell, schaltet erst dann auf Vollbetrieb um.
Schritt 1: Use Case wählen (Tage 1 bis 7) Sucht einen Bereich, in dem der Schmerz klar ist und die Dokumente existieren. IT-Support-Handbuch, HR-FAQ, Produktdokumentation. Nicht den größten, den konkreten.
Schritt 2: Dokumenteninventar erstellen (parallel zu Schritt 1) Was existiert? Was ist aktuell? Wer ist verantwortlich für Updates? Ohne Antworten auf diese Fragen ist jede Wissensdatenbank auf Sand gebaut.
Schritt 3: Tool auswählen und aufsetzen (Tage 8 bis 21) Entscheidet auf Basis des Kostenrahmens und der Datensensibilität. Ladet 50 bis 100 repräsentative Dokumente hoch, nicht gleich alles.
Schritt 4: Pilot mit echten Nutzern (Tage 22 bis 60) Fünf bis zehn Mitarbeiter nutzen das System und geben strukturiertes Feedback. Welche Fragen werden nicht beantwortet? Welche Antworten sind falsch?
Schritt 5: Rollout und Wartungsprozess (Tage 61 bis 90) Vollständiger Upload, Schulung des Teams, Festlegung wer regelmäßig Dokumente aktualisiert. Ohne Wartungsprozess verfault die Wissensdatenbank innerhalb von Monaten.
Wer diese Schritte im Blick behält, profitiert auch von einem klaren Automatisierungs-Framework für den Mittelstand, das den Schritt vom Pilot zum Regelbetrieb strukturiert.
Was es wirklich kostet
Die Kalkulation für ein 100-Personen-Unternehmen, das interne IT-Anfragen über eine RAG-Lösung bearbeitet:
Vorher: 200 IT-Anfragen pro Monat, je 15 Minuten Bearbeitung, macht 50 Stunden. Bei 60 Euro Stundenkosten: 3.000 Euro/Monat.
Nachher: 70 Prozent der Anfragen löst der Bot selbst. Restliche 30 Prozent: 15 Stunden. Einsparung: 35 Stunden, entspricht 2.100 Euro/Monat.
Jahreseinsparung: 25.200 Euro. Setup-Kosten bei SaaS-Lösung: 5.000 bis 15.000 Euro einmalig plus 300 Euro/Monat. Amortisation: 9 bis 12 Monate.
Das sind Modellannahmen, aber sie sind konservativ. In der Praxis berichten Unternehmen von 40 bis 70 Prozent Zeitersparnis in den automatisierten Bereichen.
Rechnet den Verbrauch trotzdem von Anfang an mit. In derselben Bitkom-Erhebung sagt jedes dritte Unternehmen, das KI einsetzt, die Sache sei teurer geworden als geplant. Der Posten, der in Angeboten am häufigsten fehlt, ist genau dieser: Credits, Token, Speicher.
Drei Fehler, die fast jeder macht
Fehler 1: Alle Dokumente auf einmal hochladen. Das klingt nach Effizienz, ist aber ein Rezept für schlechte Ergebnisse. Fünfzig sorgfältig ausgewählte, aktuelle Dokumente schlagen tausend veraltete Dateien. Qualität vor Quantität.
Fehler 2: Keinen Wartungsplan festlegen. Eine Wissensdatenbank ist kein Projekt, das man einmal aufsetzt und vergisst. Sie braucht einen Eigentümer, der quartalsweise prüft, ob die Inhalte noch stimmen. Ohne das produziert sie nach einem Jahr mit Überzeugung falsche Antworten.
Fehler 3: DSGVO vergessen. Sobald personenbezogene Daten in die Wissensdatenbank einfließen (und das passiert schneller als gedacht, wenn HR-Dokumente oder Kundendaten dabeirutschen), braucht ihr einen Datenverarbeitungsvertrag mit dem Anbieter. Für On-Premise-Lösungen entfällt das, für Cloud-Dienste ist es Pflicht.
Ein weiterer Fallstrick: Das System zu früh als Ersatz für menschliches Urteil zu nutzen. KI-Agenten können im Mittelstand viel leisten, aber die Grenze zwischen Informationsretrieval und Entscheidung muss klar gezogen sein.
Wer tiefer in die Qualität der KI-Abfragen einsteigen will, findet im Prompt-Engineering-Guide für Unternehmer konkrete Techniken, um die Antwortqualität weiter zu verbessern.
Häufige Fragen
Was ist der Unterschied zwischen einer KI-Wissensdatenbank und einem normalen Chatbot?
Ein Standard-Chatbot folgt vordefinierten Entscheidungsbäumen oder antwortet aus allgemeinem KI-Training heraus. Eine RAG-basierte Wissensdatenbank liest vor jeder Antwort tatsächlich in euren spezifischen Dokumenten nach und gibt dann eine Antwort, die auf euren Inhalten basiert. Das macht den Unterschied zwischen “ungefähr richtig für irgendein Unternehmen” und “konkret richtig für unser Unternehmen”.
Kann ich eine KI-Wissensdatenbank DSGVO-konform betreiben?
Ja, aber es kommt auf die Lösung an. Cloud-Dienste wie ChatGPT Enterprise oder Microsoft Copilot Studio bieten DSGVO-konforme Optionen mit Datenverarbeitungsvertrag (AVV) und Rechenzentrum in der EU. Wer keine personenbezogenen Daten in die Wissensdatenbank einbringt, hat deutlich weniger Aufwand. Für maximale Datensicherheit gibt es On-Premise-Lösungen mit vollständiger Datenkontrolle.
Wie viele Dokumente brauche ich mindestens, damit es sich lohnt?
Es gibt keine Mindestzahl, aber eine Richtschnur: Wenn ihr mindestens 20 bis 30 Dokumente habt, die regelmäßig gesucht werden, und wenn diese Suchen Mitarbeiterzeit kosten, dann lohnt sich der Aufbau. Entscheidend ist nicht die Menge, sondern ob die Dokumente tatsächlich genutzt werden und ob die Antworten auf echte, wiederkehrende Fragen einzahlen.
Brauche ich überhaupt eine Vektordatenbank, wenn die Modelle eine Million Token Kontext verarbeiten?
Für kleine Bestände bis etwa 50.000 Token, also rund 70 Seiten Text, reicht es oft, die Dokumente bei jeder Anfrage komplett mitzuschicken und zwischenspeichern zu lassen. Ein Cache-Treffer kostet laut Anthropic-Preisdokumentation zehn Prozent des normalen Eingabepreises, bei Claude Fable 5.1 nur 2,5 Prozent. Ab einigen hundert Dokumenten kippt die Rechnung: Dann zahlt ihr bei jeder Frage für den ganzen Stapel, während eine Vektorsuche nur die passenden Abschnitte lädt. Dazu kommt, dass sich Zugriffsrechte je Dokument über den reinen Kontextweg kaum abbilden lassen.
Quellen & Referenzen
- Bitkom: KI-Studie 2026, April 2026: 41 Prozent der deutschen Unternehmen nutzen aktiv KI, 48 Prozent planen den Einstieg, 33 Prozent nennen KI teurer als erwartet. mybusinessfuture.com
- Anthropic: Preis- und Caching-Dokumentation, abgerufen am 6. September 2026: Claude Sonnet 5 zu 2 und 10 US-Dollar je Million Token, Cache-Treffer zum Faktor 0,1 des Eingabepreises (0,025 bei Fable 5.1), eine Million Token Kontext zum Standardpreis. platform.claude.com
- Microsoft Learn: Abrechnung und Lizenzierung von Copilot Studio, Dokumentenstand 3. August 2026: Copilot Credits als Verbrauchseinheit seit dem 1. September 2025, Nullsatz für Beschäftigte mit Microsoft-365-Copilot-Lizenz, keine Übertragung ungenutzter Credits. learn.microsoft.com
- Skill-Sprinters: Praxisguide zum Aufbau einer RAG-Wissensdatenbank im Mittelstand, 2026, inkl. 90-Tage-Rollout-Plan und Kostenübersicht. skill-sprinters.de
- Pexon Consulting: RAG-System aufbauen, Anleitung für Unternehmens-Wissen, inkl. Architektur und Best Practices. pexon-consulting.de
- Synclaro: RAG-System für KMUs, Praxisbericht zum Aufbau einer firmeneigenen Wissensdatenbank. synclaro.de
