Jede KI-Einführung stößt nach wenigen Tagen auf dasselbe Problem: ChatGPT, Claude und Co. wissen nichts über Ihr Unternehmen. Sie kennen weder Ihre Preisliste noch Ihre Urlaubsregelung, weder das Produkthandbuch noch die letzte Angebotsvorlage. Die Antwort auf dieses Problem heißt Retrieval Augmented Generation, kurz RAG — und ist der Unterschied zwischen einer KI, die allgemein plaudert, und einer, die im Betrieb echte Arbeit abnimmt.
Warum die KI Ihre Firma nicht kennt
Sprachmodelle lernen aus öffentlich verfügbaren Texten bis zu einem bestimmten Stichtag. Interne Dokumente waren nie Teil davon — zum Glück, denn sonst wären sie für jeden abrufbar. Das bedeutet aber auch: Fragt ein Mitarbeiter die KI nach der firmeneigenen Reisekostenregelung, erfindet ein Modell ohne Wissensanbindung im Zweifel eine plausible, falsche Antwort.
RAG in einfachen Worten
Retrieval Augmented Generation heißt übersetzt sinngemäß: erst nachschlagen, dann antworten. Bevor die KI eine Antwort formuliert, durchsucht das System die hinterlegten Firmendokumente nach passenden Abschnitten und legt der KI genau diese Fundstellen als Kontext vor. Die KI antwortet dann nicht aus ihrem Allgemeinwissen, sondern auf Basis der gefundenen Textstellen — im Idealfall mit Quellenangabe, welches Dokument die Antwort stützt.
Der praktische Effekt: Die Antworten werden firmenspezifisch, überprüfbar und aktualisierbar. Ändert sich die Preisliste, wird das Dokument ausgetauscht, und die KI antwortet ab sofort mit den neuen Zahlen — ohne dass ein Modell neu trainiert werden muss.
Was als Wissensquelle taugt — und was nicht
- Gut geeignet: Handbücher, FAQ-Sammlungen, Prozessbeschreibungen, Produktdatenblätter, Angebots- und Textvorlagen, Onboarding-Unterlagen, aufbereitete Website-Inhalte.
- Bedingt geeignet: lange E-Mail-Verläufe, unstrukturierte Ablagen, veraltete Ordnerstrukturen — hier lohnt Aufräumen vor dem Anbinden.
- Nicht hinein gehören: Daten, die nicht jeder Nutzer der KI sehen dürfte, etwa Gehaltslisten oder Gesundheitsdaten. Die Wissensbasis ist nur so vertraulich wie ihr Zugriffskonzept.
Konkret: Wissensanbindung mit Langdock
In unseren Projekten setzen wir die Wissensanbindung meist mit Langdock um, einer deutschen KI-Plattform mit EU-Hosting. Dokumente werden dort in Sammlungen organisiert und Assistenten zugewiesen: Der Vertriebsassistent kennt Preislisten und Referenzen, der HR-Assistent die internen Regelungen. Mitarbeitende stellen normale Fragen im Chat, die Plattform übernimmt das Nachschlagen im Hintergrund und zeigt die Quelle an. Das Modell dahinter — etwa Claude oder GPT — lässt sich wählen, ohne dass die Wissensbasis neu aufgebaut werden muss.
Der gleiche Mechanismus treibt auch Website-Chatbots an: Ein Wissens-Chatbot beantwortet Kundenfragen auf Basis Ihrer Website-Inhalte und Dokumente, statt generische Auskünfte zu geben — live ausprobieren lässt sich das in unserem Lab.
Die Grenzen: Pflege und Halluzinationen
RAG macht Antworten deutlich zuverlässiger, aber nicht unfehlbar. Findet das System keine passende Fundstelle, kann das Modell in Allgemeinwissen ausweichen. Gute Systeme sind deshalb so konfiguriert, dass sie lieber „dazu finde ich nichts in den Unterlagen" sagen, als zu raten. Und: Eine Wissensbasis ist kein Selbstläufer. Veraltete Dokumente erzeugen veraltete Antworten — es braucht eine Person, die die Quellen pflegt, und einen Rhythmus, in dem das passiert.
Realistischer Aufwand für den Einstieg
Für ein kleines Unternehmen mit überschaubarem Dokumentenbestand ist eine erste produktive Wissensanbindung in ein bis zwei Wochen machbar: Quellen sichten und aufbereiten, Sammlung anlegen, Assistenten konfigurieren, Testfragen durchspielen, Team einweisen. Wie das in Ihrem Fall aussehen kann, klären wir im Rahmen der KI-Integration — meist reicht ein kurzes Gespräch, um einzuschätzen, welche Wissensquellen den schnellsten Nutzen bringen.