Ein Chatbot für das interne Wiki sucht zu jeder Frage zuerst die passenden Stellen in euren Dokumenten und lässt dann ein Sprachmodell daraus eine Antwort formulieren, mit Verweis auf die Quelle. Das Verfahren heißt RAG (Retrieval-Augmented Generation): Das Modell muss euer Wissen nicht gelernt haben, es bekommt bei jeder Frage die richtigen Seiten vorgelegt.
„Wir wollen einen Chatbot für unser internes Wiki“ ist eine typische Anfrage. Dahinter steckt fast immer dasselbe Problem: Das Wissen ist da, nur findet es keiner. Neue Kolleginnen fragen immer dasselbe, die erfahrenen verlieren Zeit mit Antworten, und die Suche im Wiki hilft nur, wenn man das richtige Stichwort schon kennt. In diesem Beitrag erkläre ich ohne Fachchinesisch, wie so ein KI-Wissensassistent funktioniert, warum er Quellen angibt, welche Quellen sich anbinden lassen und wo das Verfahren an Grenzen stößt.
Was ist RAG in einem Satz?
RAG heißt: erst suchen, dann antworten. Bei jeder Frage durchsucht das System eure Dokumente, legt dem Sprachmodell die besten Treffer vor und lässt es nur daraus antworten.
Der Name kommt aus der Forschung. Ein Team um Patrick Lewis hat das Verfahren 2020 in einem Paper mit dem Titel „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“ beschrieben (arXiv, Lewis et al. 2020). Die Idee dort: Ein Sprachmodell bringt sein eigenes, gelerntes Wissen mit, und daneben steht ein durchsuchbarer Index mit Dokumenten. Für eine Antwort nutzt es beides.
Für euch ist der wichtigste Punkt: Das Sprachmodell selbst ändert sich nicht. Es wird nicht mit euren Daten trainiert, es liest bei jeder Frage nach. Das hat drei Folgen:
- Der Assistent ist so aktuell wie eure Dokumente. Ändert sich eine Wiki-Seite, kennt der Assistent die neue Fassung, sobald sie neu eingelesen ist. Niemand muss ein Modell neu trainieren.
- Jede Antwort hat eine Herkunft. Weil das System weiß, welche Stellen es dem Modell vorgelegt hat, kann es sie anzeigen.
- Rechte lassen sich durchsetzen. Was jemand nicht sehen darf, wird gar nicht erst gesucht.
Der Vergleich, der am besten passt: ein Kollege, der jede Frage mit dem richtigen Ordner auf dem Tisch beantwortet, statt aus dem Gedächtnis.
Wie kommt die KI an eure Dokumente?
Ein Wissensassistent arbeitet in zwei Phasen. Die erste läuft im Hintergrund, die zweite bei jeder Frage.
Vorher: einlesen, zerlegen, durchsuchbar machen.
- Einlesen. Für jede Quelle gibt es einen Anschluss, der die Inhalte abholt: über die Schnittstelle des Wikis, über SharePoint, aus einem Ordner mit PDFs. Dabei fliegt alles raus, was keine Information ist: Navigation, Fußzeilen, doppelte Seiten.
- Zerlegen. Ein Handbuch mit 300 Seiten passt nicht als Ganzes in eine Frage. Deshalb wird es in Abschnitte zerlegt, am besten entlang seiner eigenen Gliederung. Jeder Abschnitt behält, woher er kommt: Dokument, Seite, Kapitel, Link.
- Durchsuchbar machen. Jeder Abschnitt bekommt zwei Einträge im Suchindex. Einen für die Bedeutung, als Zahlenvektor (Embedding), damit die Suche „Urlaub beantragen“ auch bei „freie Tage einreichen“ findet. Und einen für den exakten Wortlaut, damit Fachbegriffe, Abkürzungen und Paragrafen getroffen werden.
- Aktuell halten. Das Einlesen läuft regelmäßig, zum Beispiel jede Nacht. Neue und geänderte Seiten kommen dazu, gelöschte fliegen raus.
Bei jeder Frage: suchen, sortieren, antworten.
- Die Frage wird aufbereitet. Ist es eine Folgefrage („Und wie lange dauert das?“), wird sie mit dem Chatverlauf zu einer eigenständigen Suchanfrage.
- Die Suche holt die passendsten Abschnitte, nach Bedeutung und nach Wortlaut.
- Ein Reranking sortiert die Treffer noch einmal, damit nur die besten paar beim Modell landen.
- Das Sprachmodell bekommt die Frage, die Abschnitte und klare Regeln: nur aus diesen Abschnitten antworten, Quellen nennen, und sagen, wenn die Antwort nicht darin steht.
Ein Beispiel aus der Praxis: Für eine Schule habe ich einen KI-Assistenten gebaut, der Fragen aus dem internen Wiki und einem juristischen Nachschlagewerk mit rund 1.400 Seiten beantwortet. Das Wiki liegt hinter einem Login. Die Ingestion meldet sich jede Nacht an, liest die Seiten ein, filtert Navigation und Kommentare heraus und entfernt Doppeltes. Das Nachschlagewerk wird entlang seiner Abschnitte zerlegt, und jeder Abschnitt trägt Ausgabejahr, Seitenbereich und Abschnittspfad. Vektorsuche und deutsche Volltextsuche laufen in derselben PostgreSQL-Datenbank. Und jede Frage wird zuerst eingeordnet: Juristisches Material fließt nur ein, wenn die Frage danach klingt, etwa weil sie „§“, „Gesetz“ oder „Elternzeit“ enthält. So bleiben Alltagsantworten sauber und Rechtsfragen fundiert.
Wie man sieht: Der größte Teil der Arbeit hat mit dem Sprachmodell wenig zu tun. Er steckt im Einlesen und in der Suche. Findet die Suche die richtige Stelle nicht, kann auch das beste Modell nicht richtig antworten.
Warum die KI Quellen angibt
Ein Sprachmodell formuliert immer eine Antwort, auch wenn es keine weiß. Das ist sein größtes Risiko im Unternehmen: Eine falsche Antwort klingt genauso überzeugend wie eine richtige. Quellenangaben sind die Antwort darauf, aus drei Gründen.
Nachprüfen statt glauben. Unter jeder Antwort steht, aus welcher Wiki-Seite oder welchem Kapitel sie stammt, mit Link. Wer sich nicht sicher ist, klickt und liest selbst. Gerade bei Regeln, Fristen oder Verträgen ist das der Unterschied zwischen einem Werkzeug, dem man vertraut, und einem, das man nach zwei Wochen nicht mehr öffnet.
Weniger Erfundenes. Muss das Modell aus den vorgelegten Stellen antworten und sie zitieren, erfindet es deutlich seltener etwas. Ganz ausschließen lässt sich das nicht. Deshalb gehört eine zweite Regel dazu: Steht die Antwort nicht in den Treffern, sagt der Assistent das. Beim Assistenten für die Schule ist genau das eingebaut. Fehlt passender Kontext, sagt er es, statt zu raten. Die Zitate kommen strukturiert mit: bei Wiki-Seiten URL und Titel, beim Nachschlagewerk Ausgabe, Seiten und Abschnitt.
Fehler werden sichtbar. Ist eine Antwort falsch, zeigt die Quelle, wo das Problem liegt. Hat die Suche die falsche Stelle gefunden? Dann muss die Suche besser werden. Ist die Stelle selbst veraltet? Dann muss jemand die Wiki-Seite korrigieren. Ohne Quelle bleibt nur „die KI hat Unsinn erzählt“. Mit Quelle weißt du, wo du ansetzen musst. Bei der Schule bewerten die Nutzer jede Antwort direkt im Chat, und das Feedback hängt im Monitoring an der jeweiligen Antwort.
Welche Quellen sich anbinden lassen (Wiki, SharePoint, PDFs, Handbücher)
Fast jede Quelle, in der Text steht, lässt sich anbinden. Die Frage ist nicht ob, sondern wie viel Arbeit sie macht. Das hängt an drei Dingen: Wie kommt man an die Inhalte? Wie sauber ist der Text? Und wie werden die Rechte übernommen?
| Quelle | Wie sie angebunden wird | Worauf es ankommt |
|---|---|---|
| Wiki (z. B. Confluence) | Über die Schnittstelle des Wikis, oder über den Login wie ein Nutzer, wenn es keine gibt | Seitenrechte und Bereichsrechte übernehmen; Navigation, Kommentare und alte Versionen herausfiltern |
| SharePoint und OneDrive | Über Microsoft Graph, die Schnittstelle von Microsoft 365 | Berechtigungen pro Datei und Ordner übernehmen, auch geerbte; Office-Dateien sauber in Text umwandeln |
| PDFs mit Text | Aus einem Ordner oder Laufwerk | Tabellen, Spalten, Kopf- und Fußzeilen richtig lesen; entlang der Gliederung zerlegen |
| Gescannte PDFs | Wie PDFs, mit Texterkennung (OCR) davor | Die Qualität der Scans entscheidet; Handschrift und schlechte Kopien kosten Genauigkeit |
| Handbücher und Richtlinien | Meist als PDF oder Word | Versionen: Nur die gültige Fassung darf antworten; Kapitel und Seitenzahlen für die Quellenangabe erhalten |
| Datenbanken und Fachsysteme | Über ihre Schnittstelle | Oft keine Textsuche, sondern eine Abfrage (dazu mehr bei den Grenzen) |
Zwei Beispiele für die Rechte, weil sie am häufigsten gefragt werden (Stand: Oktober 2026):
- SharePoint: Microsoft Graph liefert für jede Datei die wirksamen Freigaben, auch die, die von einem übergeordneten Ordner geerbt sind (Microsoft Learn, List who has access to a file).
- Confluence: Die REST-Schnittstelle gibt die Einschränkungen einer Seite zurück, also wer sie lesen oder bearbeiten darf (Atlassian, Content restrictions).
Der Assistent speichert zu jedem Abschnitt, wer ihn sehen darf, und sucht bei jeder Frage nur in dem, was die fragende Person sehen darf. Wer ein Dokument nicht öffnen darf, bekommt auch keine Antwort daraus. Das muss von Anfang an mitgeplant werden. Nachträglich lässt es sich kaum sauber einbauen, weil es bestimmt, wie die Daten eingelesen und gespeichert werden.
Mein Rat für den Start: Fang mit einer oder zwei Quellen an, die gepflegt sind und in denen die häufigsten Fragen beantwortet werden. Bei der Schule waren es genau zwei: das Wiki und das Nachschlagewerk. Weitere Quellen kommen dazu, wenn die ersten gut laufen.
Wo RAG an Grenzen stößt
RAG ist das richtige Verfahren für „Wo steht das?“ und „Wie geht das bei uns?“. Für manche Fragen ist es das falsche. Das solltest du vorher wissen.
Veraltete oder widersprüchliche Inhalte. Der Assistent ist so gut wie eure Dokumente. Stehen im Wiki drei Fassungen der Reisekostenregel, findet er alle drei. Ein Chatbot löst das Problem nicht, er macht es nur schneller sichtbar. Dann fängt man besser bei den Daten an.
Fragen über alles auf einmal. „Wie viele Verträge laufen dieses Jahr aus?“ lässt sich nicht beantworten, indem man ein paar passende Abschnitte findet. Dafür muss man alle Verträge zählen. Solche Fragen gehören in eine Datenbankabfrage. Ein Assistent kann sie stellen, aber dann ist er kein reiner Suchassistent mehr, sondern ein KI-Agent mit Werkzeugen (KI-Agenten).
Wissen, das nirgends steht. Was nur in Köpfen steckt, kann kein System finden. Ein Nebeneffekt guter Assistenten: Die Fragen, auf die er keine Antwort findet, zeigen sehr genau, welche Seiten im Wiki fehlen.
Die Suche findet nicht alles. Ist eine Antwort über zehn Dokumente verteilt oder steckt sie in einer Tabelle, die beim Einlesen zerfallen ist, landet sie nicht beim Modell. Darum braucht jeder Assistent ein Testset: eine feste Sammlung echter Fragen mit erwarteten Antworten, gegen die jede Änderung geprüft wird. Ohne Testset weiß niemand, wie gut er wirklich ist.
Die Antwort ist nie garantiert richtig. Quellen und klare Regeln senken das Risiko deutlich. Null wird es nicht. Wo eine falsche Antwort teuer wird, etwa bei Rechtsfragen, muss die Quelle prominent sein und der Mensch die letzte Prüfung machen.
Und manchmal braucht es gar keinen eigenen Assistenten. Sind es zwanzig Fragen, die immer wiederkommen, hilft vielleicht eine gute FAQ-Seite mehr. Und reicht euch ein fertiges Werkzeug, ist ein eigenes Projekt Geldverschwendung. Wann sich Bauen lohnt, steht im Beitrag KI im Unternehmen einführen. Was ein eigener Assistent kostet, im Aufbau und im Monat, steht in Was kostet ein KI-Wissensassistent?. Und warum viele Prototypen nie über die Demo hinauskommen, in Warum KI-Prototypen nie live gehen.
Wie ich Wissensassistenten baue, von der Anbindung eurer Quellen über Rechte und Suche bis zur gemessenen Antwortqualität im Betrieb, steht auf der Seite zu KI-Wissensassistenten. Soll euer Wiki Fragen beantworten? Dann Projekt anfragen.