RAG Chatbot

Organisationen sammeln über Jahre hunderte oder tausende Dokumente: Verträge, Richtlinien, Produktdatenblätter oder interne Ablagen. Jede Suche kostet Zeit, weil oft unklar ist, wo die relevante Information liegt. Wissen verteilt sich auf E-Mail-Anhänge, Excel-Listen und PDF-Dateien. Besonders beim Onboarding neuer Mitarbeiter wird das schnell zum Problem.

Chatbots sind dafür nur bedingt geeignet. Bei mehreren Dokumenten stößt man schnell an Eingabelimits, es gibt keinen dauerhaften Zugriff auf Ihre Inhalte und keine belastbaren Quellenverweise. Sensible Daten gehören außerdem nicht auf externe Server.

Eine eigene KI-Anwendung indexiert Ihre Dokumente einmalig, beantwortet Fragen mit Quellenverweis, läuft optional in Ihrer Infrastruktur und wächst mit Ihrem Wissensbestand mit.

Für solche Fälle eignet sich Retrieval-Augmented Generation, kurz RAG. Statt Dokumente manuell hochzuladen oder das Modell raten zu lassen, wird eine eigene Wissensdatenbank aufgebaut, auf die die KI gezielt zugreift.

In dieser Demo lud ein Web-Crawler alle Pensplan Informationsblätter herunter. Danach wurden die Dokumente indexiert, in Textabschnitte zerlegt, sogenannte Chunks, und als Embeddings generiert. Embeddings sind die numerische Repräsentation des Texts, mit der semantische Ähnlichkeit gemessen wird. Im Anschluss wurden die Embeddings in einem Vector Store auf einem Server gespeichert.

Stellt ein Nutzer eine Frage, sucht das System zuerst die passenden Dokumentenstellen und gibt sie der KI als Kontext. Die Antwort basiert dadurch auf den gefundenen Quellen statt auf freier Modellfantasie.