Der häufigste Fehlstart bei KI-Projekten: Ein Chatbot wird eingeführt, beantwortet Fragen zum Unternehmen — und erfindet dabei Preise, Fristen und Zuständigkeiten. Das Modell ist nicht defekt, es hat schlicht keinen Zugriff auf die relevanten Daten. RAG löst das, indem es dem Modell vor jeder Antwort die passenden internen Dokumente mitliefert.
Wie RAG funktioniert
Retrieval-Augmented Generation trennt Wissen und Sprachfähigkeit. Das Wissen liegt in den eigenen Systemen, das Modell liefert nur die Formulierung. Der Ablauf hinter jeder Antwort:
- Indexieren: Dokumente werden in sinnvolle Abschnitte zerlegt und als Vektoren in einer Suchdatenbank abgelegt.
- Suchen: Zur Nutzerfrage werden die inhaltlich passendsten Abschnitte gefunden — semantisch, nicht nur per Stichwort.
- Anreichern: Die Fundstellen werden dem Modell zusammen mit der Frage als Kontext übergeben.
- Antworten: Das Modell formuliert auf Basis der gelieferten Quellen — idealerweise mit Verweis, woher die Information stammt.
Die Qualität eines RAG-Systems entscheidet sich nicht im Sprachmodell, sondern in der Suche davor. Wer die falschen Abschnitte findet, bekommt eloquent formulierte falsche Antworten.
Wo RAG im Unternehmen Geld bringt
Die stärksten Anwendungsfälle sind dort, wo Mitarbeiter täglich Zeit mit Suchen verlieren: Support-Teams, die Antworten aus Handbüchern zusammensuchen, Vertrieb, der Produktdetails und Konditionen nachschlägt, Onboarding neuer Mitarbeiter, das sonst erfahrene Kollegen blockiert. Ein gut gebautes RAG-System verwandelt verstreute Dokumente in eine befragbare Wissensbasis — ohne dass jemand die Dokumente umschreiben muss.
Datenqualität schlägt Modellwahl
Der grösste Hebel liegt vor der Technik: Veraltete, widersprüchliche oder doppelte Dokumente produzieren widersprüchliche Antworten. Vor dem Aufbau gehört der Bestand aufgeräumt — was gilt, was ist Archiv, wer pflegt was. Ebenso wichtig ist das Chunking: Werden Dokumente an unsinnigen Stellen zerschnitten, verliert die Suche den Zusammenhang. Tabellen, Preislisten und Verträge brauchen andere Schnitte als Fliesstext.
Rechte und Datenschutz von Anfang an
Eine Wissensbasis, die jedem alles beantwortet, ist ein Sicherheitsproblem. Gehaltslisten und Vorstandsprotokolle dürfen nicht in der Antwort eines Praktikanten auftauchen. Deshalb gehören Zugriffsrechte in die Suchschicht: Jede Anfrage darf nur Dokumente finden, die der fragende Nutzer auch direkt öffnen dürfte. Wer personenbezogene Daten indexiert, muss zudem DSGVO-Fragen klären — Rechtsgrundlage, Löschkonzept und die Frage, ob Daten an externe Modellanbieter fliessen oder im eigenen Haus bleiben.
Die Grenzen ehrlich benennen
RAG reduziert Halluzinationen, eliminiert sie aber nicht. Das Modell kann Quellen falsch verknüpfen oder aus zwei richtigen Absätzen einen falschen Schluss ziehen. Deshalb braucht jedes ernsthafte System drei Dinge: Quellenangaben in jeder Antwort, damit Nutzer prüfen können; eine Auswertung mit echten Testfragen, bevor das System live geht; und einen Prozess, der neue und geänderte Dokumente automatisch nachzieht. Ein RAG-System ist kein Projekt mit Enddatum, sondern ein Prozess mit Pflege.
Klein anfangen, messbar erweitern
Der sinnvollste Einstieg ist ein enger Anwendungsfall mit klarem Nutzen — etwa die interne Produkt-FAQ für den Support. Dort lässt sich messen, ob Antworten stimmen und Zeit gespart wird. Erst danach wird der Korpus erweitert. Wer umgekehrt startet und sofort das gesamte Firmenlaufwerk indexiert, baut eine grosse Maschine mit unklarem Nutzen und vielen Angriffsflächen.
KI ohne Firmenwissen bleibt ein Spielzeug. RAG macht daraus ein Werkzeug — wenn Datenbasis, Rechte und Pflege von Anfang an mitgedacht werden.