Fragen Sie einen Chatbot nach dem Betriebsrundschreiben von gestern, erfindet er womöglich eine Antwort. RAG löst dieses Problem, indem die KI vor dem Antworten nachschlägt.
Wenn das Modell die eigene Firma nicht kennt: RAG einfach erklärt
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa abruferweiterte Generierung. Die Idee dahinter ist zugleich einfach und wirksam. Bevor ein Sprachmodell eine Antwort formuliert, sucht es in einer angeschlossenen Wissensquelle nach passenden Stellen und baut sie in seine Antwort ein. Statt aus dem Gedächtnis zu raten, liest es erst nach.
Der englische Begriff schreckt viele ab, die Sache dahinter ist alltagstauglich. Wer je erlebt hat, dass ein Chatbot über interne Vorgänge falsche Auskunft gab, hat schon das Problem gesehen, das RAG behebt. Der Ansatz ist heute in Unternehmen weit verbreitet, weil er deutlich preiswerter ist als das Nachschulen eines ganzen Modells.
Warum greifen so viele Firmen zu diesem Verfahren? Weil es ein Grundproblem der Sprachmodelle an der Wurzel packt, ohne das Modell selbst anzufassen.
Das Problem, das RAG löst
Große Sprachmodelle werden auf riesigen, öffentlichen Datenmengen trainiert. Das Training endet zu einem bestimmten Zeitpunkt, dem sogenannten Wissensstichtag. Alles, was danach geschieht, kennt das Modell nicht. Ebenso unbekannt bleiben interne Dokumente, Kundenakten oder Fachberichte, die nie im öffentlichen Netz standen.
Bisher blieb nur ein Weg, ein Modell mit solchem Wissen zu versorgen: das Nachtraining, bei dem das Modell weitere Daten verarbeitet. Das ist rechenintensiv, teuer und muss bei jeder neuen Information wiederholt werden. RAG umgeht diesen Aufwand. Die Wissensquelle bleibt getrennt vom Modell und lässt sich jederzeit aktualisieren, ohne das Modell selbst anzufassen.
Wie RAG technisch abläuft
Der Ablauf besteht aus drei Schritten, die bei jeder Anfrage neu durchlaufen werden. Im ersten Schritt wird die Frage des Nutzers in eine Suchform übersetzt. Im zweiten Schritt durchsucht das System seine Wissensquelle und holt die passendsten Textstellen heraus. Im dritten Schritt bekommt das Modell sowohl die Frage als auch die gefundenen Stellen und formuliert daraus die Antwort.
Damit die Suche treffsicher ist, werden Dokumente vorab in kleine Abschnitte zerlegt und als Zahlenreihen gespeichert, sogenannte Einbettungen. Diese Zahlen bilden die Bedeutung eines Abschnitts so ab, dass ähnliche Inhalte nahe beieinanderliegen. So findet das System auch dann passende Stellen, wenn die Frage andere Wörter verwendet als das Dokument.
Das Modell ohne RAG
- antwortet aus dem Trainingsgedächtnis
- kennt keine internen Dokumente
- Wissensstand friert beim Training ein
- erfindet bei Wissenslücken Details
- einfacher und günstiger Betrieb
Das Modell mit RAG
- schlägt zuerst in einer Quelle nach
- greift auf eigene Dokumente zu
- Wissensstand aktualisierbar per Datei
- Antworten bleiben belegbar
- Aufwand für Suche und Pflege der Quelle
Wofür RAG im Alltag nützlich ist
RAG passt überall dort, wo ein Modell auf eigenes, häufig wechselndes Wissen zugreifen soll. Im Kundenservice beantwortet ein Assistent Fragen anhand von Handbüchern und Verträgen. In der Verwaltung bezieht ein Werkzeug Antworten aus Vorschriften und Protokollen. In der Forschung fasst ein Helfer aus einer Sammlung von Aufsätzen das Wesentliche zusammen.
Weil die Quelle offenliegt, lässt sich jede Antwort nachvollziehen. Das ist ein gewichtiger Vorteil für alle Bereiche, in denen eine Aussage belegt sein muss. Ein Assistent, der seine Fundstelle nennen kann, ist weit nützlicher als einer, der bloß überzeugend klingt.
Wo die Grenzen liegen
RAG macht ein Modell nicht allwissend. Die Qualität hängt an der Quelle. Ist die Sammlung veraltet oder lückenhaft, hilft die beste Suche nichts. Auch die Suche selbst kann danebenliegen: Werden die falschen Textstellen gefunden, liefert das Modell eine falsche Antwort, nur diesmal mit Beleg.
Ein zweites Problem ist die Zerlegung. Wer Dokumente ungünstig in Abschnitte schneidet, trennt Zusammengehöriges und macht Treffer unbrauchbar. Deshalb ist sorgfältige Aufbereitung der Quelle oft der wichtigere Teil der Arbeit, nicht die Wahl des Modells. Ohne sie bleibt RAG ein schöner Bauplan ohne Fundament.
Was RAG für Sie bedeutet
RAG ist die pragmatische Antwort auf ein häufiges Problem: Ein Sprachmodell soll über Wissen verfügen, das es nie gelernt hat, und dieses Wissen soll sich jederzeit ändern lassen. Statt das Modell zu trainieren, gibt man ihm eine Quelle zum Nachschlagen. Für Unternehmen ist der Ansatz meist die günstigere und schnellere Lösung. Entscheidend bleibt die Pflege dieser Quelle. Ohne saubere Dokumente nützt die beste Technik wenig.
