Forschung

Wenn das Modell die eigene Firma nicht kennt: RAG einfach erklärt

Fragen Sie einen Chatbot nach dem Betriebsrundschreiben von gestern, erfindet er womöglich eine Antwort. RAG löst dieses Problem, indem die KI vor dem Antworten nachschlägt.

Anna WeberAnna Weber
Beliebtheit: 910
Wenn das Modell die eigene Firma nicht kennt: RAG einfach erklärt

Fragen Sie einen Chatbot nach dem Betriebsrundschreiben von gestern, erfindet er womöglich eine Antwort. RAG löst dieses Problem, indem die KI vor dem Antworten nachschlägt.

Wenn das Modell die eigene Firma nicht kennt: RAG einfach erklärt

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa abruferweiterte Generierung. Die Idee dahinter ist zugleich einfach und wirksam. Bevor ein Sprachmodell eine Antwort formuliert, sucht es in einer angeschlossenen Wissensquelle nach passenden Stellen und baut sie in seine Antwort ein. Statt aus dem Gedächtnis zu raten, liest es erst nach.

Der englische Begriff schreckt viele ab, die Sache dahinter ist alltagstauglich. Wer je erlebt hat, dass ein Chatbot über interne Vorgänge falsche Auskunft gab, hat schon das Problem gesehen, das RAG behebt. Der Ansatz ist heute in Unternehmen weit verbreitet, weil er deutlich preiswerter ist als das Nachschulen eines ganzen Modells.

Warum greifen so viele Firmen zu diesem Verfahren? Weil es ein Grundproblem der Sprachmodelle an der Wurzel packt, ohne das Modell selbst anzufassen.

Das Problem, das RAG löst

Große Sprachmodelle werden auf riesigen, öffentlichen Datenmengen trainiert. Das Training endet zu einem bestimmten Zeitpunkt, dem sogenannten Wissensstichtag. Alles, was danach geschieht, kennt das Modell nicht. Ebenso unbekannt bleiben interne Dokumente, Kundenakten oder Fachberichte, die nie im öffentlichen Netz standen.

Bisher blieb nur ein Weg, ein Modell mit solchem Wissen zu versorgen: das Nachtraining, bei dem das Modell weitere Daten verarbeitet. Das ist rechenintensiv, teuer und muss bei jeder neuen Information wiederholt werden. RAG umgeht diesen Aufwand. Die Wissensquelle bleibt getrennt vom Modell und lässt sich jederzeit aktualisieren, ohne das Modell selbst anzufassen.

Wie RAG technisch abläuft

Der Ablauf besteht aus drei Schritten, die bei jeder Anfrage neu durchlaufen werden. Im ersten Schritt wird die Frage des Nutzers in eine Suchform übersetzt. Im zweiten Schritt durchsucht das System seine Wissensquelle und holt die passendsten Textstellen heraus. Im dritten Schritt bekommt das Modell sowohl die Frage als auch die gefundenen Stellen und formuliert daraus die Antwort.

Damit die Suche treffsicher ist, werden Dokumente vorab in kleine Abschnitte zerlegt und als Zahlenreihen gespeichert, sogenannte Einbettungen. Diese Zahlen bilden die Bedeutung eines Abschnitts so ab, dass ähnliche Inhalte nahe beieinanderliegen. So findet das System auch dann passende Stellen, wenn die Frage andere Wörter verwendet als das Dokument.

Das Modell ohne RAG

  • antwortet aus dem Trainingsgedächtnis
  • kennt keine internen Dokumente
  • Wissensstand friert beim Training ein
  • erfindet bei Wissenslücken Details
  • einfacher und günstiger Betrieb

Das Modell mit RAG

  • schlägt zuerst in einer Quelle nach
  • greift auf eigene Dokumente zu
  • Wissensstand aktualisierbar per Datei
  • Antworten bleiben belegbar
  • Aufwand für Suche und Pflege der Quelle

Wofür RAG im Alltag nützlich ist

RAG passt überall dort, wo ein Modell auf eigenes, häufig wechselndes Wissen zugreifen soll. Im Kundenservice beantwortet ein Assistent Fragen anhand von Handbüchern und Verträgen. In der Verwaltung bezieht ein Werkzeug Antworten aus Vorschriften und Protokollen. In der Forschung fasst ein Helfer aus einer Sammlung von Aufsätzen das Wesentliche zusammen.

Weil die Quelle offenliegt, lässt sich jede Antwort nachvollziehen. Das ist ein gewichtiger Vorteil für alle Bereiche, in denen eine Aussage belegt sein muss. Ein Assistent, der seine Fundstelle nennen kann, ist weit nützlicher als einer, der bloß überzeugend klingt.

Wo die Grenzen liegen

RAG macht ein Modell nicht allwissend. Die Qualität hängt an der Quelle. Ist die Sammlung veraltet oder lückenhaft, hilft die beste Suche nichts. Auch die Suche selbst kann danebenliegen: Werden die falschen Textstellen gefunden, liefert das Modell eine falsche Antwort, nur diesmal mit Beleg.

Ein zweites Problem ist die Zerlegung. Wer Dokumente ungünstig in Abschnitte schneidet, trennt Zusammengehöriges und macht Treffer unbrauchbar. Deshalb ist sorgfältige Aufbereitung der Quelle oft der wichtigere Teil der Arbeit, nicht die Wahl des Modells. Ohne sie bleibt RAG ein schöner Bauplan ohne Fundament.

Was RAG für Sie bedeutet

RAG ist die pragmatische Antwort auf ein häufiges Problem: Ein Sprachmodell soll über Wissen verfügen, das es nie gelernt hat, und dieses Wissen soll sich jederzeit ändern lassen. Statt das Modell zu trainieren, gibt man ihm eine Quelle zum Nachschlagen. Für Unternehmen ist der Ansatz meist die günstigere und schnellere Lösung. Entscheidend bleibt die Pflege dieser Quelle. Ohne saubere Dokumente nützt die beste Technik wenig.

Diesen Artikel teilen

Quellen

Ähnliche KI-News

Konzentrische Spiralkurven, gekreuzt von einer senkrechten Linie mit hellen Punkten entlang der Achse
Forschung

Ein Anthropic-Forscher sagt, Claude habe die Riemann hypothesis bewiesen

Ein Mathematiker im Dienst von Anthropic sagt, er habe mit Claude einen Beweis der Riemannschen Vermutung gefunden. Bestätigt hat das Unternehmen nichts, und Stanford legte wenige Stunden später einen menschlichen Gegenentwurf vor.

Beliebtheit: 1,860
Ein Stapel vernetzter Agenten-Knoten mit einem Pfad zu einem Serverrack, darauf ein Schlüsselloch und eine Einbruchsspur
Forschung

Ein KI-Agent fand eine Zero-Day-Lücke und übernahm in elf Minuten einen Uniserver

Amazon hat einen Fall dokumentiert, in dem mehrere Agenten eine bis dahin unbekannte Lücke in einer Open-Source-Anwendung fanden und ausnutzten. Der Angriff dauerte am Ende elf Minuten, und genau das ist der Punkt.

Beliebtheit: 1,520
Ein Trichter, durch den kleine Token-Blöcke von einem Modellkasten zum nächsten laufen, mit einer Schutzplatte, die einen Teil des Flusses blockiert
Forschung

OpenAI drückt die Erfolgsquote beim Abgreifen von Denkspuren im eigenen Test von 54 auf 0,2 Prozent

OpenAI hat beschrieben, wie es verhindert, dass andere Firmen die internen Denkschritte seiner Modelle abschöpfen. Die Zahlen sehen nach einem Sieg aus. Sie kommen aus dem eigenen Testlabor.

Beliebtheit: 1,420
Ein cyanfarbenes Gitter mit einem hervorgehobenen Quadrat neben dem Text Lattice Standard Model
Forschung

OpenAI und GPT-6 Astra: ein Schritt zur Definition des Standard Model

OpenAI hat am 15. November beschrieben, wie sich das Standardmodell auf einem Gitter definieren lässt, und GPT-6 Astra hat dabei einen Beweisschritt beigesteuert. Eine Lösung des Problems ist das nicht.

Beliebtheit: 1,500