Auch genannt: RAG
Retrieval-Augmented Generation (RAG) bezeichnet eine Architektur für generative KI, bei der ein Sprachmodell vor der Antwort passende Informationen aus einer Wissensquelle außerhalb seiner Modellparameter erhält. Statt sich allein auf sein Trainingswissen zu stützen, verarbeitet das Modell die Frage zusammen mit abgerufenen Textausschnitten. Das kann etwa eine interne Richtlinie, ein Handbuch oder eine geprüfte Fachquelle sein. AWS beschreibt RAG als Vorgehen, bei dem ein Large Language Model vor der Antwort auf eine Wissensbasis außerhalb seiner Trainingsdaten Bezug nimmt. AWS
Ein Large Language Model kann Texte flüssig formulieren, kennt aber nicht automatisch die aktuelle Fassung eines Unternehmenshandbuchs oder eine erst gestern geänderte Produktregel. RAG ergänzt das Modell deshalb um eine Suche: Zu einer Frage werden zuerst relevante Inhalte aus einem festgelegten Datenbestand ausgewählt. Diese Inhalte kommen als zusätzlicher Kontext in die Eingabe des Modells. Erst dann formuliert es eine Antwort.
Die Abkürzung steht für drei Schritte: Retrieval ist das Auffinden passender Informationen, Augmented bedeutet die Anreicherung der Eingabe um diesen Kontext, und Generation ist die erzeugte Antwort. IBM nennt als mögliche externe Wissensquellen interne Organisationsdaten, Fachzeitschriften und spezialisierte Datensätze. IBM Die Qualität hängt jedoch nicht allein am Sprachmodell. Ebenso wichtig sind Auswahl, Pflege, Rechte und Aktualität der angeschlossenen Inhalte.
Am Anfang steht eine Wissensbasis. Dokumente werden so aufbereitet, dass sie gesucht werden können, häufig in überschaubaren Abschnitten. Viele Systeme bilden für Frage und Dokumentabschnitte numerische Repräsentationen, sogenannte Embeddings. Damit lässt sich nicht nur nach identischen Wörtern, sondern auch nach ähnlicher Bedeutung suchen. Eine Vektordatenbank ist ein verbreiteter Speicher für solche Repräsentationen, aber keine zwingende Voraussetzung für jedes RAG-System.
Stellt eine Person eine Frage, verarbeitet der Retriever diese Anfrage und liefert einige passende Abschnitte zurück. Eine Integrationsschicht kombiniert die ursprüngliche Frage, die Fundstellen und klare Anweisungen für die Antwort. Der Generator, oft ein Large Language Model, erhält also nicht die gesamte Wissensbasis, sondern nur einen begrenzten, ausgewählten Kontext. Gute Systeme protokollieren, welche Quellen verwendet wurden, und zeigen sie möglichst nachvollziehbar an.
Die Architektur muss mit Grenzfällen umgehen. Liefert die Suche nichts Passendes, sollte das System diese Unsicherheit benennen statt Lücken mit einer überzeugend klingenden Antwort zu überdecken. Werden zu viele oder widersprüchliche Abschnitte hinzugefügt, kann der Kontext die Antwort verschlechtern. Zugriffsregeln gehören ebenfalls in den Abruf: Ein System darf aus einem internen Dokument nur dann zitieren, wenn die fragende Person es auch sehen darf.
Ein Kundendienst möchte Fragen zu einer Software beantworten. Die Bedienungsanleitungen, aktuelle Versionshinweise und freigegebenen Supportartikel liegen in einer Wissensbasis. Fragt jemand nach einer Einstellung, sucht das RAG-System zunächst nach den relevanten Passagen. Es gibt die Frage und diese Auszüge an das Modell weiter. Die Antwort kann dann die einzelnen Schritte erklären und auf den verwendeten Supportartikel verweisen.
Ändert sich eine Anleitung, muss dafür nicht das Sprachmodell neu trainiert werden. Die geänderte Fassung wird in die Wissensbasis übernommen und für die Suche aufbereitet. Das ist ein praktischer Vorteil, aber kein Selbstläufer: Dubletten, veraltete Fassungen oder falsch zugeordnete Berechtigungen können weiterhin zu unbrauchbaren oder unzulässigen Antworten führen.
RAG wird besonders dort eingesetzt, wo Antworten einen begrenzten, sich ändernden Wissensstand berücksichtigen sollen. Typische Fälle sind interne Wissensassistenten, Produkt- und Supportbots, Recherchewerkzeuge oder Anwendungen, die technische Dokumentationen zusammenfassen. Auch ein KI-Agent kann RAG als Baustein verwenden, wenn er vor einer Handlung Informationen aus freigegebenen Quellen abrufen soll.
Für Organisationen ist die Trennung zwischen Modell und Wissensbasis relevant: Quellen lassen sich aktualisieren, austauschen oder über Berechtigungen beschränken, ohne zwangsläufig die Modellgewichte zu verändern. RAG kann somit helfen, domänenspezifische Informationen in Antworten einzubringen. Ob die Ergebnisse verlässlich genug sind, muss für den jeweiligen Einsatz geprüft werden, insbesondere bei rechtlichen, medizinischen, finanziellen oder sicherheitskritischen Entscheidungen.
RAG macht ein Modell nicht automatisch wahrheitsgetreu. Eine als „autoritative“ vorgesehene Quelle kann fehlerhaft, unvollständig oder überholt sein. Zudem kann der Retriever die falschen Textstellen finden, wichtige Einschränkungen übersehen oder Inhalte aus verschiedenen Versionen vermischen. Auch wenn der richtige Abschnitt im Kontext steht, kann das Modell ihn missverstehen, falsch zusammenfassen oder zusätzliche unbelegte Aussagen erzeugen. RAG senkt damit Risiken nicht ohne weitere Qualitätskontrollen.
Ein verbreitetes Missverständnis ist, RAG sei dasselbe wie Training oder Fine-Tuning. Beim Fine-Tuning werden Modellparameter mit zusätzlichen Beispielen angepasst. RAG fügt zur Laufzeit Kontext aus externen Daten hinzu; die Modellgewichte ändern sich dadurch nicht automatisch. Beide Verfahren können kombiniert werden, beantworten aber unterschiedliche Fragen: RAG eignet sich vor allem für abrufbares, wandelbares Wissen, Fine-Tuning eher für gewünschte Aufgaben- oder Ausgabegewohnheiten.
Ebenso ist RAG nicht einfach eine normale Suche. Eine Suchfunktion kann Trefferlisten ausgeben. Bei RAG fließen ausgewählte Treffer in die Eingabe einer generativen Komponente ein, die daraus eine Antwort formuliert. Gerade deshalb sind Quellenanzeige, Tests mit realistischen Fragen und ein klarer Umgang mit fehlenden Treffern wichtig.
Ein Prompt ist die Eingabe oder Arbeitsanweisung für ein Modell. RAG kann einen Prompt um recherchierte Kontextabschnitte erweitern, ist aber mehr als die Formulierung dieser Eingabe. Generative KI bezeichnet das Erzeugen neuer Ausgaben allgemein; RAG ist eine mögliche Architektur, um solche Ausgaben mit externem Wissen zu verbinden. Ein Large Language Model ist schließlich häufig der Generator innerhalb eines RAG-Systems, aber nicht die komplette Retrieval- und Berechtigungskette.
Stand: 13. September 2026. RAG-Anwendungen sollten mit eigenen, berechtigungsgerechten Testfällen und ihren tatsächlichen Quellen geprüft werden.