Was ist RAG? Retrieval-Augmented Generation erklärt

Ein Wissenssystem auf den eigenen Dokumenten - souverän und mit echten Rechten? WZ-IT baut und betreibt RAG-Systeme auf eigener Infrastruktur - Retrieval, Vektordatenbank und Berechtigungen technisch erzwungen, DSGVO-konform aus einer Hand. Custom RAG-Lösungen ansehen

Ein Sprachmodell kennt die Welt bis zu seinem Trainingsstand - aber nicht Ihre Verträge, Handbücher oder Tickets. RAG schließt diese Lücke, indem es das Modell mit den eigenen Dokumenten verbindet. Dieser Artikel erklärt, was Retrieval-Augmented Generation ist, wie es funktioniert, warum es Halluzinationen senkt und wo im Unternehmen der eigentliche Knackpunkt liegt. Stand Juli 2026.

Inhaltsverzeichnis

• Das Problem: LLMs kennen Ihre Daten nicht
• Wie RAG funktioniert
• Embeddings und die Vektordatenbank
• RAG gegen Halluzinationen
• Der Knackpunkt: Berechtigungen

Das Problem: LLMs kennen Ihre Daten nicht

Ein Sprachmodell antwortet aus dem, was es beim Training gelernt hat. Zwei Grenzen folgen daraus: Sein Wissen endet an einem Stichtag, und es kennt keine internen, nicht-öffentlichen Informationen - genau die Dokumente, um die es im Unternehmen geht. Fragt man ein reines LLM nach dem Inhalt eines konkreten Vertrags, rät es bestenfalls plausibel.

Man könnte versuchen, das gesamte Wissen ins Modell zu trainieren - das ist teuer, langsam und bei sich ändernden Daten unpraktikabel. RAG geht den anderen Weg: Das Modell bleibt, wie es ist, und bekommt die relevanten Informationen zur Laufzeit mitgeliefert.

Wie RAG funktioniert

RAG läuft in zwei Phasen. Beim Indexieren werden die Dokumente vorbereitet:

1. Jedes Dokument wird in handhabbare Abschnitte zerlegt (Chunking).
2. Jeder Abschnitt wird in einen Vektor übersetzt (Embedding), der seine Bedeutung erfasst.
3. Die Vektoren landen in einer Vektordatenbank.

Bei einer Anfrage kehrt sich der Ablauf um: Die Frage wird ebenfalls in einen Vektor übersetzt, die Vektordatenbank liefert die inhaltlich ähnlichsten Abschnitte, und diese werden dem Sprachmodell zusammen mit der Frage als Kontext übergeben. Das Modell formuliert die Antwort aus diesem mitgelieferten Kontext - idealerweise mit Verweis auf die Quelle.

Embeddings und die Vektordatenbank

Der Kern von RAG ist die Ähnlichkeitssuche über Embeddings. Ein Embedding ist eine numerische Darstellung von Text, die dessen Bedeutung in viele Dimensionen abbildet: Zwei Abschnitte mit ähnlichem Inhalt ergeben Vektoren, die nah beieinander liegen - unabhängig davon, ob sie dieselben Wörter verwenden.

Die Vektordatenbank speichert diese Vektoren und findet zu einem Anfrage-Vektor schnell die nächstgelegenen. Verbreitete Optionen sind Qdrant und die Postgres-Erweiterung pgvector - beide Open Source und selbst hostbar. Neben der reinen Ähnlichkeitssuche können sie zusätzliche Bedingungen als Filter anwenden, was für Berechtigungen entscheidend wird (siehe unten).

RAG gegen Halluzinationen

Der größte praktische Vorteil von RAG ist die Belegbarkeit. Weil das Modell aus konkret abgerufenen Textstellen antwortet statt allein aus dem Trainingsgedächtnis, werden Antworten überprüfbar und lassen sich mit Quellenangaben versehen. Das senkt Halluzinationen erheblich.

Beseitigt sind sie damit aber nicht. Findet der Abruf die passende Stelle nicht, oder ist sie schlecht formuliert, kann das Modell weiterhin danebenliegen. RAG verlagert die Qualitätsfrage also von „Was weiß das Modell?" zu „Wie gut ist der Abruf?" - und genau dort entscheidet sich die Güte eines RAG-Systems: bei Chunking, Embeddings und der Auswahl der Treffer.

Der Knackpunkt: Berechtigungen

Im Unternehmen kommt die entscheidende Anforderung hinzu: Ein Benutzer darf über RAG nur die Inhalte sehen, für die er berechtigt ist. Die naheliegende, aber falsche Lösung ist, dem Modell per Prompt zu sagen, es solle bestimmte Dokumente nicht zeigen. Ein Sprachmodell ist keine Berechtigungsprüfung - ein einziger unglücklicher Treffer genügt, und ein vertraulicher Textabschnitt landet in der Antwort.

Richtig ist, die Zugriffskontrolle technisch vor beziehungsweise während der Vektorsuche zu erzwingen: Das Modell bekommt ausschließlich Abschnitte, die für den anfragenden Benutzer bereits autorisiert sind. Was er nicht sehen darf, erreicht das Modell gar nicht erst. Genau das ist der Unterschied zwischen einem netten Prototyp und einem produktiven Wissenssystem - und der Grund, warum RAG im Unternehmen einen eigenen Retrieval-Service mit sauberer ACL-Logik braucht. Wie das im Detail aussieht, zeigt der Weg, Open WebUI an Nextcloud mit echten Berechtigungen anzubinden. Wo RAG im größeren Bild sitzt, ordnet Der Open-Source-LLM-Stack ein.