RAG und KI-Verordnung: wann ein RAG-System Hochrisiko-KI ist

RAG-System geplant und unklar, was die KI-Verordnung verlangt? WZ-IT setzt RAG-Systeme mit Quellenangaben, Rechteprüfung und nachvollziehbarer Protokollierung um, als RAG Proof of Value oder als interner Assistent auf eigener Infrastruktur, siehe KI-Lösungen. Termin vereinbaren

Wer eine RAG-Wissensdatenbank plant, stößt früh auf die Frage, ob das System unter die Hochrisiko-Regeln der KI-Verordnung fällt. Die kurze Antwort: in den meisten Fällen nicht. Ein Assistent, der Handbücher, Richtlinien, Verträge oder Verfahrensanweisungen durchsucht und mit Fundstelle beantwortet, ist nach der Verordnung (EU) 2024/1689 ein KI-System mit Transparenzpflichten, aber kein Hochrisiko-System.

Die lange Antwort hängt an drei Punkten, die in den meisten Darstellungen fehlen: Die Einstufung folgt dem Einsatzzweck und nicht der Technik, ein allgemeiner Assistent kann durch seine Nutzung hochriskant werden, und wer ein RAG-System selbst baut, ist Anbieter. Dieser Beitrag ordnet RAG anhand von Artikel 6, Anhang III und Artikel 25 ein, benennt die Fristen nach dem Digital Omnibus und zeigt, welche Protokollierung und Quellenangaben sinnvoll sind.

Alle Angaben aus dem Verordnungstext und den Dokumenten von Rat und Kommission, Stand September 2026. Der Beitrag beschreibt die technische Umsetzung und ist keine Rechtsberatung.

Inhaltsverzeichnis

1. Die Kurzantwort in einer Tabelle
2. Ein RAG-System ist ein KI-System, kein neues KI-Modell
3. Der Einsatzzweck entscheidet, nicht die Technik
4. Anhang III: wo RAG zum Hochrisiko-System wird
5. Die Ausnahme nach Artikel 6 Absatz 3
6. Anbieter oder Betreiber beim eigenen RAG-System
7. Fristen nach dem Digital Omnibus
8. Was für jedes RAG-System bereits gilt
9. Protokollierung und Quellenangaben
10. Prüfschema für ein RAG-Projekt
11. Unser Vorgehen bei WZ-IT
12. Weiterführende Guides

Die Kurzantwort in einer Tabelle

Die Bereiche stammen aus Anhang III der KI-Verordnung. Wo ein Anhang-III-Bereich berührt ist, kann die Ausnahme nach Artikel 6 Absatz 3 greifen, dazu unten mehr.

Ein RAG-System ist ein KI-System, kein neues KI-Modell

RAG (Retrieval-Augmented Generation) kombiniert eine Suche im eigenen Dokumentenbestand mit einem Sprachmodell, das aus den gefundenen Passagen eine Antwort formuliert. Wie das technisch funktioniert, erklärt der Artikel Was ist RAG.

Für die KI-Verordnung sind zwei Begriffe zu trennen:

Ein KI-System ist nach Artikel 3 Nummer 1 ein maschinengestütztes System, das aus Eingaben ableitet, wie es Ausgaben wie Inhalte, Empfehlungen oder Entscheidungen erzeugt. Ein RAG-System, das mit einem Sprachmodell Antworten erzeugt, erfüllt diese Definition. Eine reine Volltextsuche ohne generierendes Modell ist ein anderer Fall; die Leitlinien der Kommission zur Definition eines KI-Systems nennen Kriterien für die Abgrenzung.

RAG macht Sie nicht zum Modellanbieter. Die Pflichten für GPAI-Modelle aus Kapitel V treffen den Hersteller des Modells. RAG verändert die Gewichte des Modells nicht, es ergänzt nur den Kontext der Anfrage. Nach den Leitlinien der Kommission für GPAI-Anbieter wird ein nachgelagerter Akteur erst zum Modellanbieter, wenn er ein Modell mit mehr als einem Drittel der ursprünglichen Trainingsrechenleistung verändert. Das betrifft umfangreiches Nachtraining, nicht RAG.

Der Einsatzzweck entscheidet, nicht die Technik

Artikel 6 kennt zwei Wege zur Hochrisiko-Einstufung:

• Absatz 1: Das KI-System ist Sicherheitsbauteil eines Produkts nach Anhang I oder selbst ein solches Produkt, etwa in Medizinprodukten oder Maschinen, und das Produkt unterliegt einer Konformitätsbewertung durch Dritte.
• Absatz 2: Das KI-System ist in Anhang III aufgeführt.

Für RAG-Wissensdatenbanken ist praktisch nur Absatz 2 relevant. Anhang III beschreibt keine Technologien, sondern Einsatzzwecke: Systeme, die "bestimmungsgemäß" für eine der aufgezählten Aufgaben verwendet werden sollen. Maßgeblich ist die Zweckbestimmung nach Artikel 3 Nummer 12, also der Zweck, den der Anbieter in Gebrauchsanweisung, Werbematerial und technischer Dokumentation festlegt.

Daraus folgt: Dasselbe RAG-System mit demselben Modell und demselben Index kann in einem Fall kein Hochrisiko-System sein und im anderen schon. Ein Assistent, der Personalrichtlinien erklärt, ist unkritisch. Derselbe Assistent, der Bewerbungen gegen ein Anforderungsprofil abgleicht und eine Rangfolge ausgibt, fällt unter Anhang III Nummer 4.

Anhang III: wo RAG zum Hochrisiko-System wird

Anhang III umfasst acht Bereiche. Für RAG-Systeme kommen vor allem diese Einsätze in Betracht:

Die übrigen Bereiche (Biometrie, kritische Infrastruktur, Strafverfolgung) betreffen RAG-Wissensdatenbanken selten, sind aber bei Behörden mit Sicherheitsaufgaben zu prüfen.

Zwei Fehlannahmen, die in der Praxis häufig vorkommen:

1. "Verwaltung ist Hochrisiko." Anhang III nennt keine allgemeine Verwaltung. Ein RAG-System, mit dem Sachbearbeitende Erlasse, Fachberichte und Verfahrensanweisungen durchsuchen, ist kein Hochrisiko-System. Anders ist es, wenn das System bestimmungsgemäß den Anspruch einer Person auf eine Leistung bewertet. Wie eine Behörde eine RAG-Wissensdatenbank aufbaut, beschreibt der Beitrag RAG-Wissensdatenbank in Behörden.
2. "Juristische Recherche ist Hochrisiko." Nummer 8 Buchstabe a nennt Systeme, die von einer Justizbehörde oder in ihrem Auftrag genutzt werden, sowie die alternative Streitbeilegung. Ein RAG-System für die Rechtsabteilung eines Unternehmens oder für eine Kanzlei fällt nicht unter diesen Wortlaut.

Der unterschätzte Fall ist der offene Assistent. Ein Chat-Assistent über dem gesamten Dokumentenbestand kann für beliebige Zwecke genutzt werden. Nutzt jemand ihn gezielt für einen Anhang-III-Zweck, greift Artikel 25 Absatz 1 Buchstabe c: Wer die Zweckbestimmung eines nicht als hochriskant eingestuften Systems, auch eines KI-Systems mit allgemeinem Verwendungszweck, so ändert, dass es hochriskant wird, gilt als Anbieter eines Hochrisiko-Systems. Eine Nutzungsrichtlinie, die solche Zwecke ausschließt, und eine Rechtestruktur, die Personalakten nicht in den allgemeinen Index bringt, sind deshalb Teil der Einstufung. Wie Rechte in einem RAG-System durchgesetzt werden, zeigt der Artikel RAG-Berechtigungen.

Die Ausnahme nach Artikel 6 Absatz 3

Nicht jedes System in einem Anhang-III-Bereich ist hochriskant. Nach Artikel 6 Absatz 3 gilt ein solches System nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt und das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Das ist der Fall, wenn eine der folgenden Bedingungen erfüllt ist:

Die Beispiele sind Einordnungshilfen, keine verbindlichen Zuordnungen. Zwei Einschränkungen gelten immer:

• Profiling bleibt hochriskant. Führt das System ein Profiling natürlicher Personen durch, ist es unabhängig von den Bedingungen ein Hochrisiko-System.
• Die Einstufung muss dokumentiert werden. Nach Artikel 6 Absatz 4 dokumentiert der Anbieter seine Bewertung vor der Inbetriebnahme und legt sie der Behörde auf Verlangen vor. Zusätzlich registriert er das System nach Artikel 49 Absatz 2 in der EU-Datenbank. Der Digital Omnibus hat die dafür nötigen Angaben verringert, die Registrierung aber beibehalten (Erwägungsgrund 22 des Omnibus-Texts).

Die Kommission sollte nach Artikel 6 Absatz 5 bis zum 2. Februar 2026 Leitlinien mit Praxisbeispielen vorlegen. Veröffentlicht hat sie am 19. Mai 2026 einen Entwurf der Leitlinien zur Hochrisiko-Einstufung; die Konsultation lief bis zum 23. Juli 2026. Stand September 2026 liegt keine endgültige Fassung vor.

Anbieter oder Betreiber beim eigenen RAG-System

Die Rolle bestimmt, welche Pflichten greifen. Die Definitionen aus Artikel 3:

• Anbieter (Nr. 3) ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt, entgeltlich oder unentgeltlich.
• Betreiber (Nr. 4) ist, wer ein KI-System in eigener Verantwortung verwendet, außer im Rahmen einer persönlichen, nicht beruflichen Tätigkeit.
• Inbetriebnahme (Nr. 11) umfasst ausdrücklich die Bereitstellung "zum Eigengebrauch".

Für RAG heißt das:

Die Rolle als Anbieter ist beim internen RAG-System der Normalfall. Bei einem System ohne Hochrisiko-Einstufung bedeutet sie überschaubare Pflichten: den Hinweis nach Artikel 50 Absatz 1 und gegebenenfalls die Markierung nach Absatz 2. Wie sich die Rolle auf die Kennzeichnung auswirkt, beschreibt der Beitrag zur KI-Kennzeichnungspflicht nach Artikel 50. Einen Überblick über alle Rollen und Risikostufen gibt der Artikel EU AI Act für Unternehmen.

Neu durch den Omnibus ist eine genauere Pflicht zur Zusammenarbeit entlang der Wertschöpfungskette: Wird ein System nach Artikel 25 Absatz 1 zu einem Hochrisiko-System eines neuen Anbieters, muss der ursprüngliche Anbieter unter anderem technische Dokumentation bereitstellen und über bekannte Grenzen und Fehlerbilder informieren, sofern er die Umwidmung nicht ausdrücklich ausgeschlossen hat.

Fristen nach dem Digital Omnibus

Der Verfahrensstand ist abgeschlossen:

Quellen: Vermerk des Rates vom 22. Juni 2026, Verordnung (EU) 2026/1744 auf EUR-Lex.

Die für RAG-Systeme relevanten Geltungstermine nach dem geänderten Artikel 113 und Artikel 111:

Der AI Act Service Desk der Kommission bestätigt diese Termine. Für Hochrisiko-Systeme, die vor dem 2. Dezember 2027 in Betrieb gehen, gilt nach dem geänderten Artikel 111 Absatz 2: Die Verordnung greift erst bei einer wesentlichen Änderung des Designs, Systeme für Behörden müssen aber spätestens bis zum 2. August 2030 konform sein. Den Weg zur Verschiebung und die Hochrisiko-Pflichten im Einzelnen beschreibt der Beitrag EU AI Act: Hochrisiko-Pflichten auf Dezember 2027 verschoben.

Was für jedes RAG-System bereits gilt

Unabhängig von der Hochrisiko-Frage gelten für jedes RAG-System, das beruflich eingesetzt wird, drei Regeln aus der KI-Verordnung:

KI-Kompetenz (Artikel 4). Seit dem 2. Februar 2025 müssen Anbieter und Betreiber Maßnahmen zur KI-Kompetenz ihres Personals ergreifen. Der Omnibus hat Artikel 4 neu gefasst: Anbieter und Betreiber müssen Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen, und die Pflicht verlangt ausdrücklich nicht, ein bestimmtes Kompetenzniveau einzelner Personen zu garantieren (Omnibus-Text, Nummer 5). Die Pflicht besteht also weiter. Für ein RAG-System gehört dazu, dass Nutzende wissen, dass Antworten aus Fundstellen erzeugt werden, falsch sein können und an der Quelle zu prüfen sind.

Transparenz (Artikel 50). Seit dem 2. August 2026 muss ein System, das direkt mit Menschen interagiert, so gestaltet sein, dass sie wissen, dass sie mit einer KI kommunizieren. Das gilt auch für interne Assistenten. Diese Pflicht trifft den Anbieter, beim eigenen RAG-System also Sie. Verstöße gegen Artikel 50 können nach Artikel 99 Absatz 4 mit bis zu 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden, bei KMU gilt der jeweils niedrigere Betrag.

Verbotene Praktiken (Artikel 5). Für Wissensdatenbanken selten einschlägig. Relevant wird Artikel 5, wenn ein System Emotionen am Arbeitsplatz erkennen soll, was verboten ist.

Daneben gelten die Datenschutz-Grundverordnung und, wo Beschäftigtendaten verarbeitet werden, das Mitbestimmungsrecht. Die KI-Verordnung regelt nicht, ob ein RAG-System personenbezogene Daten verarbeiten darf.

Protokollierung und Quellenangaben

Protokollierung ist nach der KI-Verordnung nur für Hochrisiko-Systeme vorgeschrieben:

Für ein RAG-System ohne Hochrisiko-Einstufung gibt es keine Protokollierungspflicht aus der KI-Verordnung, und eine Pflicht zu Quellenangaben kennt die Verordnung überhaupt nicht. Beides ist trotzdem der Kern eines belastbaren RAG-Betriebs, aus drei Gründen:

1. Einstufung nachweisen. Wer sich auf Artikel 6 Absatz 3 beruft oder begründen will, dass ein Assistent nicht für Anhang-III-Zwecke genutzt wird, braucht Daten über die tatsächliche Nutzung.
2. Antworten prüfbar machen. Quellenangaben sind der Mechanismus, mit dem ein Mensch eine RAG-Antwort kontrolliert. Bei Hochrisiko-Systemen ist menschliche Aufsicht nach Artikel 14 Pflicht, und eine Aufsicht ohne Fundstelle ist kaum möglich.
3. Ein späterer Wechsel in Anhang III. Wird das System erweitert und fällt ab dem 2. Dezember 2027 unter Anhang III, muss die Protokollierung bereits vorhanden sein.

Für RAG sind gegenüber einem reinen Chat zusätzliche Felder nötig, damit sich eine Antwort später rekonstruieren lässt:

Die Aufbewahrungsdauer und der Umgang mit personenbezogenen Daten in Protokollen richten sich nach der DSGVO. Pseudonymisierte Nutzerkennungen und eine festgelegte Löschfrist sind der übliche Weg. Eine selbst betriebene Lösung dafür beschreibt der Beitrag LLM-Observability mit Langfuse. Wie sich die Qualität von Antworten und Fundstellen messen lässt, erklärt der Artikel RAG-Qualität messen.

Prüfschema für ein RAG-Projekt

Die Einordnung eines RAG-Projekts lässt sich in fünf Fragen fassen. Das Ergebnis gehört in die Projektdokumentation.

Fällt die Antwort auf Frage 3 eindeutig außerhalb von Anhang III aus, ist das RAG-System kein Hochrisiko-System. Bleibt sie offen, weil der Assistent für beliebige Zwecke offensteht, ist die Einschränkung von Datenquellen, Nutzerkreis und Zweck der wirksamere Schritt als eine nachträgliche Hochrisiko-Dokumentation. Wer rechtlich unsichere Fälle hat, klärt Schritt 3 und 4 mit der Rechtsberatung.

Unser Vorgehen bei WZ-IT

Wir bauen RAG-Systeme so, dass die Einordnung nach der KI-Verordnung aus der Architektur ablesbar ist. Die rechtliche Bewertung bleibt bei Ihrer Rechtsberatung, die technische Grundlage dafür liefern wir.

1. Einsatzzweck festlegen. Wissensbereich, Nutzerkreis und ausgeschlossene Zwecke werden vor dem Aufbau dokumentiert. Der RAG Proof of Value beginnt mit einem abgegrenzten Wissensbestand und vereinbarten Referenzfragen.
2. Rechte vor dem Abruf. Der Index übernimmt die Berechtigungen der Quellsysteme, sodass Personal- oder Verfahrensakten nicht im allgemeinen Assistenten auftauchen.
3. Quellen in jeder Antwort. Antworten zeigen Dokument, Fundstelle und Stand, wie beim Knowledge Navigator. Was nicht im Bestand steht, wird nicht beantwortet.
4. Protokollierung und Messung. Anfragen, Fundstellen, Dokumentversionen und Modellversionen werden nachvollziehbar gespeichert, etwa mit Langfuse, und die Antwortqualität wird gegen Referenzfragen gemessen.
5. Betrieb unter eigener Kontrolle. Modell und Index laufen auf eigener Hardware mit dem AI Cube oder auf einem Managed GPU-Server von WZ-IT mit NVIDIA RTX PRO 4000 Blackwell (24 GB) oder RTX PRO 6000 Blackwell (96 GB). Support, Beratung und Implementierung durch WZ-IT.

Weiterführende Guides

• EU AI Act: Hochrisiko-Pflichten auf Dezember 2027 verschoben, die Pflichten für Hochrisiko-Systeme im Einzelnen.
• KI-Kennzeichnungspflicht nach Artikel 50, Hinweis und Markierung je nach Rolle.
• RAG-Wissensdatenbank in Behörden, Aufbau und Betrieb in der öffentlichen Verwaltung.
• Europäische LLM-APIs im Vergleich, Modellzugang ohne US-Anbieter.
• RAG-Qualität messen, Referenzfragen und Metriken für die Abnahme.
• RAG-Berechtigungen, wie Rechte im Retrieval durchgesetzt werden.
• KI-Lösungen bei WZ-IT, Übersicht über Angebot und Betriebswege.

RAG-System mit nachvollziehbarer Einstufung aufbauen? Wir legen Einsatzzweck, Rechte, Quellenanzeige und Protokollierung fest und betreiben das System auf Ihrer Hardware oder einem Managed GPU-Server von WZ-IT. Termin vereinbaren

Quellen

• Verordnung (EU) 2024/1689 (KI-Verordnung) auf EUR-Lex
• Verordnung (EU) 2026/1744 (Digital Omnibus zur KI) auf EUR-Lex
• Rat der EU, PE-CONS 30/26: Text des Digital Omnibus zur KI
• Rat der EU, Vermerk 10752/26 zur Annahme des Digital Omnibus
• AI Act Service Desk: Anhang III
• AI Act Service Desk: Artikel 3, Begriffsbestimmungen
• AI Act Service Desk: Artikel 6, Einstufung als Hochrisiko-System
• AI Act Service Desk: Artikel 25, Verantwortlichkeiten entlang der Wertschöpfungskette
• AI Act Service Desk: Artikel 26, Pflichten der Betreiber
• AI Act Service Desk: Artikel 86, Recht auf Erläuterung
• AI Act Service Desk: FAQ inklusive Digital Omnibus
• Europäische Kommission: Entwurf der Leitlinien zur Hochrisiko-Einstufung
• Europäische Kommission: Leitlinien für Anbieter von GPAI-Modellen
• Europäische Kommission: Leitlinien zur Definition eines KI-Systems