RAG-Wissensdatenbank in der Behörde: Leitfaden für die öffentliche Verwaltung

RAG-Wissensdatenbank für eine Behörde geplant? WZ-IT baut Wissensdatenbanken mit Quellenangabe und Rechten, betrieben im eigenen Netz oder auf einem Managed GPU-Server, siehe Interner Assistent und RAG Proof of Value im KI-Hub. Termin vereinbaren

Behörden verwalten große, über Jahre gewachsene Bestände: Erlasse und Rundschreiben, Verfahrensanweisungen, Fachberichte, Gutachten, Stellungnahmen, Protokolle. Wer eine Regelung sucht, kennt oft den Inhalt, aber nicht das Aktenzeichen oder den Titel. Eine RAG-Wissensdatenbank (Retrieval Augmented Generation) sucht passende Textstellen im eigenen Bestand und lässt ein Sprachmodell daraus eine Antwort mit Fundstelle formulieren.

Mehrere Länder und der Bund betreiben inzwischen eigene KI-Assistenten. Die meisten Leitfäden zum Thema bleiben bei Grundsätzen. Dieser Beitrag beschreibt, wie eine Behörde eine RAG-Wissensdatenbank konkret aufbaut: welche Dokumente welchen Aufwand machen, wo Rechte und VS-NfD Grenzen setzen, was Datenschutzaufsicht und KI-Verordnung verlangen und welche Betriebswege es gibt. Stand September 2026, keine Rechtsberatung.

Inhaltsverzeichnis

1. Was eine RAG-Wissensdatenbank in der Verwaltung leistet
2. KI-Assistenten der Verwaltung im Überblick
3. Den Datenbestand aufbereiten
4. Rechte, Schutzbedarf und VS-NfD
5. Datenschutz nach der DSK-Orientierungshilfe RAG
6. Einordnung nach der KI-Verordnung
7. Betriebswege für Behörden
8. Architektur aus Open-Source-Bausteinen
9. Leitlinien und Beschaffung
10. Unser Vorgehen bei WZ-IT
11. Weiterführende Guides

Was eine RAG-Wissensdatenbank in der Verwaltung leistet

Ein allgemeiner KI-Assistent formuliert Texte, fasst zusammen und übersetzt. Er kennt aber weder den aktuellen Erlass des eigenen Ministeriums noch die interne Verfahrensanweisung. Eine RAG-Wissensdatenbank schließt diese Lücke, ohne das Modell zu trainieren. Das Prinzip ist im Wissensartikel Was ist RAG? beschrieben, hier nur die Kurzfassung:

1. Dokumente werden in Textabschnitte zerlegt, mit Metadaten versehen und in einem Suchindex gespeichert.
2. Eine Frage löst eine Suche im Index aus, die relevanten Abschnitte werden ausgewählt.
3. Das Sprachmodell formuliert die Antwort nur aus diesen Abschnitten und nennt die Fundstellen.

Für die Verwaltung sind drei Eigenschaften entscheidend: Jede Antwort ist an eine Quelle gebunden und damit prüfbar. Der Bestand lässt sich ändern, ohne das Modell anzufassen. Und die Suche kann Rechte berücksichtigen, bevor ein Abschnitt überhaupt beim Modell ankommt.

Typische Einsatzfelder sind die Recherche in Erlass- und Vorschriftensammlungen, Fachwissen für Sachbearbeitung und Bürgerservice, die Einarbeitung neuer Beschäftigter, Stellungnahmen auf Basis früherer Stellungnahmen und die Suche in Gutachten und Fachberichten. Was eine Wissensdatenbank nicht tun sollte: Einzelfälle entscheiden oder Bescheide ohne menschliche Prüfung erzeugen.

KI-Assistenten der Verwaltung im Überblick

Bevor eine Behörde ein eigenes System plant, lohnt der Blick auf das, was im eigenen Land oder beim Bund bereits läuft. Die folgenden Plattformen sind öffentlich dokumentiert, Stand September 2026:

Quellen: Staatsministerium Baden-Württemberg zu F13, F13 auf openCode, Senatskanzlei Hamburg zu LLMoin, BMDS zu KI in der Verwaltung, StMFH zur BayernKI, CityLAB Berlin zu BärGPT und zu Parla.

Einige Punkte aus den Primärquellen, die für die eigene Planung zählen:

• LLMoin nutzen laut Senatskanzlei rund 40.000 Beschäftigte in Hamburg. Niedersachsen, Bremen, Sachsen-Anhalt und Rheinland-Pfalz haben sich für die Nachnutzung entschieden. Laut Dataport lassen sich behördenspezifische Datenquellen einbinden.
• KIPITZ läuft im Rechenzentrum des ITZBund. Nach Angabe des BMDS stellt das abgeschlossene System sicher, dass keine Verwaltungsdaten in das Training von Modellen zurückfließen.
• BayernKI läuft im bayerischen Behördennetz. Seit Juni 2025 nutzen sie auch 50 Pilotkommunen (Bayerische Staatszeitung, 13.08.2026).
• F13 ist laut openCode modellagnostisch und für den lokalen Betrieb in behördlicher Infrastruktur ausgelegt. Das macht die Software auch für Kommunen und andere Länder nachnutzbar.

Wo eine eigene Wissensdatenbank ansetzt. Die Landesplattformen sind breit angelegt: Viele Beschäftigte, allgemeine Textarbeit, Recherche in hochgeladenen oder zentral vordefinierten Beständen. Eine eigene Wissensdatenbank wird relevant, wenn ein Fachbestand dauerhaft gepflegt, versioniert und nach Organisationseinheiten berechtigt durchsuchbar sein soll, wenn Dokumentenablagen oder Fachverfahren angebunden werden müssen oder wenn die Landesplattform in der eigenen Verwaltungsebene nicht verfügbar ist. Oft ist sie kein Ersatz, sondern eine zusätzliche Datenquelle für die vorhandene Plattform.

Den Datenbestand aufbereiten

Die Qualität einer Wissensdatenbank entscheidet sich bei der Aufbereitung, nicht bei der Modellwahl. Verwaltungsbestände haben dabei eigene Muster:

Gescannte PDFs. Ohne Textebene findet die Suche nichts. OCRmyPDF (MPL-2.0) ergänzt PDFs auf Basis der Texterkennung Tesseract (Apache-2.0) um eine durchsuchbare Textebene. Für komplexe Layouts mit Tabellen eignet sich ein strukturerhaltender Parser wie Docling (MIT). Texterkennung ersetzt nicht die Prüfung fachlich entscheidender Zahlen, deshalb gehören Stichproben in die Abnahme.

Versionen. Der häufigste Fehler in Vorschriftenbeständen ist nicht die falsche, sondern die veraltete Antwort. Aufgehobene Erlasse gehören aus dem Suchraum heraus. Wenn sie nur schlechter bewertet werden, tauchen sie bei der nächsten Frage wieder auf.

Metadaten. Aktenzeichen, Datum, Gültigkeit, herausgebende Stelle, Organisationseinheit und Schutzbedarf sollten jeden Abschnitt begleiten. Sie ermöglichen Filter und Rechteprüfung und machen die Quellenangabe für die Nutzer lesbar.

Exakte Kennungen. Aktenzeichen, Paragraphen und Erlassnummern findet eine reine Vektorsuche schlecht. Eine Kombination aus Stichwortsuche und semantischer Suche mit anschließendem Reranking löst das, beschrieben im Wissensartikel Hybrid Search und Reranking. Wie lange Verwaltungs- und Rechtstexte sinnvoll zerlegt werden, zeigt der Artikel Chunking für deutsche Dokumente.

Rechte, Schutzbedarf und VS-NfD

In einer Behörde darf nicht jede Person jedes Dokument sehen. Eine Wissensdatenbank muss diese Grenzen einhalten, und zwar vor der Suche: Abschnitte, auf die eine Person keinen Zugriff hat, dürfen gar nicht erst in den Kontext des Modells gelangen. Eine Anweisung im Prompt reicht dafür nicht. Wie das technisch umgesetzt wird, beschreibt der Wissensartikel RAG und Berechtigungen.

Drei Muster haben sich bewährt:

Die Datenschutzkonferenz empfiehlt, die Zweckbindung über Rollen sowie eine Mandantentrennung oder funktionale Trennung in der Vektordatenbank umzusetzen, und dies bereits bei der Aufbereitung der Dokumente zu prüfen (DSK-Orientierungshilfe RAG, Abschnitt 3.4).

VS-NfD. Für Verschlusssachen gilt beim Bund die Verschlusssachenanweisung (VSA) vom 13. März 2023, in Kraft seit 1. April 2023; die Länder haben eigene Regelungen. Verantwortlich sind die Geheimschutzbeauftragten der Behörde. IT-Sicherheitsprodukte, die Sicherheitsfunktionen zum Schutz von Verschlusssachen umsetzen, müssen nach § 51 VSA vom BSI zugelassen sein (BSI, Zulassung).

Für eine Wissensdatenbank folgt daraus eine klare Reihenfolge:

1. Den ersten Index auf offene Bestände beschränken, also Dokumente ohne VS-Einstufung.
2. VS-NfD-Dokumente nur nach Freigabe durch die Geheimschutzbeauftragten aufnehmen, in einem getrennten Index auf einem dafür freigegebenen System.
3. Höhere Einstufungen gehören nicht in ein allgemeines RAG-System.

Ob ein konkretes System VS-NfD verarbeiten darf, entscheidet die Behörde, nicht der Softwareanbieter.

Datenschutz nach der DSK-Orientierungshilfe RAG

Die Datenschutzkonferenz hat im Oktober 2025 eine eigene Orientierungshilfe zu RAG-Systemen veröffentlicht (Version 1.0, Pressemitteilung der Berliner Datenschutzbeauftragten). Sie richtet sich ausdrücklich an Unternehmen und Behörden. Die Kernaussagen:

Außerdem weist die DSK darauf hin, dass RAG an der datenschutzrechtlichen Bewertung des Modelltrainings nichts ändert. Ein Modell mit rechtswidrig trainierten Daten bleibt das auch im RAG-System. Für die Modellwahl heißt das: Herkunft und Lizenz dokumentieren und die Eingaben nicht an Anbieter geben, die sie zum Training verwenden. Weitere Grundlagen stehen im Wissensartikel DSGVO-konforme KI.

Einordnung nach der KI-Verordnung

Eine interne Wissensdatenbank für Erlasse und Fachdokumente ist in der Regel kein Hochrisiko-System. Anhang III der KI-Verordnung nennt für die Verwaltung vor allem zwei Bereiche, in denen das anders sein kann:

Wird ein System in einem dieser Bereiche eingesetzt, müssen öffentliche Stellen als Betreiber zusätzlich vor dem Einsatz eine Grundrechte-Folgenabschätzung nach Artikel 27 durchführen. Die Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III gelten nach dem Digital Omnibus, Verordnung (EU) 2026/1744, ab dem 2. Dezember 2027.

Unabhängig davon gelten bereits heute die Pflicht zur KI-Kompetenz der Beschäftigten nach Artikel 4 und die Transparenzpflichten nach Artikel 50. Die ausführliche Einordnung steht im Beitrag RAG und KI-Verordnung: ist ein RAG-System Hochrisiko-KI?, die Fristen im Beitrag zum Digital Omnibus.

Betriebswege für Behörden

Die Wissensdatenbank besteht aus Index, Suchdiensten und Sprachmodell. Index und Dokumente bleiben in fast allen Varianten in der eigenen Umgebung, entscheidend ist, wo das Sprachmodell läuft:

US-Hyperscaler kommen für viele Behörden wegen des US CLOUD Act nur eingeschränkt in Frage, auch bei Rechenzentren in der EU. Einen Vergleich europäischer Anbieter zeigt der Beitrag Europäische LLM-APIs im Vergleich.

Der Grafikspeicher hängt am Sprachmodell und an der Zahl gleichzeitiger Anfragen, kaum an der Größe des Bestands. Einbettungsmodell und Reranker laufen mit wenig Speicher. Eine Rechenhilfe bietet der Artikel GPU-VRAM-Sizing für LLMs. Die Managed GPU-Server von WZ-IT gibt es mit NVIDIA RTX PRO 4000 Blackwell (24 GB) oder RTX PRO 6000 Blackwell (96 GB). Der AI Cube ist eine lokale KI-Appliance mit 128 GB Unified Memory und 1, 2 oder 4 TB NVMe-Speicher für den Betrieb im eigenen Netz.

Architektur aus Open-Source-Bausteinen

Eine Wissensdatenbank lässt sich vollständig aus Open-Source-Komponenten aufbauen. Das erleichtert die Nachnutzung und vermeidet die Bindung an einen Anbieter:

Welche Vektordatenbank passt, zeigt der Vergleich Qdrant vs. pgvector. Welches Einbettungsmodell deutsche Verwaltungssprache gut abbildet, behandelt der Beitrag Embedding-Modelle für Deutsch. Protokollierung für Nachvollziehbarkeit und Audit beschreibt der Beitrag zu Langfuse.

Leitlinien und Beschaffung

Für Bund und Länder gibt es inzwischen mehrere Orientierungsdokumente, die bei Konzeption und Ausschreibung helfen:

Vertragsmuster. Für Cloud-Leistungen hat der Beauftragte der Bundesregierung für Informationstechnik die EVB-IT Cloud veröffentlicht. Welches EVB-IT-Muster für Hardware, Erstellung und Betrieb einer Wissensdatenbank passt, hängt vom Leistungsschnitt ab und ist mit der Vergabestelle zu klären.

Barrierefreiheit. Für öffentliche Stellen des Bundes gilt die BITV 2.0 auch für elektronisch unterstützte Verwaltungsabläufe und grafische Programmoberflächen. Die Oberfläche einer Wissensdatenbank muss daher per Tastatur und Screenreader bedienbar sein. Die Länder haben eigene Regelungen.

Pilot vor Ausschreibung. Ein abgegrenzter Pilot mit einem Bestand und festgelegten Referenzfragen zeigt, ob der Bestand trägt, bevor eine große Ausschreibung formuliert wird. Die Ergebnisse liefern belastbare Anforderungen für das Leistungsverzeichnis. Wie Antwortqualität gemessen und abgenommen wird, beschreibt der Artikel RAG-Qualität messen.

Unser Vorgehen bei WZ-IT

Wir bauen Wissensdatenbanken als Projekt mit festem Ablauf und übergeben ein System, dessen Bestandteile dokumentiert sind.

1. Bestandsanalyse. Formate, Anteil gescannter Dokumente, Versionierung, Metadaten und Rechte. Ergebnis ist eine schriftliche Einschätzung, welche Teile des Bestands verarbeitbar sind und was vorher bereinigt werden sollte.
2. Pilot mit Referenzfragen. Im RAG Proof of Value wird ein abgegrenzter Bestand anhand von 40 bis 60 vereinbarten Referenzfragen mit Quellen- und Nichtwissenstests bewertet. Am Ende stehen ein Qualitätsbericht und eine Empfehlung für den Produktionsbetrieb.
3. Rechte und Schutzbedarf. Getrennte Indizes oder Filter je Organisationseinheit, VS-eingestufte Dokumente nur nach Freigabe durch die Behörde.
4. Betrieb. Auf eigener Hardware im Behördennetz mit dem AI Cube, in Ihrer vorhandenen Umgebung oder auf einem Managed GPU-Server von WZ-IT. Laufender Betrieb mit Updates und Monitoring über Managed AI.
5. Anbindung. Die Wissensdatenbank läuft mit eigener Oberfläche oder, wo die vorhandene Plattform das unterstützt, als angebundene Datenquelle.

Für öffentlich zugängliche Fachbestände wie Förderrichtlinien oder Informationsportale gibt es den Wissens-Navigator, der Besucher mit Quelle und Stand zur maßgeblichen Stelle führt. Support, Beratung und Implementierung durch WZ-IT.

Weiterführende Guides

• RAG und KI-Verordnung: ist ein RAG-System Hochrisiko-KI?, Anhang III, Anbieter- und Betreiberrolle.
• Europäische LLM-APIs im Vergleich, Anbieter, Standorte und Verträge für Modelle aus der EU.
• Embedding-Modelle für Deutsch, welche Modelle deutsche Fachsprache gut abbilden.
• Chunking für deutsche Dokumente, Zerlegung von Verwaltungs- und Rechtstexten.
• RAG-Datenquellen: Nextcloud, SharePoint und DMS, Anbindung bestehender Ablagen.
• On-Premise-KI-Lösungen im Vergleich, Betriebswege für KI im eigenen Haus.
• KI-Hub, alle KI-Leistungen von WZ-IT.

Wissensdatenbank für Ihre Behörde planen? Wir prüfen Ihren Bestand, legen Rechte und Betriebsweg fest und bewerten die Antwortqualität anhand Ihrer eigenen Fragen. Termin vereinbaren

Quellen

• Staatsministerium Baden-Württemberg, KI-Assistenz F13 wird zur Open-Source-Software (23.07.2025)
• openCode, F13 KI Assistenz
• Senatskanzlei Hamburg, LLMoin als bundesweit nutzbares Erfolgsmodell (15.12.2025)
• Dataport, KI-Assistent LLMoin steht zur Nachnutzung bereit
• BMDS, KI in der Verwaltung
• StMFH Bayern, Künstliche Intelligenz in der bayerischen Verwaltung
• Bayerische Staatszeitung, BayernKI (13.08.2026)
• CityLAB Berlin, BärGPT
• BärGPT auf GitHub
• CityLAB Berlin, Parla
• Datenschutzkonferenz, Orientierungshilfe RAG-Systeme, Version 1.0, Oktober 2025
• Berliner Beauftragte für Datenschutz, Pressemitteilung zur DSK-Orientierungshilfe RAG
• Verschlusssachenanweisung (VSA) vom 13. März 2023
• BSI, Zulassung von IT-Sicherheitsprodukten
• KI-Verordnung, Anhang III
• KI-Verordnung, Artikel 27
• Verordnung (EU) 2026/1744 (Digital Omnibus)
• Leitlinien für den Einsatz Künstlicher Intelligenz in der Bundesverwaltung
• BSI, Kriterienkatalog generative KI in der Bundesverwaltung (24.06.2025)
• BSI, Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden
• StMFH Bayern, KI-Leitfaden für Behörden (April 2025)
• Digitale Verwaltung, aktuelle EVB-IT
• BITV 2.0, § 2 Anwendungsbereich
• OCRmyPDF, Tesseract, Docling