Ein Wissensassistent auf den eigenen Dokumenten, geprüft statt vorgeführt? Der RAG Proof of Value prüft einen abgegrenzten Bestand nach dem Vorgehen dieses Leitfadens: Referenzfragen mit Quellen- und Nichtwissenstests, Baseline-Messung, zwei Optimierungszyklen und Qualitätsbericht, ab 9.900 € netto zuzüglich separat ausgewiesener Fremdkosten. RAG Proof of Value ansehen · Interner KI-Assistent
Ein RAG-System ist als Demo schnell gebaut. Ob es im Alltag trägt, zeigt sich an Fragen, die niemand für die Vorführung ausgesucht hat. Dieser Leitfaden ordnet die Einführung in sieben Phasen mit Ergebnis und Abnahmekriterium und verweist für die Vertiefung auf unsere Einzelratgeber. Dazu kommen Architekturvarianten, Kostenarten, Fehlerbilder und die Frage Selbstbau oder Beauftragung. Stand Oktober 2026; Angaben Dritter wurden am 28.10.2026 abgerufen.
Inhaltsverzeichnis
- Die sieben Phasen im Überblick
- Phase 1: Anwendungsfall und Referenzfragen
- Phase 2: Datenquellen und Rechte
- Phase 3: Aufnahme und Chunking
- Phase 4: Retrieval und Reranking
- Phase 5: Generierung
- Phase 6: Evaluation und Abnahme
- Phase 7: Betrieb und Aktualisierung
- Architekturvarianten
- Kostenarten und Treiber
- Typische Fehlerbilder
- Selbst bauen oder beauftragen
- Datenschutz und Berechtigungen
- Stand und Methodik
- Unser Vorgehen bei WZ-IT
- Weiterführende Guides
Die sieben Phasen im Überblick
Das Testset entsteht vor der ersten Zeile Code, und jede technische Entscheidung wird an ihm gemessen. Auch Microsoft gliedert die RAG-Entwicklung in Phasen (Vorbereitung, Chunking, Anreicherung, Embedding, Retrieval, Gesamtbewertung des Sprachmodells) und rät, jeden Schritt für die Optimierung unabhängig auszuwerten, dabei das Endergebnis im Blick zu behalten und eigene Akzeptanzkriterien je Schritt zu bestimmen (Azure Architecture Center).
| Phase | Ergebnis | Abnahmekriterium |
|---|---|---|
| 1 Anwendungsfall und Referenzfragen | Testset mit Fragetypen, erwarteten Fundstellen und Kritikalität | Fachbereich hat jede Frage und Fundstelle bestätigt |
| 2 Datenquellen und Rechte | Quelleninventar mit Besitzer, Format, Aktualität und Rechtemodell | Jede Quelle hat Besitzer und Rechtemodell; Dubletten und Altfassungen sind entschieden |
| 3 Aufnahme und Chunking | Pipeline mit Extraktion, Chunking und Metadaten | Stichprobe mit Tabellen, Scans und Überschriften besteht |
| 4 Retrieval und Reranking | Baseline-Suche, danach Hybridsuche und Reranker | Wirkung jeder Maßnahme ist gegen die Baseline gemessen |
| 5 Generierung | Prompt, Modell und Antwortformat mit Quellenangabe | Nichtwissen-Fälle bestanden; jede Antwort nennt eine prüfbare Fundstelle |
| 6 Evaluation und Abnahme | Messbericht je Fragetyp | Blockierende Fälle bestanden; vorab vereinbarte Schwellen erreicht |
| 7 Betrieb und Aktualisierung | Abgleich mit der Quelle, Regressionstest, Zuständigkeit | Änderungen an Modell, Index oder Prompt lösen einen Testlauf aus; Löschungen wirken |
Phase 1: Anwendungsfall und Referenzfragen
Ein Anwendungsfall ist abgegrenzt, wenn ein Fachbereich echte Fragen nennen kann und weiß, in welchem Dokument die Antwort steht. Die Fragen stammen aus Tickets, E-Mails und Intranet-Suchen, nicht aus den Dokumenten. Dazu kommen die Fragetypen, die Vorführungen auslassen: exakte Kennungen, widersprüchliche Fassungen, Fragen ohne Antwort im Bestand und Rechte-Tests. Aufbau und Umfang beschreibt RAG-Qualität messen.
Vorab ist zu klären, ob RAG die richtige Antwort ist. Strukturierte Daten in Datenbanken beantwortet Text-to-SQL besser; Training des Modells ersetzt RAG bei sich ändernden Beständen nicht (Was ist RAG?).
Phase 2: Datenquellen und Rechte
Je Quelle werden Besitzer, Format, Aktualität, Rechtemodell und personenbezogene Daten festgehalten. Liegen drei Fassungen einer Anleitung vor, zitiert das System irgendwann die falsche; Altfassungen und Dubletten werden deshalb vor der Aufnahme entschieden.
Rechte gehören ins Datenmodell, bevor die erste Datei indexiert wird: Gespeichert wird, wer einen Abschnitt sehen darf, und die Suche filtert vor der Trefferauswahl. Ein Hinweis im Prompt ersetzt das nicht (RAG mit Berechtigungen). Zur Anbindung von Nextcloud, SharePoint und DMS siehe Datenquellen.
Phase 3: Aufnahme und Chunking
Die Aufnahme entscheidet, was die Suche finden kann. Eine Stichprobe zeigt, ob Tabellen, Überschriften und gescannte Seiten als Text ankommen; Fehler an dieser Stelle gleicht kein besseres Modell aus. Zerlegt wird nach Struktur wie Kapiteln und Paragraphen, und jeder Abschnitt trägt Quelle, Fassung, Datum und Rechte als Metadaten (Chunking, Contextual Retrieval). Das Embedding-Modell wird festgehalten, denn ein Wechsel verlangt eine Neuindexierung (Embedding-Modelle für Deutsch).
Phase 4: Retrieval und Reranking
Begonnen wird mit der einfachsten Suche; ihre Messung ist die Baseline. Maßnahmen kommen einzeln hinzu und werden gegen sie bewertet: Hybridsuche aus Stichwort- und Vektorsuche für Kennungen und Fachbegriffe, ein Reranker für die Reihenfolge (Hybrid Search und Reranking). Die Vektordatenbank folgt den Anforderungen an Filter und Betrieb (Qdrant vs. pgvector). In Open WebUI ist die Hybridsuche standardmäßig aus (ENABLE_RAG_HYBRID_SEARCH), und RAG_TOP_K steht auf 3 (Umgebungsvariablen); beides entscheidet das Testset.
Phase 5: Generierung
Das Modell soll nur aus dem übergebenen Kontext antworten, die Fundstelle nennen und eine Wissenslücke benennen, statt zu raten. Ein klarer Systemprompt und ein Ausgabeformat mit Quellenangabe genügen; die Nichtwissen-Fälle zeigen, ob es hält. Dokumente sind Eingaben Dritter: Anweisungen darin dürfen das Modell nicht steuern (Prompt Injection). Zur Modellwahl: Welches LLM selbst hosten?.
Phase 6: Evaluation und Abnahme
Gemessen wird in zwei Ebenen, weil Suche und Antwort unabhängig voneinander scheitern. Die Kennzahlen sind Definitionen, keine Normwerte: Context Recall, Context Precision und Faithfulness stammen aus Ragas (Apache-2.0), Recall@k aus dem klassischen Information Retrieval.
| Ebene | Kennzahl | Definition |
|---|---|---|
| Suche | Recall@k | Anteil der erwarteten Fundstellen unter den k Treffern, die an das Modell gehen |
| Suche | Context Recall | Anteil der Aussagen der Referenzantwort, die der abgerufene Kontext belegt (Ragas) |
| Suche | Context Precision | Ob relevante Abschnitte vor irrelevanten stehen, als Mittel von Precision@k (Ragas) |
| Antwort | Faithfulness | Anteil der Aussagen der Antwort, die der abgerufene Kontext stützt (Ragas) |
Faithfulness misst die Belegtreue gegenüber dem Kontext, nicht die Richtigkeit: Eine Antwort aus einer veralteten Fassung kann vollständig belegt und falsch sein. Deshalb wird sie zusammen mit Context Recall gelesen. Frameworks definieren Metriken unterschiedlich; Werte sind nur innerhalb desselben Frameworks und derselben Version vergleichbar.
Vor der Messung werden drei Dinge schriftlich festgelegt:
- Blockierende Fälle, die ausnahmslos bestehen müssen: Rechte-Tests, Nichtwissen-Fälle und Fragen, bei denen ein Fehler Schaden anrichtet.
- Schwellen für die übrigen Kennzahlen, abgeleitet aus dem Risiko des Einsatzes und relativ zur Baseline. Zielzahlen aus fremden Projekten sind ohne Bezug zum eigenen Testset nicht aussagekräftig.
- Der Konfigurationsstand der Messung: Modellversionen, Chunking, Prompt und Indexstand.
Urteilt ein Sprachmodell automatisch, prüfen Fachleute eine Stichprobe. Durchführung: RAG-Qualität messen.
Phase 7: Betrieb und Aktualisierung
Der Index muss Änderungen, Löschungen und entzogene Rechte der Quelle nachvollziehen; für Open WebUI gleicht oikb Dateien inkrementell ab, also Änderungen und Löschungen, ohne Rechte je Datei. Jede Änderung an Modell, Embedding, Chunking, Reranker oder Prompt löst den Regressionslauf auf dem Testset aus. Echte Fragen, die schiefgingen, wandern ins Testset. Tracing und Bewertung im Betrieb übernimmt Langfuse. Dazu braucht es eine benannte Zuständigkeit für die Inhalte: Ohne sie veralten Bestände, und das Vertrauen der Nutzer sinkt.
Architekturvarianten
Die Wahl folgt der Feinheit der Rechte und der Zahl der Quellen, nicht dem Werkzeug.
| Variante | Aufbau | Passt, wenn | Grenze |
|---|---|---|---|
| 1 Open WebUI mit Wissensbereichen | Dateien oder Abgleich per oikb in Knowledge Bases; Vektordatenbank per VECTOR_DB wählbar (u. a. Chroma, pgvector, Qdrant, Milvus) |
wenige Wissensbereiche, Zugriff je Gruppe genügt | Rechte gelten je Knowledge Base, nicht je Datei; Chroma, der Standard (im Slim-Image pgvector), ist im lokalen Standardmodus laut Doku nicht für mehrere Worker oder Replikas geeignet |
| 2 Quellnahe Indexierung | z. B. Nextcloud Context Chat; der Context Agent stellt einen MCP-Endpunkt für Open WebUI bereit | Team arbeitet in einem System, dessen Rechte gelten sollen | gebunden an Funktionen des Quellsystems |
| 3 Eigener Retrieval-Service | Index mit Zugriffsliste im Payload, Identität durchgereicht, als MCP- oder OpenAPI-Tool angebunden | Rechte je Datei, vertrauliche Bestände | Dienst wird betrieben, getestet und aktualisiert |
| 4 Eigene Anwendung | Pipeline, API und Oberfläche aus Bausteinen | RAG ist Teil eines Produkts oder Prozesses | höchster Eigenaufwand für Evaluation und Betrieb |
Quelle für VECTOR_DB und Chroma: Open-WebUI-Dokumentation. Die Varianten 1 bis 3 beschreibt Open WebUI an Nextcloud anbinden. Open WebUI steht seit Version 0.6.6 unter der eigenen Open WebUI License mit Branding-Klausel (Einordnung).
Kostenarten und Treiber
Ein Betrag ohne Angaben zu Bestand, Rechten und Betrieb ist nicht vergleichbar. Kostenarten:
| Kostenart | Art | Treiber |
|---|---|---|
| Bestandsaufnahme und Aufbereitung | einmalig, später laufend | Zahl der Quellen, Zustand der Ablage, Klärung von Fassungen und Rechten |
| Testset und Abnahme | einmalig, Regressionsläufe laufend | Fragetypen, Risiko, Zeit des Fachbereichs |
| Anbindung der Quellen | einmalig und laufend | Schnittstellen, Abgleich mit Löschungen, Übernahme der Rechte |
| Embedding, Reranking und Index | laufend, bei Neuindexierung einmalig | Menge der Abschnitte, Filter, Verfügbarkeit, Backup; lokal Hardware, per API Tokens |
| Sprachmodell | laufend | Nutzer, Anfragen und Tokens je Anfrage; lokal Hardware, per API Tokenpreis |
| Oberfläche und Identität | einmalig | SSO, Rollen, Standardoberfläche oder eigene Anwendung |
| Betrieb und Pflege | laufend | Updates, Monitoring, Redaktion der Inhalte, Servicezeiten |
Die Tokens je Anfrage lassen sich überschlagen: Eingabe = Systemprompt + Frage + k × Abschnittsgröße. Mit angenommenen 300 Tokens Systemprompt, 50 Tokens Frage und k = 5 Abschnitten à 500 Tokens sind das 2.850 Eingabe-Tokens, bei k = 10 sind es 5.350. Die Zahl der Abschnitte ist damit ein Kostenhebel, den das Testset entscheidet. Den Betrag ergibt die Multiplikation mit dem Tokenpreis des Modells.
Veröffentlichte Marktangaben streuen (Stand 28.10.2026). skill-sprinters nennt 8.000 bis 25.000 Euro einmalig und 200 bis 2.000 Euro monatlich (Praxisbericht). pexon nennt für einen Proof of Concept 15.000 bis 20.000 Euro, im Abschlussblock derselben Seite ab 25.000 Euro, dazu 60.000 bis 120.000 Euro für die Implementierung und 500 bis 2.000 Euro monatlich für die Infrastruktur (Seite). ANCUD nennt keine Beträge, sondern Kostentreiber wie Datenquellen, Dokumentenmenge und Integrationen (Leistungsseite). Verglichen werden deshalb Umfang und Annahmen, nicht Endpreise.
Typische Fehlerbilder
| Symptom | Häufige Ursache | Gegenmaßnahme |
|---|---|---|
| Antwort zitiert eine veraltete Fassung | Altfassungen und Dubletten im Index, kein Abgleich mit der Quelle | Fassungen entscheiden, Datum als Metadatum, Abgleich mit Löschungen |
| Die vorhandene Stelle wird nicht gefunden | Chunking zerreißt den Zusammenhang; reine Vektorsuche bei Kennungen | Chunking nach Struktur, Hybridsuche, Recall@k messen |
| Antwort wirkt belegt und ist falsch | Kontext aus falscher Fassung: Faithfulness hoch, Context Recall niedrig | beide Kennzahlen zusammen lesen, Stichprobe durch den Fachbereich |
| System erfindet Antworten bei fehlendem Wissen | keine Nichtwissen-Tests | Nichtwissen-Fälle als blockierend führen |
| Nutzer sehen Inhalte fremder Bereiche | Rechte nur im Prompt oder erst nach der Suche | Filter vor der Suche, Rechte-Tests auch für entzogene Rechte |
Selbst bauen oder beauftragen
| Weg | Passt, wenn | Voraussetzung |
|---|---|---|
| Selbst bauen | RAG ist Teil des Produkts; ein Team hat Such-, Daten- und Betriebskompetenz | Zuständigkeit für Betrieb, Evaluation und Updates |
| Plattform konfigurieren | Open WebUI genügt, wenige Wissensbereiche | Betrieb der Plattform, Updates, Pflege der Wissensbereiche |
| Beauftragen | Kompetenz oder Kapazität fehlt; die Abnahme soll vertraglich feststehen | Code, Index und Testset gehören Ihnen |
| Cloud-Dienst | Dokumente dürfen die eigene Umgebung verlassen | Auftragsverarbeitung, Standort und Löschung sind geprüft |
Diese Fragen sollte jeder Anbieter schriftlich beantworten, bevor Sie eine RAG-Beratung beauftragen:
- Wem gehören Code, Index und Testset, auch nach Vertragsende?
- Welche Referenzfälle und blockierenden Kriterien gelten für die Abnahme?
- Wo wird die Zugriffskontrolle erzwungen: vor der Suche oder nur im Prompt?
- Wie wirken Änderungen, Löschungen und entzogene Rechte der Quelle im Index?
- Wo laufen Embedding-Modell, Index, Sprachmodell und Protokolle?
- Wer betreibt das System nach der Übergabe, und welche Servicezeiten gelten?
Datenschutz und Berechtigungen
Der Index ist eine Kopie des Bestands in anderer Form. OWASP führt Schwächen bei Vektoren und Embeddings als eigenes Risiko („Vector and Embedding Weaknesses“, LLM08:2025); dazu zählen unzureichende Zugriffskontrollen auf Embeddings. Empfohlen werden berechtigungsbewusste Vektorspeicher, eine strikte logische und zugriffsbezogene Trennung der Datensätze und detaillierte, unveränderliche Protokolle der Abrufe (OWASP).
- Personenbezogene Daten im Bestand: Rechtsgrundlage und Verarbeitungsverzeichnis gelten auch für den Index; Löschungen müssen dort wirken.
- Standort: Embedding-Modell, Index, Sprachmodell und Protokolle einzeln prüfen; bei externen APIs Auftragsverarbeitung und Drittlandübermittlung klären.
- Berufsgeheimnis und KI-Verordnung: Lokale KI für Berufsgeheimnisträger, EU AI Act für Unternehmen und RAG und KI-Verordnung.
Das ist eine technische Einordnung, keine Rechtsberatung.
Stand und Methodik
- Stand: 28.10.2026. Dokumentation und Preisseiten Dritter wurden an diesem Tag abgerufen und können sich ändern.
- Methodik: Die Phasen folgen unserer Projektpraxis (zum Vergleich: Azure Architecture Center), die Kennzahlen der Ragas-Dokumentation. Marktpreise sind öffentlich genannte Beträge, keine Marktstudie. Die Token-Rechnung nutzt frei gewählte Beispielwerte.
- Nicht behandelt: Agentic RAG, GraphRAG, multimodale Bestände.
Unser Vorgehen bei WZ-IT
Wir beginnen mit dem Testset und einem abgegrenzten Bestand. Der RAG Proof of Value ist dieser Einstieg: ein Wissensbereich mit vereinbarter Datenmenge und vereinbarten Formaten, 40 bis 60 Referenzfragen einschließlich Quellen- und Nichtwissenstests, Baseline-Messung, zwei Optimierungszyklen und ein Qualitätsbericht mit Empfehlung für den Produktionsbetrieb. Er kostet ab 9.900 € netto zuzüglich separat ausgewiesener Fremdkosten und wird beim produktiven Wissensassistenten angerechnet. Live-Konnektoren, organisationsweites SSO, komplexe Rechtevererbung und Produktionsbetrieb werden separat vereinbart.
Für den Ausbau stehen der Interne KI-Assistent, die KI-Plattform mit Open WebUI im Original-Branding und Modellen in Deutschland bei deutschen Anbietern, der AI Cube im eigenen Netz und die individuelle RAG- und Datenintegration zur Wahl. Tracing und Evals im Betrieb übernimmt LLMOps. Der Betrieb erfolgt auf Ihrer Infrastruktur oder gehostet in Deutschland; eine Zusatzvereinbarung nach § 203 StGB ist auf Anfrage möglich (Standort Deutschland).
Weiterführende Guides
- Was ist RAG? - Grundlagen
- RAG-Qualität messen - Testset und Abnahme
- RAG mit Berechtigungen - Zugriffskontrolle
- Chunking für deutsche Dokumente
- Hybrid Search und Reranking
- RAG mit Nextcloud, SharePoint und DMS
- Open WebUI an Nextcloud anbinden - Rechte je Datei
Wissenssuche auf Ihren Dokumenten prüfen, bevor Sie bauen? Der RAG Proof of Value liefert Referenzfragen, Messung und eine begründete Empfehlung für den Produktionsbetrieb. RAG Proof of Value ansehen · Interner KI-Assistent · Termin vereinbaren
