KI-Betrieb nachvollziehbar und auditierbar aufsetzen lassen? WZ-IT baut und betreibt den Open-Source-LLM-Stack inklusive Observability - jede Anfrage nachvollziehbar, DSGVO-konform und aus einer Hand. LLM-Hosting ansehen
Ein Sprachmodell im Produktivbetrieb ist ohne Observability eine Blackbox: Man sieht, dass es antwortet, aber nicht, warum es so antwortet - und kann es nicht belegen. Langfuse schließt diese Lücke. Dieser Artikel erklärt, was Langfuse leistet, warum Nachvollziehbarkeit gerade unter dem EU AI Act zählt und wo Langfuse im Open-Source-LLM-Stack sitzt. Stand Oktober 2026.
Inhaltsverzeichnis
- Das Problem: KI ohne Nachvollziehbarkeit
- Was Langfuse macht
- Tracing, Evaluation und Prompt-Management
- Langfuse und der EU AI Act
- Langfuse im Stack
Das Problem: KI ohne Nachvollziehbarkeit
Eine KI-Anwendung besteht aus mehr als einem Modellaufruf: Eine Anfrage durchläuft Retrieval aus Dokumenten, das Zusammensetzen des Kontexts, den eigentlichen LLM-Aufruf und oft mehrere Schritte hintereinander. Wenn eine Antwort falsch, teuer oder unerwartet ist, muss man diese Kette nachvollziehen können - sonst bleibt jede Verbesserung Raten.
Im Unternehmen kommt eine zweite Anforderung hinzu: Nachweisbarkeit. Wer entscheidet, ein KI-System einzusetzen, muss belegen können, was es auf welche Eingabe hin getan hat. Beides - Fehlersuche und Nachweis - verlangt eine Aufzeichnung, die es bei reiner Modell-Inferenz nicht gibt.
Was Langfuse macht
Langfuse ist eine quelloffene Plattform für das Engineering und die Observability von LLM-Anwendungen - offen, selbst hostbar und erweiterbar. Sie zeichnet auf, was durch eine KI-Anwendung läuft, und macht es sicht- und auswertbar.
Zwei Eigenschaften sind für den souveränen Betrieb entscheidend: Langfuse ist selbst hostbar (für Produktion wird ein Kubernetes/Helm-Deployment empfohlen), sodass die aufgezeichneten Anfragen auf eigener Infrastruktur bleiben. Und es basiert auf OpenTelemetry, was die Kompatibilität erhöht und Anbieter-Bindung vermeidet - mit über 100 Integrationen, darunter das OpenAI SDK, LangChain, LlamaIndex und LiteLLM.
Zum aktuellen Stand (Oktober 2026): Seit dem 29. Juli 2026 ist Version 4 selbst hostbar (Release v4.0.0). Sie setzt mindestens ClickHouse 25.12, PostgreSQL 15 und Redis 7.0 voraus; Version 3 erhält Sicherheitspatches bis Ende Januar 2027 (Upgrade-Guide). Seit Januar 2026 gehört Langfuse zu ClickHouse, dem Hersteller der Datenbank, auf der die Trace-Auswertung aufbaut; Lizenz und Self-Hosting bleiben laut Ankündigung unverändert, der Kern steht weiter unter MIT. Upgrade-Pfad und Betrieb ordnet der Beitrag Langfuse self-hosted und EU AI Act ein.
Tracing, Evaluation und Prompt-Management
Langfuse deckt drei Kernaufgaben ab:
- Tracing/Observability - jede Anfrage wird als Trace aufgezeichnet, inklusive LLM-Aufrufen, Retrieval und Embeddings, über mehrstufige Abläufe und Konversationen hinweg. Das ist die Datengrundlage für alles Weitere.
- Evaluation - die Qualität der Antworten lässt sich systematisch bewerten, etwa per LLM-as-a-judge, mit Datensätzen, Experimenten und eigenen Bewertungen.
- Prompt-Management - Prompts werden versioniert, getestet (über einen Playground) und optimiert, statt sie fest im Code zu vergraben.
Ergänzt wird das durch Metrik-Dashboards und Auswertungen. Aus „das Modell antwortet irgendwie" wird so ein steuerbarer, messbarer Dienst.
Langfuse und der EU AI Act
Der EU AI Act verlangt für bestimmte KI-Systeme Protokollierung und Nachvollziehbarkeit; für Hochrisiko-Systeme nach Anhang III gelten diese Pflichten nach dem Digital Omnibus ab dem 2. Dezember 2027 (Verordnung (EU) 2026/1744). Genau diese technische Grundlage liefert Langfuse: Jede Interaktion wird als Trace erfasst und lässt sich auswerten, sodass sich Audit-Logs und Nachweise darauf aufbauen lassen.
Langfuse ersetzt keine juristische Bewertung, ob und wie der EU AI Act auf ein konkretes System zutrifft. Aber es liefert die belastbare Datenspur, ohne die solche Anforderungen praktisch kaum erfüllbar sind - ein wichtiger Baustein, wenn KI nicht nur laufen, sondern auch verantwortet werden soll.
Langfuse im Stack
Im Open-Source-LLM-Stack ist Langfuse die Observability-Schicht. Sie liegt quer zu den anderen Komponenten: Das Gateway LiteLLM lässt sich direkt an Langfuse anbinden, sodass jede über das Gateway laufende Anfrage automatisch als Trace erfasst wird - egal, ob dahinter eine vLLM-Inferenz oder ein anderes Modell arbeitet. So entsteht aus einem laufenden Modell ein nachvollziehbarer, auditierbarer Dienst - die Voraussetzung für verantworteten KI-Betrieb im Unternehmen.
