Managed LLMOps: KI-Anwendungen überwachen, bewerten und kontrolliert ändern

LLMOps umfasst die kontrollierte Bereitstellung, Beobachtung und Änderung von Anwendungen mit Large Language Models. Dazu gehören je nach Scope Tracing, Evaluationen, Prompt- und Modellversionen, Retrieval, Kosten, Latenz, Fehlermuster und dokumentierte Reaktionswege.

MLOps umfasst Training, Bereitstellung und Überwachung klassischer Machine-Learning-Modelle. LLMOps setzt bei Anwendungen mit Large Language Models an, die meist nicht selbst trainiert werden: Im Mittelpunkt stehen Prompts, Retrieval, Modellversionen, die Bewertung erzeugter Antworten sowie Kosten und Latenz je Anfrage.

LLM-Observability ist der Beobachtungsteil von LLMOps: Jede Anfrage wird als Trace mit Prompt, abgerufenem Kontext, Modellantwort, Tokenverbrauch, Latenz und Fehlern erfasst. LLMOps nutzt diese Daten, um die Qualität mit Evaluationen zu bewerten und Änderungen kontrolliert einzuführen.

Je nach Anwendung: Antwortqualität aus Evaluationen, Qualität der abgerufenen Dokumente bei RAG, Latenz, Fehler und Abbrüche, Token- und Modellkosten je Anfrage sowie die Nutzung. Welche Kennzahlen gelten und ab welcher Abweichung gehandelt wird, legen wir in der Baseline fest.

Selbst betrieben ja. Die Open-Source-Version von Langfuse steht unter MIT-Lizenz und läuft auf eigener Infrastruktur, etwa auf einem Server in Deutschland; Traces gehen dann nicht an einen Cloud-Dienst. Traces enthalten Prompts und Antworten und damit oft personenbezogene Daten. Die Open-Source-Version maskiert solche Daten clientseitig, bevor sie Langfuse erreichen; Aufbewahrungsfristen und serverseitige Maskierung in Langfuse selbst setzen die Enterprise-Edition voraus. Welche Variante nötig ist, klären wir in der Baseline.

Managed LLMOps betrachtet das Verhalten der KI-Anwendung: Traces, Qualität, Retrieval, Modelle, Prompts, Kosten und Latenz. Wartung und Betrieb des KI-Servers betreffen die technische Infrastruktur darunter, etwa GPU, Betriebssystem, Treiber, Container und Inferenz-Runtime.

Nein. Langfuse ist eine mögliche Open-Source-Grundlage für Tracing und Evaluation. Welche Telemetrie eingesetzt oder weiterverwendet wird, hängt vom vorhandenen Stack und den Anforderungen an Datenhaltung und Integration ab.

Managed LLMOps priorisiert und dokumentiert Befunde. Codeänderungen, Infrastrukturarbeiten oder umfangreiche RAG-Optimierung erfolgen durch Ihr Team oder über einen separat vereinbarten WZ-IT-Umfang.

Nein. Repräsentative Evaluationen und Monitoring können Qualitätsveränderungen und definierte Fehlerklassen sichtbar machen, aber keine allgemeine Garantie für fachlich richtige Antworten in jedem unbekannten Fall geben.

ab 1.990 € netto / Monat. Der veröffentlichte Preis bezieht sich auf den beschriebenen Standardumfang. Datenqualität, Schnittstellen, Berechtigungen und Zielumgebung werden vor Beauftragung geprüft. Erweiterungen erhalten einen eigenen Preis.

Nein. Bei geklärtem Scope und geeigneter Umgebung ist eine direkte Umsetzung möglich. Vorhandene Architektur, Datenpipelines und Pilot-Ergebnisse werden nach Prüfung weiterverwendet.