Eine Anwendung mit vereinbarten Trace- und Eval-Mengen
Monatlicher Review und Eval-Läufe
Befundbericht und priorisierte Empfehlungen
Best-Effort-Bearbeitung innerhalb vereinbarter Servicezeiten
Managed LLMOps: KI-Anwendungen überwachen, bewerten und kontrolliert ändern
Ihre KI-Anwendung ist produktiv. Wir machen sichtbar, wie gut sie antwortet, was sie kostet und was sich nach Modell- oder Prompt-Änderungen verschiebt.
Ausgangslage
Geeignet für produktive KI-Anwendungen mit laufenden Änderungen
- Eine KI-, Agenten- oder RAG-Anwendung wird bereits produktiv oder mit echten Nutzern eingesetzt
- Modelle, Prompts, Wissensquellen oder Provider ändern sich regelmäßig
- Qualität, Kosten und Latenz sollen nicht nur bei Beschwerden sichtbar werden
- Technische Befunde und Änderungen benötigen einen dokumentierten Verantwortungsweg
Laufende Kontrolle
Nicht nur Verfügbarkeit messen, sondern das Verhalten der KI-Anwendung
Monatlicher Qualitäts- und Betriebsbericht mit nachvollziehbaren Veränderungen und Handlungsbedarf.
Traces, Fehler und Nutzung
Vereinbarte Aufrufe, Fehlermuster, Latenzen, Token- oder Modellkosten und technische Abbrüche nachvollziehbar beobachten.Qualität und Regressionen
Repräsentative Evaluationen nutzen, um relevante Veränderungen an Antwort- und Retrievalqualität sichtbar zu machen.Änderungen kontrollieren
Prompt-, Modell-, Provider- und Retrievaländerungen dokumentieren, prüfen und mit einem Rückfallweg einführen.
Langfuse, Tracing und Evaluation als technische Grundlage für nachvollziehbaren LLM-Betrieb einordnen.
Guide lesenLeistungsumfang
Basisumfang: LLMOps Essential
Basisumfang für eine Anwendung: vereinbarte Trace- und Eval-Mengen, monatlicher Review, Befundbericht und priorisierte Empfehlungen.
Leistungsgrenze
Nicht in Essential enthalten
- Codeänderungen und Engineering-Kontingent
- Garantierte Reaktionszeit, 24/7-Bereitschaft und Infrastrukturverbrauch
Zusammenarbeit
Baseline herstellen und anschließend Veränderungen kontrollieren
Vor dem Retainer werden Anwendung, Telemetrie, Testfälle und aktueller Stand dokumentiert. Dadurch lassen sich spätere Abweichungen gegen einen bestätigten Ausgangspunkt bewerten.
- 01
Anwendung und Risiken abgrenzen
Use Case, Datenwege, Modelle, Retrieval, Nutzer und kritische Fehlerfälle erfassen.
- 02
Baseline aufbauen
Telemetrie, Evaluationen, Kennzahlen, Versionen und aktuelles Verhalten dokumentieren.
- 03
Laufend prüfen
Betriebswerte, Qualität, Änderungen und Sicherheitsmeldungen im vereinbarten Rhythmus einordnen.
- 04
Maßnahmen steuern
Befunde priorisieren und Umsetzung durch Ihr Team oder einen separat beauftragten WZ-IT-Baustein vorbereiten.
Das benötigen wir von Ihnen
- Beschreibung der KI-Anwendung und ihrer wichtigsten Nutzerwege
- Übersicht von Modellen, Providern, Prompts, Retrieval und Datenflüssen
- Zugriff auf vorhandene Telemetrie oder Möglichkeit, diese kontrolliert einzurichten
- Fachliche Ansprechpartner und repräsentative Test- oder Abnahmefälle
Projektumfang und Investition
LLMOps und KI-Anwendungsbetrieb
Ein einmaliger Baseline-Einstieg und drei monatliche Stufen. Sie unterscheiden sich in der Zahl der Anwendungen, im Prüfrhythmus und in den Engineering-Stunden.
LLMOps Readiness & Baseline
Die Übernahme einer produktiven KI-Anwendung vorbereiten und ihre Ausgangsqualität dokumentieren.
ab 4.900 €netto, zzgl. separat ausgewiesener Fremdkosten
- Eine produktive KI-Anwendung und Telemetrieprüfung
- Abgestimmtes KPI-/Eval-Set und Baseline-Messung
- Alarmierungs- und Betriebsplan
- Baseline-Bericht mit Übernahmebedingungen
1–2 Wochen
Ergebnis und Prüfung: Nachvollziehbare Ausgangsmessung und abgestimmter Betreuungsumfang vor dem laufenden Service.
Separat zu vereinbaren: Grundlegende Anwendungssanierung und Plattform-Neuaufbau · Laufender Betrieb und zusätzliche Anwendungen
Managed LLMOps Essential
Antwortqualität, Fehler, Latenz und Kosten einer KI-Anwendung regelmäßig bewerten.
ab 1.990 € / Monatnetto, zzgl. separat ausgewiesener Fremdkosten
Monatlicher Service · Eine Anwendung
Leistungsumfang wie oben beschrieben
Ergebnis und Prüfung: Monatlicher Qualitäts- und Betriebsbericht mit nachvollziehbaren Veränderungen und Handlungsbedarf.
Managed LLMOps Professional
Produktive KI-Anwendungen mit regelmäßigen Regressionstests und planbarer Optimierung betreuen.
ab 3.990 € / Monatnetto, zzgl. separat ausgewiesener Fremdkosten
- Bis zu drei Anwendungen mit vereinbarten Mengenlimits
- Zweiwöchentliche Reviews und Regressions-Evaluationen
- Vier Engineering-Stunden pro Monat für abgestimmte Optimierung
- Vertraglich festgelegtes Reaktionsziel und dokumentierter Bearbeitungsweg
Monatlicher Service · Bis zu drei Anwendungen
Ergebnis und Prüfung: Qualitätsberichte, nachgewiesene Optimierungen und überprüfte Veränderungen an Modell, Prompt oder Datenweg.
Separat zu vereinbaren: Größere Features, neue Integrationen und Major Upgrades · Modell-/Cloudverbrauch und nicht ausdrücklich vereinbarte Bereitschaft
Managed AI Application Operations
Anwendung, angebundene Systeme und LLMOps innerhalb eines dokumentierten Betriebsumfangs verantworten.
ab 7.900 € / Monatnetto, zzgl. separat ausgewiesener Fremdkosten
- Vereinbarte Anwendung einschließlich benannter Integrationen und LLMOps
- Monitoring, Incident- und Change-Prozess
- Acht Engineering-Stunden pro Monat
- Quartalsweise Service Reviews und vertraglich festgelegte SLA-Zeiten
Monatlicher Service · Vereinbarte Anwendung und Integrationen
Ergebnis und Prüfung: Dokumentierte Incident-Bearbeitung, Änderungen und Serviceberichte mit klaren Verantwortlichkeiten.
Separat zu vereinbaren: Neue Fachanwendungen, größere Weiterentwicklung und Major Upgrades · Hardware, Infrastruktur-/Modellverbrauch und pauschale 24/7-Zusage
Servicezeiten, Reaktionsziele, betreute Komponenten und Mengengrenzen werden vor Betriebsübernahme festgelegt. Reaktion bedeutet Beginn der Bearbeitung, keine garantierte Lösungszeit. Engineering-Kontingente gelten je Monat, sind nicht übertragbar und werden nur für abgestimmte Arbeiten eingesetzt. Mindestlaufzeit: drei Monate. Hardware, Hosting, Modellverbrauch und Lizenzen sind nicht in der Servicepauschale enthalten. Die einmalige Betriebsaufnahme wird separat kalkuliert. Essential und Professional betreffen die KI-Qualität; Application Operations ergänzt den vereinbarten Anwendungs- und Integrationsbetrieb. 24/7-Rufbereitschaft ist nicht automatisch enthalten.
Alle Preise verstehen sich netto zuzüglich gesetzlicher Umsatzsteuer. Die Angebote richten sich an Unternehmen.
Klare Zuständigkeiten
LLMOps mit Infrastruktur, Codepflege und Fachanwendung kombinieren
Jeder Baustein bleibt separat beauftragbar. Dadurch ist eindeutig, ob ein Befund die KI-Anwendung, den Code oder die darunterliegende Infrastruktur betrifft.
Managed KI-Server
GPU, Betriebssystem, Treiber, Container, Inferenz-Runtime, Monitoring und Infrastruktur betreiben lassen.
Betrieb ansehenAI Code Review Retainer
Code-, Auth-, Daten-, Dependency- und Release-Risiken der Anwendung regelmäßig menschlich prüfen lassen.
Review ansehenSoftware-Wartung
Bestätigte technische Änderungen, Dependency-Pflege und kontrollierte Releases laufend umsetzen lassen.
Wartung ansehenHäufige Fragen zu Managed LLMOps
Abgrenzung, Tracing, Evaluation, Änderungen und laufender Betrieb
- LLMOps umfasst die kontrollierte Bereitstellung, Beobachtung und Änderung von Anwendungen mit Large Language Models. Dazu gehören je nach Scope Tracing, Evaluationen, Prompt- und Modellversionen, Retrieval, Kosten, Latenz, Fehlermuster und dokumentierte Reaktionswege.
- MLOps umfasst Training, Bereitstellung und Überwachung klassischer Machine-Learning-Modelle. LLMOps setzt bei Anwendungen mit Large Language Models an, die meist nicht selbst trainiert werden: Im Mittelpunkt stehen Prompts, Retrieval, Modellversionen, die Bewertung erzeugter Antworten sowie Kosten und Latenz je Anfrage.
- LLM-Observability ist der Beobachtungsteil von LLMOps: Jede Anfrage wird als Trace mit Prompt, abgerufenem Kontext, Modellantwort, Tokenverbrauch, Latenz und Fehlern erfasst. LLMOps nutzt diese Daten, um die Qualität mit Evaluationen zu bewerten und Änderungen kontrolliert einzuführen.
- Je nach Anwendung: Antwortqualität aus Evaluationen, Qualität der abgerufenen Dokumente bei RAG, Latenz, Fehler und Abbrüche, Token- und Modellkosten je Anfrage sowie die Nutzung. Welche Kennzahlen gelten und ab welcher Abweichung gehandelt wird, legen wir in der Baseline fest.
- Selbst betrieben ja. Die Open-Source-Version von Langfuse steht unter MIT-Lizenz und läuft auf eigener Infrastruktur, etwa auf einem Server in Deutschland; Traces gehen dann nicht an einen Cloud-Dienst. Traces enthalten Prompts und Antworten und damit oft personenbezogene Daten. Die Open-Source-Version maskiert solche Daten clientseitig, bevor sie Langfuse erreichen; Aufbewahrungsfristen und serverseitige Maskierung in Langfuse selbst setzen die Enterprise-Edition voraus. Welche Variante nötig ist, klären wir in der Baseline.
- Managed LLMOps betrachtet das Verhalten der KI-Anwendung: Traces, Qualität, Retrieval, Modelle, Prompts, Kosten und Latenz. Wartung und Betrieb des KI-Servers betreffen die technische Infrastruktur darunter, etwa GPU, Betriebssystem, Treiber, Container und Inferenz-Runtime.
- Nein. Langfuse ist eine mögliche Open-Source-Grundlage für Tracing und Evaluation. Welche Telemetrie eingesetzt oder weiterverwendet wird, hängt vom vorhandenen Stack und den Anforderungen an Datenhaltung und Integration ab.
- Managed LLMOps priorisiert und dokumentiert Befunde. Codeänderungen, Infrastrukturarbeiten oder umfangreiche RAG-Optimierung erfolgen durch Ihr Team oder über einen separat vereinbarten WZ-IT-Umfang.
- Nein. Repräsentative Evaluationen und Monitoring können Qualitätsveränderungen und definierte Fehlerklassen sichtbar machen, aber keine allgemeine Garantie für fachlich richtige Antworten in jedem unbekannten Fall geben.
- ab 1.990 € netto / Monat. Der veröffentlichte Preis bezieht sich auf den beschriebenen Standardumfang. Datenqualität, Schnittstellen, Berechtigungen und Zielumgebung werden vor Beauftragung geprüft. Erweiterungen erhalten einen eigenen Preis.
- Nein. Bei geklärtem Scope und geeigneter Umgebung ist eine direkte Umsetzung möglich. Vorhandene Architektur, Datenpipelines und Pilot-Ergebnisse werden nach Prüfung weiterverwendet.
Bewertungen & Projekte
Was Kunden über die Zusammenarbeit sagen
Von der lokalen KI-Integration bis zu Architektur, Datenhoheit und laufendem Betrieb.
WZ-IT hat unsere Studio-Infrastruktur von dezentralen Einzelgeräten auf eine zentrale Plattform gehoben: Jeder Standort ist per VPN sicher angebunden, neue Geräte werden automatisiert onboardet und ein kompletter Standort wird per Vorlage provisioniert - ohne manuelle Schritte vor Ort. Was mich am meisten beeindruckt hat, ist die Breite und Tiefe des Wissens: Timo und Robin sind kein normaler IT-Dienstleister, der einen Server aufsetzt und wieder geht. Die beiden denken sich in hochkomplexe Infrastruktur- und Softwarethemen rein, arbeiten sich in jede Anforderung ein, die wir ihnen hinlegen, und bauen Vernetzung, Provisioning und Betrieb so auf, dass am Ende alles zusammenpasst. WZ-IT ist ein hervorragender Partner, wenn es um komplexe Software-, Netzwerk- und Architekturprojekte geht.
Steve KirchnerGeschäftsführer, nextGYM GmbH
International
Gebaut im Ruhrgebiet. Produktiv weltweit.
WZ-IT plant, entwickelt und betreibt Infrastruktur und Software für Kunden in Deutschland und international. Projekte setzen wir remote um und begleiten sie auch nach dem Go-live im laufenden Betrieb.
Ausgewählte Projekte
- LiveRemote-Access-Plattform für verteilte WasseraufbereitungsanlagenABCO Water Systems · Australien · Secure Access & OT
- 81%AWS-Migration mit deutlich geringeren laufenden KostenEVA Real Estate · VAE · Cloud-Exit & Infrastruktur
- 98%Neue Standorte in Minuten statt Stunden bereitstellennextGYM GmbH · Deutschland · Automatisierung & IoT
Kundenstimmen ansehen
- Lokale KI-Lösung integrieren
- Souveräne Infrastruktur modernisieren
- Open-Source-KI-Architektur entwerfen
- Souveränen Open-Source-Stack planen
- Proxmox & Backup absichern lassen
- Legacy-Software modernisieren
- Cloud-Kosten senken - bis −81 %
- HA-Proxmox-Cluster aufbauen
- Mit Managed Proxmox virtualisieren
- Kollaboration managen lassen
- Vom Prototyp in den Betrieb
- Standorte und Cluster sicher verbinden
LLMOps einordnen
Welche KI-Anwendung soll laufend überwacht werden?
Nennen Sie Use Case, Modelle, Retrieval, Betriebsort und vorhandene Telemetrie. Wir prüfen Baseline und passenden Retainerumfang.
