Inferenz vs. Training: Was Ihr Unternehmen wirklich braucht

KI-Infrastruktur richtig dimensionieren? WZ-IT plant und betreibt Inferenz-Umgebungen auf Ihrer Hardware, im AI Cube oder in der EU-Cloud - inklusive Monitoring und Kostenkontrolle. Zur Betriebsebene

Wer über eigene KI nachdenkt, hört zwei Begriffe, die ständig verwechselt werden - und die Verwechslung wird teuer: Wer glaubt, Training zu brauchen, plant Cluster; wer nur Inferenz braucht, kommt oft mit einer einzelnen GPU aus. Stand Juli 2026.

Inhaltsverzeichnis

• Der Unterschied in einem Bild
• Warum die meisten Unternehmen kein Training brauchen
• Wann Fine-Tuning doch lohnt
• Hardware richtig dimensionieren
• Die Kostenrechnung

Der Unterschied in einem Bild

Training erzeugt oder verändert die Gewichte eines Modells: riesige Datenmengen, GPU-Cluster, Tage bis Wochen Rechenzeit. Das machen Modellhersteller wie Mistral oder Meta. Inferenz nutzt das fertige Modell: Eine Anfrage geht hinein, eine Antwort kommt heraus - dauerhaft, latenzkritisch, und sie bestimmt Ihre laufenden Kosten.

Warum die meisten Unternehmen kein Training brauchen

Der häufigste Denkfehler: „Das Modell soll unsere Daten kennen, also müssen wir es trainieren." In den meisten Fällen ist RAG die richtige Antwort - das Modell bleibt unverändert und bekommt relevante Dokumente zur Laufzeit mitgeliefert. Das ist billiger, sofort aktualisierbar und lässt Berechtigungen technisch erzwingen, was trainiertes Wissen nie kann: Was im Modell steckt, kann jeder abfragen, der das Modell nutzen darf.

Wann Fine-Tuning doch lohnt

Es gibt legitime Fälle: ein spezifischer Schreibstil, der dauerhaft sitzen soll, eine Fachsprache mit eigener Terminologie, strukturierte Ausgabeformate. Dann aber fast immer als LoRA-Adapter statt Volltraining - trainiert wird ein kleiner Aufsatz, das Grundmodell bleibt unangetastet, und die Hardware-Anforderung bleibt überschaubar. Die Reihenfolge bleibt trotzdem: erst RAG ausschöpfen, dann Fine-Tuning prüfen.

Hardware richtig dimensionieren

Für Inferenz zählt vor allem VRAM - das Modell muss (quantisiert) in den Speicher passen, plus Platz für den Kontext:

• bis 8B Parameter (interne Assistenten, Klassifikation): eine Consumer-GPU oder L4, 16-24 GB VRAM
• bis 70B quantisiert (anspruchsvolle Assistenz): 48-80 GB, eine große Karte oder zwei mittlere
• Details zur Rechnung: GPU- und VRAM-Sizing für LLMs

Serving-Software wie vLLM holt aus derselben Hardware ein Mehrfaches an Durchsatz gegenüber naiven Setups - die Software-Wahl ist ein Kostenhebel, kein Detail.

Die Kostenrechnung

Eigene Inferenz hat weitgehend fixe Kosten: GPU-Server, Strom, Betrieb - unabhängig davon, ob 10 oder 200 Mitarbeitende anfragen. APIs skalieren pro Token: günstig bei sporadischer Nutzung, teuer bei Dauerlast. Der Break-even hängt am Volumen und an den Datenschutzanforderungen; ein Gateway wie LiteLLM macht beide Pfade parallel nutzbar und die Kosten pro Team sichtbar. Die Einordnung, wann sich welcher Weg rechnet, gehört in jedes Erstgespräch - beide Pfade transparent gegeneinander, nicht als Glaubensfrage.