KI-Infrastruktur richtig dimensionieren? WZ-IT plant und betreibt Inferenz-Umgebungen auf Ihrer Hardware, im AI Cube oder in der EU-Cloud - inklusive Monitoring und Kostenkontrolle. LLM-Hosting ansehen · Zur Betriebsebene
Wer über eigene KI nachdenkt, hört zwei Begriffe, die ständig verwechselt werden - und die Verwechslung wird teuer: Wer glaubt, Training zu brauchen, plant Cluster; wer nur Inferenz braucht, kommt oft mit einer einzelnen GPU aus. Stand Oktober 2026.
Inhaltsverzeichnis
- Inferenz und Training im Vergleich
- Warum die meisten Unternehmen kein Training brauchen
- Wann Fine-Tuning doch lohnt
- Hardware richtig dimensionieren
- Die Kostenrechnung
Inferenz und Training im Vergleich
Training erzeugt oder verändert die Gewichte eines Modells: riesige Datenmengen, GPU-Cluster, Tage bis Wochen Rechenzeit. Das machen Modellhersteller wie Mistral oder Meta. Inferenz nutzt das fertige Modell: Eine Anfrage geht hinein, eine Antwort kommt heraus - dauerhaft, latenzkritisch, und sie bestimmt Ihre laufenden Kosten.
| Training | Inferenz | |
|---|---|---|
| Zweck | Modell erzeugen/verändern | Modell nutzen |
| Hardware | GPU-Cluster (80 GB+ je Karte, viele Karten) | ab einer GPU, je nach Modell |
| Dauer | Tage bis Wochen, einmalig | Millisekunden, dauerhaft |
| Wer braucht es | Modellhersteller, Speziallabore | praktisch jedes Unternehmen mit eigener KI |
Warum die meisten Unternehmen kein Training brauchen
Der häufigste Denkfehler: „Das Modell soll unsere Daten kennen, also müssen wir es trainieren." In den meisten Fällen ist RAG die richtige Antwort - das Modell bleibt unverändert und bekommt relevante Dokumente zur Laufzeit mitgeliefert. Das ist billiger, sofort aktualisierbar und lässt Berechtigungen technisch erzwingen, was trainiertes Wissen nie kann: Was im Modell steckt, kann jeder abfragen, der das Modell nutzen darf.
Wann Fine-Tuning doch lohnt
Es gibt legitime Fälle: ein spezifischer Schreibstil, der dauerhaft sitzen soll, eine Fachsprache mit eigener Terminologie, strukturierte Ausgabeformate. Dann aber fast immer als LoRA-Adapter statt Volltraining - trainiert wird ein kleiner Aufsatz, das Grundmodell bleibt unangetastet, und die Hardware-Anforderung bleibt überschaubar. Die Reihenfolge bleibt trotzdem: erst RAG ausschöpfen, dann Fine-Tuning prüfen.
Hardware richtig dimensionieren
Für Inferenz zählt vor allem VRAM - das Modell muss (quantisiert) in den Speicher passen, plus Platz für den Kontext:
- bis 8B Parameter (interne Assistenten, Klassifikation): eine Consumer-GPU oder L4, 16-24 GB VRAM
- bis 70B quantisiert (anspruchsvolle Assistenz): 48-80 GB, eine große Karte oder zwei mittlere
- Details zur Rechnung: GPU- und VRAM-Sizing für LLMs
Serving-Software wie vLLM holt aus derselben Hardware ein Mehrfaches an Durchsatz gegenüber naiven Setups - die Software-Wahl ist ein Kostenhebel, kein Detail.
Die Kostenrechnung
Eigene Inferenz hat weitgehend fixe Kosten: GPU-Server, Strom, Betrieb - unabhängig davon, ob 10 oder 200 Mitarbeitende anfragen. APIs skalieren pro Token: günstig bei sporadischer Nutzung, teuer bei Dauerlast. Der Break-even hängt am Volumen und an den Datenschutzanforderungen; ein Gateway wie LiteLLM macht beide Pfade parallel nutzbar und die Kosten pro Team sichtbar. Die Einordnung, wann sich welcher Weg rechnet, gehört in jedes Erstgespräch - beide Pfade transparent gegeneinander, nicht als Glaubensfrage.
