Was kostet ein lokaler KI-Server?

Lokale KI mit planbaren Kosten betreiben? Der AI Cube steht als Appliance im eigenen Netz, die Managed GPU-Server laufen in einem deutschen Rechenzentrum. Beide werden ohne Tokenabrechnung betrieben. Support, Beratung und Implementierung durch WZ-IT. Termin vereinbaren

Die Frage nach den Kosten eines lokalen KI-Servers lässt sich nur beantworten, wenn Hardware, Plattform, Integration und Betrieb getrennt betrachtet werden. Ein Onlinepreis für einen Rechner ist nicht mit einer einsatzbereiten Mehrbenutzerplattform vergleichbar. Und der Vergleich mit einer Modell-API braucht eine gemeinsame Einheit: die Kosten je Million Token.

Dieser Artikel nennt die Preise der WZ-IT-Angebote, rechnet die Kosten je Token bei unterschiedlicher Auslastung aus und stellt sie den Listenpreisen einer europäischen Modell-API gegenüber. Alle Annahmen stehen offen in Tabellen. Preise Stand Oktober 2026.

Inhaltsverzeichnis

• Kostenübersicht: AI Cube und Managed GPU-Server
• Vier Kostenblöcke
• Break-even pro Token: die Annahmen
• Kosten je Million Token nach Auslastung
• Was die Break-even-Mengen bedeuten
• Wann der Tokenpreis nicht entscheidet
• Drei Jahre statt Anschaffungspreis vergleichen
• Wann Standardhardware nicht reicht

Kostenübersicht: AI Cube und Managed GPU-Server

Beim AI Cube gehört das Gerät dem Kunden; der Betrieb läuft über AI Cube Care. Die GPU-Server sind ein laufendes Bezugsmodell; Hostsystem, Laufzeit und Bereitstellung werden im Angebot bestätigt. Beide Varianten rechnen nicht nach Token oder Nutzern ab. Ob Eigentum oder Bezug besser passt, vertieft der Ratgeber KI-Server kaufen oder mieten.

Vier Kostenblöcke

1. Hardware und Basissystem. Für lokale Sprachmodelle bestimmen verfügbarer Speicher, Speicherbandbreite und gewünschter Durchsatz die Hardwareklasse. Wie viel Speicher Modell und Kontext belegen, rechnet GPU und VRAM für LLMs dimensionieren durch.

2. Einrichtung der KI-Plattform. Betriebssystem, Treiber, Modell-Runtime, Benutzeroberfläche, Modell, Benutzerverwaltung, Netzwerk, Härtung und Funktionstest. Wer diese Arbeit intern übernimmt, muss die Zeit und das spätere Wissen im Team einrechnen.

3. Integration in Arbeitsabläufe. Eigene Dokumente manuell in einer Wissensoberfläche zu nutzen ist etwas anderes als eine dauerhaft synchronisierte RAG-Pipeline. Schnittstellen, Quellenrechte und Automatisierungen sind projektabhängig.

4. Laufender Betrieb. Updates, Sicherheitsprüfung, Monitoring, Backup, Wiederherstellung, Modellwechsel und Support fallen über die gesamte Nutzungsdauer an, intern oder als Managed Service.

Break-even pro Token: die Annahmen

Eine Modell-API rechnet je Million Token ab, eigene Hardware kostet einen festen Betrag im Monat. Der Break-even ist die monatliche Tokenmenge, ab der beide gleich viel kosten. Als Vergleich dienen die Listenpreise des IONOS AI Model Hub, eines deutschen Anbieters mit Verarbeitung in Deutschland, für zwei Open-Weight-Modelle, die auch auf der WZ-IT-Hardware laufen.

gpt-oss-120b ist ein Mixture-of-Experts-Modell mit 117 Milliarden Parametern, das laut Model Card auf eine einzelne 80-GB-GPU passt; es läuft damit auf dem GPU Server 96 und auf den 128 GB des AI Cube. Mistral Small 24B passt mit 4-Bit-Quantisierung auf 24 GB. Alle Preise verstehen sich netto.

Kosten je Million Token nach Auslastung

Teilt man die monatlichen Fixkosten durch die tatsächlich verarbeiteten Token, ergeben sich die Kosten je Million Token. Sie sinken mit jeder zusätzlich verarbeiteten Anfrage.

Bei Tokenmengen oberhalb des Break-even ist die eigene Hardware je Token günstiger, darunter die API. Ob die Hardware die Menge auch verarbeiten kann, ist eine zweite Frage, die von Modell, Kontext und Parallelität abhängt.

Was die Break-even-Mengen bedeuten

Eine Anfrage mit 4.000 Token Kontext und 1.000 Token Antwort verbraucht 5.000 Token. Daraus ergibt sich:

Zur Einordnung: Eine öffentlich dokumentierte Messung auf einem einzelnen GB10 mit dem kleineren Modell Qwen3.6-35B-A3B (NVFP4, vLLM, 1.024 Token Eingabe, 256 Token Ausgabe) kam auf rund 320 Ausgabe-Token je Sekunde bei acht und rund 432 bei 16 parallelen Chats. Das ist kein Messwert für gpt-oss-120b, zeigt aber die Größenordnung.

Daraus folgen drei sachliche Feststellungen:

• Bei Nutzung nur zu Bürozeiten liegt der reine Tokenpreis europäischer APIs für Open-Weight-Modelle in der Regel unter den Kosten eigener Hardware. Der Break-even verlangt eine Auslastung, die ein interaktiver Assistent für ein kleines Team nicht erreicht.
• Bei Dauerlast verschiebt sich das Bild. Batch-Verarbeitung rund um die Uhr, etwa Klassifizierung, Extraktion aus Dokumenten oder das Einbetten großer Bestände, nutzt Hardware gleichmäßig aus und kann den Break-even erreichen.
• API-Preise ändern sich. Listenpreise, Modellkataloge und Abschaltdaten liegen beim Anbieter. Die Fixkosten eigener Hardware sind über die Laufzeit bekannt.

Wann der Tokenpreis nicht entscheidet

In vielen Projekten ist der Tokenpreis nicht das ausschlaggebende Kriterium:

Welche europäischen APIs es gibt und worin sie sich bei Standort, Vertrag und Modellen unterscheiden, vergleicht der Beitrag Europäische LLM-APIs im Vergleich. Die grundsätzliche Abwägung behandelt Cloud-KI vs. self-hosted. Ein Mischbetrieb ist ebenfalls möglich: Embedding und Reranker lokal, das Sprachmodell je nach Schutzbedarf lokal oder über eine API, gebündelt über ein Gateway wie LiteLLM.

Drei Jahre statt Anschaffungspreis vergleichen

Eine belastbare Rechnung verwendet dieselben Annahmen für beide Varianten:

Lokale Plattform: Kaufpreis oder Monatsrate + Einrichtung + Integration + Strom und Betrieb + Risikopuffer für Ersatz.

Cloud-Plattform: 36 Monate Nutzerlizenzen oder API-Verbrauch + Integrationen + Administration + mögliche Zusatzfunktionen und Datenregionen.

Wer seinen API-Verbrauch bereits kennt, setzt ihn direkt in die Tabelle oben ein. Wer ihn nicht kennt, misst ihn in einer Pilotphase, etwa über die Nutzungsprotokolle eines Gateways. Zusätzlich gehören nicht-finanzielle Faktoren in die Entscheidung: erlaubte Datenarten, Kontrolle über Modell und Updates, Offline-Fähigkeit und Abhängigkeit vom Anbieter.

Wann Standardhardware nicht reicht

Ein AI Cube bedient mit der Standardkonfiguration bis zu zehn gleichzeitig erzeugte Antworten, je nach Modell und Kontextlänge; für Teams von fünf bis zwanzig Personen reicht in der Regel ein Gerät. Ein größerer Aufbau ist sinnvoll, wenn mehrere große Modelle parallel laufen, sehr lange Kontexte benötigt werden oder Verfügbarkeit und Redundanz vertraglich zugesichert werden sollen. Dann planen wir Multi-GPU-Systeme oder Cluster anhand gemessener Last; diese Architekturen werden separat angeboten.

Wie aus Kontenzahl, Parallelität und Antwortlänge ein Lastprofil wird, zeigt der Leitfaden Lokalen KI-Server nach Nutzern dimensionieren. Welche Modelle auf 128 GB passen, ordnet LLM-Modelle auf 128 GB Unified Memory ein.

Quellen und Vertiefung

• IONOS Cloud, Preisliste mit AI Model Hub
• OpenAI, Model Card gpt-oss-120b
• Öffentliche GB10-Messung mit Qwen3.6-35B-A3B NVFP4 (dgx-spark-bench)
• NVIDIA: DGX-Spark-Hardware mit 128 GB Unified Memory
• WZ-IT: GPU und VRAM für LLMs dimensionieren
• WZ-IT: Cloud-KI vs. self-hosted