Was kostet ein lokaler KI-Server? Preise nach Klasse, Betriebskosten und Miete

Lokale KI mit planbaren Kosten betreiben? Der AI Cube ist der schlüsselfertige KI-Server für das eigene Netz, die Managed GPU-Server laufen in einem deutschen Rechenzentrum. Beide werden ohne Tokenabrechnung betrieben. Support, Beratung und Implementierung durch WZ-IT. Termin vereinbaren

Als KI-Server gilt in diesem Artikel ein Server mit einer oder mehreren GPUs oder mit einem GB10-Chip und Unified Memory, der Sprachmodelle für den eigenen Bedarf eines Unternehmens ausführt. Was er kostet, hängt von der Leistungsklasse ab, davon, wer ihn betreibt, und davon, wie lange er läuft. Dieser Artikel stellt die Preise nebeneinander: Anschaffung nach Klasse, laufende Kosten, Miete über 12, 24 und 36 Monate und den Break-even gegenüber einer Modell-API. Fremdzahlen tragen Quelle und Datum, Berechnungen zeigen ihre Formel, und die WZ-IT-Preise sind die aktuellen Preise der Angebote. Stand 11. November 2026.

Was kostet ein lokaler KI-Server?

Den Preis bestimmt die Leistungsklasse. Stand 11. November 2026:

• Klasse 24 GB: eine Workstation-GPU-Karte mit 24 GB (NVIDIA RTX PRO 4000 Blackwell SFF Edition) ab 3.099,90 € inklusive Umsatzsteuer (Geizhals). Nur die Karte; der Server drumherum kommt hinzu.
• GB10-Klasse mit 128 GB Unified Memory: der NVIDIA DGX Spark zum Listenpreis von 4.699 US-Dollar (NVIDIA). Als einsatzbereit eingerichtetes System kostet der AI Cube ab 7.999 € netto einmalig plus AI Cube Care ab 349,90 € netto pro Monat.
• Klasse 96 GB und Server mit acht GPUs: eine einzelne RTX-PRO-6000-Blackwell-Karte ab 16.798,94 € inklusive Umsatzsteuer (Geizhals); ein Server mit acht RTX-PRO-6000-GPUs 170.000 bis 240.000 € vor Umsatzsteuer, ein Server mit acht B200-GPUs 360.000 bis 470.000 US-Dollar als indikative Marktspanne (CHG-MERIDIAN).
• Miete: dedizierte GPU-Server ab 214 € pro Monat zuzüglich 209 € Einrichtung, netto (Hetzner); der Managed GPU Server 24 mit 699 € pro Monat zuzüglich 499 € Einrichtung und der Managed GPU Server 96 mit 2.199 € pro Monat zuzüglich 1.999 € Einrichtung, von WZ-IT betrieben.
• Laufende Kosten: Strom, zum Beispiel entsprechen 150 W Dauerlast 109,5 kWh oder 19,60 € pro Monat bei 17,9 Cent je kWh (BDEW), dazu Administration, Updates, Monitoring und Backup.

Wovon der Preis abhängt:

1. Modellgröße und Kontextlänge. Sie bestimmen, wie viel GPU-Speicher oder Unified Memory nötig ist, siehe GPU und VRAM für LLMs dimensionieren.
2. Gleichzeitige Nutzer. Entscheidend ist nicht die Kontenzahl, sondern die Zahl gleichzeitig erzeugter Antworten, siehe Lokalen KI-Server nach Nutzern dimensionieren.
3. Nutzungsstunden. Sie bestimmen, wie gut die Kapazität ausgelastet ist. Ein gemieteter Server wird berechnet, solange er besteht, Leerlauf kostet also genauso viel wie Nutzung.
4. Betriebsumfang. Patching, Monitoring, Backup und Support werden intern erledigt oder als Service dazugekauft.
5. Laufzeit. Einmalige und monatliche Beträge sind erst über denselben Zeitraum vergleichbar.

Inhaltsverzeichnis

• Anschaffungspreis nach Leistungsklasse
• AI Cube und Managed GPU-Server: Preise von WZ-IT
• Laufende Kosten: Strom, Betrieb und Support
• Kaufen oder mieten: Gesamtkosten nach 12, 24 und 36 Monaten
• Vier Kostenblöcke
• Break-even pro Token: die Annahmen
• Kosten je Million Token nach Auslastung
• Was die Break-even-Mengen bedeuten
• Wann der Tokenpreis nicht entscheidet
• Drei Jahre statt Anschaffungspreis vergleichen
• Wann Standardhardware nicht reicht
• Stand und Methodik
• Unser Vorgehen bei WZ-IT
• Quellen und Vertiefung

Anschaffungspreis nach Leistungsklasse

Drei Hinweise zum Lesen der Tabelle:

• Eine Karte ist kein Server. Eine GPU-Karte braucht einen Host mit Prozessor, Arbeitsspeicher, Speicher, Netzteil und Kühlung; diese Teile stecken nicht im Preis. Der DGX Spark und der AI Cube sind komplette Geräte.
• Preise bewegen sich. NVIDIA hat den Listenpreis der DGX Spark Founders Edition im Februar 2026 von 3.999 auf 4.699 US-Dollar angehoben und weltweite Engpässe bei der Speicherversorgung als Grund genannt (NVIDIA). Die Preise von OEM-Systemen mit demselben Chip legen die OEMs fest. CHG-MERIDIAN nennt ebenfalls stark gestiegene Speicherkosten als Grund für steigende KI-Server-Preise im Jahr 2026.
• Die Klassen bedienen unterschiedliche Lasten. Wie viel Speicher ein Modell braucht und wie viele Nutzer ein Gerät trägt, behandeln GPU und VRAM für LLMs dimensionieren und Lokalen KI-Server nach Nutzern dimensionieren. Für Teams von fünf bis zwanzig Personen reicht laut Produktseite in der Regel ein AI Cube; die größeren Klassen werden für größere Modelle, längere Kontexte oder mehr gleichzeitige Anfragen eingesetzt.

AI Cube und Managed GPU-Server: Preise von WZ-IT

Beim AI Cube gehört das Gerät dem Kunden; der Betrieb läuft über AI Cube Care. Die GPU-Server sind ein laufendes Bezugsmodell; Hostsystem, Laufzeit und Bereitstellung werden im Angebot bestätigt. Beide Varianten rechnen nicht nach Token oder Nutzern ab. Ob Eigentum oder Bezug besser passt, vertieft der Ratgeber KI-Server kaufen oder mieten.

Laufende Kosten: Strom, Betrieb und Support

Strom. Die Produktseite des AI Cube nennt rund 150 W unter Last und ein 240-Watt-Netzteil; die Tabelle nutzt 150 W als Rechenbeispiel. Die Tabelle rechnet mit konstanter Last über 730 Stunden pro Monat (8.760 Stunden im Jahr geteilt durch 12); der tatsächliche Verbrauch hängt vom Lastprofil und vom Leerlaufverbrauch ab. Zwei Vergleichspreise: Der Durchschnitt für kleine bis mittlere Industriebetriebe lag 2026 bisher bei 17,9 Cent je kWh, der Haushaltsdurchschnitt bei 37,3 Cent, jeweils laut BDEW (BDEW, Stand Oktober 2026).

Für den AI Cube mit 150 W ergibt das 1.314 kWh im Jahr, bei 17,9 Cent also 235,21 €. Kühlung des Raums ist nicht eingerechnet. Ein Server im Rechenzentrum, etwa die Managed GPU-Server, verursacht an Ihrem Standort keine Serverstromrechnung.

Betrieb. Updates, Sicherheitsprüfung, Monitoring, Backup, Wiederherstellung, Modellwechsel und Support fallen über die gesamte Nutzungsdauer an. Beim AI Cube deckt AI Cube Care ab 349,90 € netto pro Monat Patching, Backup, Monitoring und Support ab. Bei den Managed GPU-Servern sind Monitoring, Updates und technischer Betrieb im Monatspreis enthalten. Ein gemieteter dedizierter Server ohne Plattformbetrieb lässt all das beim Kunden; die interne Administrationszeit gehört in die Rechnung.

In den Preisen der oben genannten Basiskonfigurationen nicht enthalten: Integrationen mit Nextcloud, SharePoint, DMS oder Fachsoftware, interne Arbeitszeit und der Ersatz der Hardware nach Ende der Nutzungsdauer.

Kaufen oder mieten: Gesamtkosten nach 12, 24 und 36 Monaten

Kumulierte Zahlungen in Euro netto für die Basiskonfigurationen: einmaliger Betrag plus Monate mal Monatspreis. Einrichtungsgebühren sind eingerechnet; Strom, interne Arbeit, Integration, Ersatz und Restwert nicht.

Preise der gemieteten dedizierten Server: Hetzner, Modelle GEX45, GEX63 und GEX430, netto, Stand 11. November 2026. Die AI-Cube-Zeile nimmt an, dass Care durchgehend läuft, obwohl es nach den ersten zwölf Monaten monatlich kündbar ist. Die Zeilen der Managed GPU-Server nehmen einen durchgehenden Bezug über den genannten Zeitraum an.

So lesen Sie die Tabelle:

• Der Break-even zwischen Kauf und Service. Der AI Cube mit Care kostet ab dem 22. Monat insgesamt weniger als der Managed GPU Server 24 (15.687,80 € gegenüber 15.877 € nach 22 Monaten) und ab dem 4. Monat weniger als der Managed GPU Server 96. In der AI-Cube-Zeile ist der Betrieb enthalten, der Strom an Ihrem Standort kommt hinzu (siehe oben).
• Innerhalb einer GPU-Klasse ist Miete ohne Plattformbetrieb die niedrigere Zeile: 7.913 € gegenüber 25.663 € nach 36 Monaten in der 24-GB-Klasse, 36.963 € gegenüber 81.163 € in der 96-GB-Klasse. Sie deckt den Server im Rechenzentrum mit Netzanbindung ab. Betriebssystem, Treiber, Modellserver, Oberfläche, Updates, Monitoring und Backup bleiben beim Kunden, während die Managed-Angebote Monitoring, Updates und technischen Betrieb abdecken und AI Cube Care Patching, Backup, Monitoring und Support.
• Die Klassen sind in der Leistung nicht gleich. Die Tabelle vergleicht Kosten, nicht Geschwindigkeit. Welche Klasse ein Modell und ein Team trägt, zeigen die oben verlinkten Dimensionierungs-Leitfäden und der Token-Simulator mit GB10-Messwerten.
• Die Stundenabrechnung ist durch den Monatspreis gedeckelt. Hetzner rechnet gemietete GPU-Server stundenweise ab, die Summe übersteigt den Monatspreis nicht (Abrechnungsdokumentation). Beim Modell GEX63 mit 96 GB und 1,6009 € pro Stunde ist der Monatspreis von 999 € nach rund 624 Stunden erreicht. Ein Server wird berechnet, solange er im Account besteht; wer nicht mehr zahlen will, muss kündigen, und eine Neubestellung löst die Einrichtungsgebühr erneut aus. Die Modelle GEX45, GEX63 und GEX131 mit Stand 13. Oktober 2026 vergleicht Hetzner-GPU-Server im Vergleich.

Vier Kostenblöcke

1. Hardware und Basissystem. Für lokale Sprachmodelle bestimmen verfügbarer Speicher, Speicherbandbreite und gewünschter Durchsatz die Hardwareklasse. Wie viel Speicher Modell und Kontext belegen, rechnet GPU und VRAM für LLMs dimensionieren durch.

2. Einrichtung der KI-Plattform. Betriebssystem, Treiber, Modell-Runtime, Benutzeroberfläche, Modell, Benutzerverwaltung, Netzwerk, Härtung und Funktionstest. Wer diese Arbeit intern übernimmt, muss die Zeit und das spätere Wissen im Team einrechnen.

3. Integration in Arbeitsabläufe. Eigene Dokumente manuell in einer Wissensoberfläche zu nutzen ist etwas anderes als eine dauerhaft synchronisierte RAG-Pipeline. Schnittstellen, Quellenrechte und Automatisierungen sind projektabhängig.

4. Laufender Betrieb. Updates, Sicherheitsprüfung, Monitoring, Backup, Wiederherstellung, Modellwechsel und Support fallen über die gesamte Nutzungsdauer an, intern oder als Managed Service.

Break-even pro Token: die Annahmen

Eine Modell-API rechnet je Million Token ab, eigene Hardware kostet einen festen Betrag im Monat. Der Break-even ist die monatliche Tokenmenge, ab der beide gleich viel kosten. Als Vergleich dienen die Listenpreise des IONOS AI Model Hub, eines deutschen Anbieters mit Verarbeitung in Deutschland, für zwei Open-Weight-Modelle, die auch auf der WZ-IT-Hardware laufen.

gpt-oss-120b ist ein Mixture-of-Experts-Modell mit 117 Milliarden Parametern, das laut Model Card auf eine einzelne 80-GB-GPU passt; es läuft damit auf dem GPU Server 96 und auf den 128 GB des AI Cube. Mistral Small 24B passt mit 4-Bit-Quantisierung auf 24 GB. Alle Preise verstehen sich netto.

Kosten je Million Token nach Auslastung

Teilt man die monatlichen Fixkosten durch die tatsächlich verarbeiteten Token, ergeben sich die Kosten je Million Token. Sie sinken mit jeder zusätzlich verarbeiteten Anfrage.

Bei Tokenmengen oberhalb des Break-even ist die eigene Hardware je Token günstiger, darunter die API. Ob die Hardware die Menge auch verarbeiten kann, ist eine zweite Frage, die von Modell, Kontext und Parallelität abhängt.

Was die Break-even-Mengen bedeuten

Eine Anfrage mit 4.000 Token Kontext und 1.000 Token Antwort verbraucht 5.000 Token. Daraus ergibt sich:

Zur Einordnung: Eine öffentlich dokumentierte Messung auf einem einzelnen GB10 mit dem kleineren Modell Qwen3.6-35B-A3B (NVFP4, vLLM, 1.024 Token Eingabe, 256 Token Ausgabe) kam auf rund 320 Ausgabe-Token je Sekunde bei acht und rund 432 bei 16 parallelen Chats. Das ist kein Messwert für gpt-oss-120b, zeigt aber die Größenordnung.

Daraus folgen drei sachliche Feststellungen:

• Bei Nutzung nur zu Bürozeiten liegt der reine Tokenpreis europäischer APIs für Open-Weight-Modelle in der Regel unter den Kosten eigener Hardware. Der Break-even verlangt eine Auslastung, die ein interaktiver Assistent für ein kleines Team nicht erreicht.
• Bei Dauerlast verschiebt sich das Bild. Batch-Verarbeitung rund um die Uhr, etwa Klassifizierung, Extraktion aus Dokumenten oder das Einbetten großer Bestände, nutzt Hardware gleichmäßig aus und kann den Break-even erreichen.
• API-Preise ändern sich. Listenpreise, Modellkataloge und Abschaltdaten liegen beim Anbieter. Die Fixkosten eigener Hardware sind über die Laufzeit bekannt.

Wann der Tokenpreis nicht entscheidet

In vielen Projekten ist der Tokenpreis nicht das ausschlaggebende Kriterium:

Welche europäischen APIs es gibt und worin sie sich bei Standort, Vertrag und Modellen unterscheiden, vergleicht der Beitrag Europäische LLM-APIs im Vergleich. Die grundsätzliche Abwägung behandelt Cloud-KI vs. self-hosted. Ein Mischbetrieb ist ebenfalls möglich: Embedding und Reranker lokal, das Sprachmodell je nach Schutzbedarf lokal oder über eine API, gebündelt über ein Gateway wie LiteLLM.

Drei Jahre statt Anschaffungspreis vergleichen

Eine belastbare Rechnung verwendet dieselben Annahmen für beide Varianten:

Lokale Plattform: Kaufpreis oder Monatsrate + Einrichtung + Integration + Strom und Betrieb + Risikopuffer für Ersatz.

Cloud-Plattform: 36 Monate Nutzerlizenzen oder API-Verbrauch + Integrationen + Administration + mögliche Zusatzfunktionen und Datenregionen.

Wer seinen API-Verbrauch bereits kennt, setzt ihn direkt in die Tabelle oben ein. Wer ihn nicht kennt, misst ihn in einer Pilotphase, etwa über die Nutzungsprotokolle eines Gateways. Zusätzlich gehören nicht-finanzielle Faktoren in die Entscheidung: erlaubte Datenarten, Kontrolle über Modell und Updates, Offline-Fähigkeit und Abhängigkeit vom Anbieter.

Wann Standardhardware nicht reicht

Ein AI Cube bedient mit der Standardkonfiguration bis zu zehn gleichzeitig erzeugte Antworten, je nach Modell und Kontextlänge; für Teams von fünf bis zwanzig Personen reicht in der Regel ein Gerät. Ein größerer Aufbau ist sinnvoll, wenn mehrere große Modelle parallel laufen, sehr lange Kontexte benötigt werden oder Verfügbarkeit und Redundanz vertraglich zugesichert werden sollen. Dann planen wir Multi-GPU-Systeme oder Cluster anhand gemessener Last; diese Architekturen werden separat angeboten.

Wie aus Kontenzahl, Parallelität und Antwortlänge ein Lastprofil wird, zeigt der Leitfaden Lokalen KI-Server nach Nutzern dimensionieren. Welche Modelle auf 128 GB passen, ordnet LLM-Modelle auf 128 GB Unified Memory ein.

Stand und Methodik

Preise abgerufen am 11. November 2026; das Datum von Aussagen Dritter steht je Zeile.

• Anschaffungspreise von GPU-Karten: niedrigstes Angebot im Preisvergleich Geizhals an diesem Tag (Produktseiten in der Tabelle verlinkt), in Euro inklusive Umsatzsteuer und ohne Versand. Die Angebote ändern sich täglich, und eine Karte ist kein Server.
• DGX Spark: Listenpreis der Founders Edition laut NVIDIA-Mitteilung vom Februar 2026 in den NVIDIA Developer Forums. Fragen zu OEM-Systemen verweist NVIDIA an die OEMs.
• Server mit acht GPUs: Preisspannen von Oktober 2026 laut CHG-MERIDIAN-Artikel zu KI-Server-Kosten, der die zugrunde liegenden Angebote nicht veröffentlicht; die Spanne für RTX-PRO-6000-Server beruht auf europäischen Händlerangeboten vor Umsatzsteuer, die HGX-Werte auf einem dort genannten Marktbericht vom Oktober 2026.
• Gemietete Server: die Hetzner-Preisliste für dedizierte GPU-Server, netto, Monatspreis plus einmalige Einrichtungsgebühr, am 11. November 2026. Die Website zeigt je nach Länderauswahl Preise mit Umsatzsteuer.
• Strom: BDEW-Strompreisanalyse, Oktober 2026 (2026 bisher). Der Verbrauch ist Watt mal 730 Stunden pro Monat geteilt durch 1.000, das ergibt kWh.
• API-Preise: IONOS-Preisliste, abgerufen am 11. November 2026, Modelle gpt-oss-120b und Mistral Small 24B Instruct.
• WZ-IT-Preise: die aktuellen Preise der Angebote, netto. Summen sind einmaliger Betrag plus Monate mal Monatspreis, ohne Abzinsung, ohne Restwert und ohne Umsatzsteuer.
• Nicht abgedeckt: Cluster über acht GPUs, Netzwerk und gemeinsamer Speicher, interne Arbeitszeit, Restwert und Wiederverkauf.

Unsere Tabellen und Berechnungen dürfen mit Quellenangabe und Link auf diesen Beitrag weiterverwendet werden.

Unser Vorgehen bei WZ-IT

Welche Klasse passt, hängt von Modell, Kontextlänge und der Zahl gleichzeitiger Anfragen ab. Das prüfen wir vor dem Angebot. Größere Aufbauten planen wir als Multi-GPU-Systeme oder Cluster anhand gemessener Last. Zur Wahl stehen der AI Cube und die Managed GPU-Server.

Quellen und Vertiefung

• Geizhals: NVIDIA RTX PRO 4000 Blackwell SFF Edition
• Geizhals: NVIDIA RTX PRO 6000 Blackwell
• NVIDIA Developer Forums: Mitteilung zur Preisänderung der DGX Spark
• CHG-MERIDIAN: AI server cost from purchase to retirement
• Hetzner: GPU-Server, Preisliste
• Hetzner: Abrechnungsdokumentation
• BDEW: Strompreisanalyse
• IONOS Cloud, Preisliste mit AI Model Hub
• OpenAI, Model Card gpt-oss-120b
• Öffentliche GB10-Messung mit Qwen3.6-35B-A3B NVFP4 (dgx-spark-bench)
• NVIDIA: DGX-Spark-Hardware mit 128 GB Unified Memory
• WZ-IT: GPU und VRAM für LLMs dimensionieren
• WZ-IT: KI-Server kaufen oder mieten
• WZ-IT: Hetzner-GPU-Server im Vergleich
• WZ-IT: Cloud-KI vs. self-hosted
• WZ-IT: Token-Simulator mit GB10-Messwerten

Welche Klasse passt zu Ihrem Einsatz? Der AI Cube ist der schlüsselfertige KI-Server für das eigene Netz; für größere Modelle gibt es die Managed GPU-Server. Welche Klasse passt, hängt von Kontextlänge und gleichzeitigen Anfragen ab; das prüfen wir vor dem Angebot. Termin vereinbaren