Was kostet ein lokaler KI-Server?

Mit einem klaren Festpreis starten? Der AI Cube Pro kostet 5.999 € netto und enthält Hardware, lokale KI-Plattform, abgestimmtes Modell, Härtung, Ersteinrichtung und fünf Stunden Support. Lieferumfang und Konfiguration ansehen

Die Frage nach den Kosten eines lokalen KI-Servers lässt sich nur beantworten, wenn Hardware, Plattform, Integration und Betrieb getrennt betrachtet werden. Ein Onlinepreis für einen Rechner ist nicht mit einer einsatzbereiten Mehrbenutzerplattform vergleichbar. Umgekehrt macht ein teures Integrationsprojekt keinen Sinn, wenn ein vorkonfigurierter Standard den Anwendungsfall bereits abdeckt.

Kostenübersicht für den Einstieg

Damit ist der Einstiegspreis klar. Die Gesamtkosten hängen anschließend davon ab, ob die vorhandenen Open-WebUI-Funktionen genügen oder zusätzliche Integrationen und ein laufender Betrieb benötigt werden.

Vier Kostenblöcke

1. Hardware und Basissystem

Für lokale Sprachmodelle bestimmen vor allem verfügbarer Speicher, Speicherbandbreite und gewünschter Durchsatz die Hardwareklasse. Hinzu kommen SSD, Netzwerk und gegebenenfalls Redundanz. Ein kompakter Einstieg kann mit einem System auskommen; größere Modelle oder viele parallele Anfragen benötigen weitere Systeme oder dedizierte GPU-Server.

2. Einrichtung der KI-Plattform

Zum produktiven Einstieg gehören Betriebssystem, Treiber, Modell-Runtime, Benutzeroberfläche, Modell, Benutzerverwaltung, Netzwerk, Härtung und Funktionstest. Wer diese Arbeit intern übernimmt, muss die dafür benötigte Zeit und das spätere Wissen im Team einrechnen.

3. Integration in Arbeitsabläufe

Eigene Dokumente manuell in einer Wissensoberfläche zu nutzen ist etwas anderes als eine dauerhaft synchronisierte RAG-Pipeline. Schnittstellen zu Nextcloud, SharePoint, DMS oder Fachsoftware, Quellenrechte, Middleware und Automatisierungen sind projektabhängig.

4. Laufender Betrieb

Updates, Sicherheitsprüfung, Monitoring, Backup, Wiederherstellung, Modellwechsel und Support fallen über die gesamte Nutzungsdauer an. Diese Aufgaben können intern übernommen oder als Managed Service vereinbart werden.

Konkreter Einstieg: AI Cube Pro

Der AI Cube Pro kostet 5.999 € netto. Enthalten sind:

• Hardware mit 128 GB Unified Memory;
• Open WebUI und lokale Modell-Runtime;
• ein vorab abgestimmtes, installiertes und geprüftes lokales Modell;
• Basiseinrichtung, Härtung und Funktionstest;
• Ersteinrichtung und fünf Stunden Support.

Nach Konfigurationsfreigabe ist das System in der Regel innerhalb von zwei Wochen einsatzbereit. Persönliche Lieferung und Einrichtung innerhalb Deutschlands ist nach Abstimmung möglich.

Was separat kalkuliert wird

• automatisierte Wissensquellen und eigene RAG-Pipelines;
• PVS-, DATEV-, DMS-, Nextcloud- oder SharePoint-Anbindungen;
• individuelle APIs, Middleware, Workflows und MCP-Server;
• VPN, NetBird, Reverse Proxy oder Standortvernetzung;
• Hochverfügbarkeit, Cluster und größere GPU-Systeme;
• laufender Betrieb und vereinbarte Service Levels.

Der optionale Managed-Betrieb beginnt bei 149,90 € netto je AI Cube und Monat. Der konkrete Leistungsumfang und das Reaktionsmodell werden separat vereinbart.

Drei Jahre statt Anschaffungspreis vergleichen

Eine belastbare Rechnung verwendet dieselben Annahmen für beide Varianten:

Lokale Plattform: Anschaffung + Einrichtung + Integration + 36 Monate Strom und Betrieb + Risikopuffer für Ersatz.

Cloud-Plattform: 36 Monate Nutzerlizenzen oder API-Verbrauch + Integrationen + Administration + mögliche Zusatzfunktionen und Datenregionen.

Zusätzlich gehören nicht-finanzielle Faktoren in die Entscheidung: erlaubte Datenarten, Kontrolle über Modell und Updates, Offline-Fähigkeit, Abhängigkeit vom Anbieter und Aufwand für den eigenen Betrieb.

Wann Standardhardware nicht reicht

Der AI Cube Pro ist für Unternehmen gedacht, die mit lokaler KI starten, eigene Workloads prüfen und einen überschaubaren Nutzerkreis bedienen möchten. Ein größerer Aufbau ist sinnvoll, wenn mehrere große Modelle parallel laufen, sehr lange Kontexte benötigt werden, viele Nutzer gleichzeitig arbeiten oder Verfügbarkeit und Redundanz vertraglich zugesichert werden sollen. Dann dimensioniert WZ-IT AI Cube Custom oder GPU-Server anhand gemessener Last statt anhand einer pauschalen Modellgröße.

Wie aus Kontenzahl, Parallelität und Antwortlänge ein belastbares Lastprofil wird, zeigt der Leitfaden Lokalen KI-Server nach Nutzern dimensionieren.

Quellen und Vertiefung

• NVIDIA: DGX-Spark-Hardware mit 128 GB Unified Memory
• WZ-IT: GPU und VRAM für LLMs dimensionieren
• WZ-IT: Cloud-KI vs. self-hosted