[email protected]

Anleitung · Lokale KI für Unternehmen

NVIDIA DGX Spark für Unternehmen einrichten

Hinweis zum Inhalt: Versionen, Befehle und Preise können sich ändern. Bitte prüfen Sie kritische Schritte vor dem produktiven Einsatz eigenständig. Dieser Leitfaden ersetzt keine individuelle Fach-, Rechts- oder Steuerberatung.

DGX Spark als betriebsbereite KI-Plattform erhalten? WZ-IT richtet Hardware, Open WebUI, lokale Modell-Runtime und ein abgestimmtes Modell vollständig ein und übernimmt auf Wunsch den laufenden Betrieb. AI Cube ansehen

NVIDIA DGX Spark ist das Referenzsystem der GB10-Plattform. Der kompakte Rechner verbindet einen 20-Kern-Arm-Prozessor, eine Blackwell-GPU und 128 GB kohärenten Unified Memory. Das schafft Platz für lokale Modelle, die auf gewöhnlichen Arbeitsplatz-GPUs nicht sinnvoll betrieben werden können. Ein produktiver KI-Dienst entsteht daraus aber erst durch die passende Software-, Sicherheits- und Betriebsarchitektur.

Hardware und Einsatzbereich

NVIDIA spezifiziert DGX Spark mit bis zu 1 PFLOP FP4, 4 TB selbstverschlüsselnder NVMe-SSD, 10-GbE und ConnectX-7. DGX OS und der NVIDIA-KI-Stack sind vorinstalliert. Die ARM64-Architektur muss bei Containern, Python-Abhängigkeiten und eigenen Erweiterungen berücksichtigt werden.

Seit Oktober 2026 bietet NVIDIA DGX Spark in zwei Speicherausbauten an: Die Founders Edition bleibt bei 128 GB, eine Variante mit 64 GB ist ausschließlich über OEM-Partner wie Acer, ASUS, Dell, Gigabyte, HP und MSI erhältlich. Die 64-GB-Systeme starten laut NVIDIA bei 4.999 US-Dollar, sind ab dem 23.10.2026 verfügbar und für Modelle bis etwa 100 Milliarden Parameter ausgelegt (NVIDIA-Blog). Für Fine-Tuning nennt NVIDIA Modelle bis 70 Milliarden Parameter auf einem 128-GB-System.

Die Angabe „bis 200 Milliarden Parameter“ beschreibt keine garantierte Geschwindigkeit. Ein Modell kann in den Speicher passen und trotzdem bei langen Kontexten oder mehreren parallelen Nutzern zu langsam sein. Eine belastbare Auswahl braucht deshalb Messungen mit realen Eingaben.

Vom Entwicklersystem zur Unternehmensplattform

Für den produktiven Einsatz richten wir folgende Schichten ein:

  1. Betriebssystem, Firmware, Treiber und Container-Runtime auf einen dokumentierten Stand bringen;
  2. persönliche Administrationskonten, SSH-Schlüssel und minimale Rechte konfigurieren;
  3. Netzwerk, DNS, TLS, Firewall und getrennte Nutzer- sowie Administrationspfade festlegen;
  4. Modell-Runtime und ein für Sprache, Qualität und Geschwindigkeit passendes Modell bereitstellen;
  5. Open WebUI mit Benutzern, Gruppen, Modellrechten und persistentem Speicher einrichten;
  6. Modelle, Chatdaten, Wissensbereiche und Konfiguration in das Backup aufnehmen;
  7. System, Dienste, Datenträger und Modellendpunkt überwachen;
  8. Updates, Restore und Supportzugriff dokumentieren.

Was Mitarbeitende anschließend nutzen

Die Nutzer arbeiten über eine vertraute Chat-Oberfläche. Abhängig von ihren Rechten können sie lokale Modelle auswählen, Dateien verwenden und persönliche oder gemeinsame Wissensbereiche pflegen. Cloud-Modelle lassen sich optional kontrolliert ergänzen, ohne die lokale Plattform zu ersetzen.

Automatisierte Anbindungen an Nextcloud, SharePoint, DMS oder Fachsoftware sind eigene Integrationsprojekte. Dasselbe gilt für individuelle RAG-Pipelines, APIs und MCP-Server.

Wann DGX Spark die passende Wahl ist

Das Referenzsystem ist sinnvoll, wenn ein Unternehmen gezielt die NVIDIA-DGX-Plattform beschaffen und einen klar dokumentierten Herstellerpfad nutzen möchte. Für einen einzelnen Arbeitsplatz ohne zentrale Benutzer oder Betriebsanforderungen kann die Ausstattung überdimensioniert sein. Für viele gleichzeitige Nutzer, redundanten Betrieb oder sehr große Modelle reicht ein einzelnes Gerät dagegen möglicherweise nicht aus.

Vor der Beschaffung sollten Anwendung, Datenmenge, erwartete Parallelität und Supportmodell feststehen. So lässt sich entscheiden, ob DGX Spark als einzelner AI Cube genügt, ein zweiter Knoten sinnvoll ist oder direkt eine größere GPU-Plattform benötigt wird.

AI Cube auf DGX-Spark-Klasse

Der AI Cube ist das vollständige WZ-IT-Angebot dieser Hardwareklasse. Es umfasst Hardware, vorkonfigurierte KI-Plattform, abgestimmtes lokales Modell, Härtung, Funktionstest, Ersteinrichtung und Support. Nach Konfigurationsfreigabe ist das System in der Regel innerhalb von zwei Wochen einsatzbereit.

Für mehr Nutzer oder größere Modelle lässt sich ein zweiter AI Cube anbinden. NVIDIA nennt für vier gekoppelte DGX-Spark-Systeme mit 128 GB Modelle bis 700 Milliarden Parameter; ein solcher Verbund setzt einen Switch voraus und gilt nicht für jede OEM-Variante. Der Leitfaden AI Cubes mit ConnectX-7 verbinden erklärt die Unterschiede zwischen Load Balancing und verteilter Inferenz.

Quellen

Lieber betreiben lassen?

Sie möchten Lokale KI für Unternehmen nicht selbst betreiben? WZ-IT übernimmt Einrichtung, Betrieb und Wartung - datenschutzorientiert aus Deutschland.

Anfrage

Lokale KI für Ihren Einsatz einordnen

Starten Sie mit dem AI Cube oder lassen Sie eine individuelle KI-Plattform, Wissensanbindung oder Integration einordnen.

  • Direkt mit Timo und Robin - kein Vertrieb, kein Sales-Pitch
  • Fachliche Einschätzung Ihrer Situation
  • Konkrete nächste Schritte für Infrastruktur, Software oder KI

Das Gespräch ist unverbindlich und kostenlos.

Timo und Robin habe ich als engagierte und professionelle Gesprächspartner kennengelernt, die für einen Kunden so einiges möglich machen, das erst mal unmöglich scheint. Ich fühlte mich sehr gut beraten. Die angebotenen Leistungen haben mich sehr überzeugt.
Andrea PawlowskiCommunications Manager, Golem.de, Deutschland
Timo und Robin, Gründer von WZ-IT

Lokale KI für Ihren Einsatz einordnen

Timo und Robin habe ich als engagierte und professionelle Gesprächspartner kennengelernt, die für einen Kunden so einiges möglich machen, das erst mal unmöglich scheint. Ich fühlte mich sehr gut beraten. Die angebotenen Leistungen haben mich sehr überzeugt.
Andrea PawlowskiCommunications Manager, Golem.de, Deutschland

Häufig gestellte Fragen

Antworten auf die wichtigsten Fragen

Wissen

Mehr zu Lokale KI für Unternehmen

Alle Lokale KI für Unternehmen-Artikel

Kunden aus Mittelstand, Industrie und öffentlicher Hand, in Deutschland und international

  • Stadtwerke Brühl
  • DGHO e.V.
  • solarwerkstatt berlin
  • Krüger Dirndl
  • ABCO Water Systems
  • Golem.de
  • EVADXB
  • nextGYM
  • AInergy
  • ml&s
  • Odiseo Solutions
  • Annota
  • ARGE
  • SweetConnect GmbH
  • Aphy AG
  • CORGOS
  • Rekorder
  • SolidProof
  • Yonju
  • Keymate
  • Paritel
  • Mr. Clipart
  • Millenium
  • Negosh
  • Führerscheinmacher
  • BTI
  • Deutsche Gesellschaft für Datenschutz
Kundenstimmen ansehen