Nicht nur ein Modell installieren, sondern das passende auswählen? Beim AI Cube stimmen wir das lokale Modell vorab auf Sprache, Aufgabe und erwartete Nutzung ab. Installation und Funktionstest gehören zum Lieferumfang. AI Cube ansehen
128 GB Unified Memory ermöglichen auf GB10-Systemen eine Modellklasse, die auf üblichen Workstations nicht in eine einzelne GPU passt. Trotzdem beantwortet die Zahl allein nicht, welches LLM sinnvoll läuft. Modellgewichte, Quantisierung, Runtime, KV-Cache und reservierter Systemspeicher müssen gemeinsam passen.
Was „passt“ in der Praxis bedeutet
Ein Modell passt erst dann, wenn nicht nur seine Gewichte geladen werden können. Zusätzlich benötigen Betriebssystem, Inferenzserver, Aktivierungen und KV-Cache Speicher. Der KV-Cache wächst mit Kontextlänge und gleichzeitigen Anfragen. Ein Modell, das im Einzeltest startet, kann deshalb für zehn parallele Chats ungeeignet sein.
Als grobe Rechnung belegen Modellgewichte bei 16 Bit etwa zwei Byte je Parameter, bei 8 Bit ungefähr ein Byte und bei 4 Bit ungefähr ein halbes Byte. Reale Dateien enthalten Metadaten und Quantisierungsstrukturen; die Runtime benötigt weiteren Puffer.
Konkrete Modellbeispiele für GB10 und 128 GB
Stand Oktober 2026 führen NVIDIAs eigene DGX-Spark-Anleitungen unter anderem folgende Konfigurationen als unterstützt auf. Die Auflistung belegt die technische Ausführbarkeit der genannten Artefakte, nicht automatisch deren Eignung für jeden Unternehmensfall.
| Modellbeispiel | Offiziell dokumentierte Konfiguration | Praktische Einordnung |
|---|---|---|
| Qwen3.6-35B-A3B | über LM Studio auf DGX Spark unterstützt | vergleichsweise kompakter MoE-Einstieg mit mehr Spielraum für Kontext und parallele Anfragen |
| Nemotron 3 Nano Omni (30B-A3B) | über LM Studio auf DGX Spark unterstützt | MoE-Modell mit Text-, Bild-, Audio- und Videoeingabe, etwa für Dokumente und Besprechungsaufzeichnungen; NVIDIA Open Model Agreement prüfen |
| Llama 3.3 70B Instruct | NVFP4 mit TensorRT-LLM unterstützt | große dichte Modellklasse; Qualität, Sprache und Durchsatz müssen am Anwendungsfall geprüft werden |
| GPT-OSS-120B | MXFP4 mit TensorRT-LLM auf einem System unterstützt | großer lokaler Modellendpunkt; Kontext und Parallelität benötigen einen eigenen Lasttest |
| Nemotron 3 Super 120B-A12B | NVFP4 mit TensorRT-LLM unterstützt | großes MoE-Modell; Lizenz, Ausgabequalität und Runtime-Bindung vor Einsatz bewerten |
Modellnamen und Supportstände ändern sich. Für eine Beschaffung wird deshalb immer das konkrete Artefakt samt Runtime und Version dokumentiert.
Außerhalb der NVIDIA-Matrix kommen weitere offene Modelle für eigene Tests in Frage, etwa Qwen3.8-27B (dicht, Text, Bild und Video, Apache 2.0) oder Kolibri-1 von Aleph Alpha (MoE für Deutsch und Englisch, Apache 2.0). Für sie gibt es keine offizielle DGX-Spark-Anleitung, Ausführbarkeit und Durchsatz werden deshalb auf dem Zielsystem gemessen.
Sinnvolle Modellklassen
Kompakte Modelle
Modelle im ein- bis niedrigen zweistelligen Milliardenbereich lassen viel Speicher für Kontext und Parallelität. Sie eignen sich häufig für Klassifikation, Extraktion, kurze Entwürfe, interne Suche und klar begrenzte Assistenten.
Mittlere Modelle
Modelle im mittleren zweistelligen Milliardenbereich bieten oft einen guten Kompromiss aus Qualität, Mehrsprachigkeit und Geschwindigkeit. Auf 128 GB bleibt bei geeigneter Quantisierung Raum für mehrere aktive Anfragen.
Große und Mixture-of-Experts-Modelle
Quantisierte Modelle bis in den dreistelligen Milliardenbereich können technisch in Reichweite kommen. Bei Mixture-of-Experts-Modellen ist zwischen Gesamtparametern und je Token aktiven Parametern zu unterscheiden. Speicherbedarf und Rechenaufwand folgen nicht derselben Zahl.
NVIDIA nennt für DGX-Spark-Systeme Modelle bis 200 Milliarden Parameter und für zwei gekoppelte Systeme bestimmte größere Konfigurationen. Diese Herstellerangabe ist kein Leistungsversprechen für jedes Modell. Ein produktiver Einsatz braucht einen Test mit dem exakten Artefakt.
Warum die Modellfamilie nicht genügt
„Qwen“, „Llama“ oder „Mistral“ bezeichnet eine Familie, nicht eine eindeutige Konfiguration. Für eine reproduzierbare Auswahl dokumentieren wir:
- genaue Modell-ID und Version;
- Lizenz und erlaubte geschäftliche Nutzung;
- Quantisierungsformat und Ersteller des Artefakts;
- Runtime und deren Version;
- maximale und typische Kontextlänge;
- Qualitätsfälle, Sprache und erwartete Ausgabe;
- Durchsatz bei realistischer Parallelität.
Der allgemeinere Leitfaden Welches LLM selbst hosten? ergänzt diese Hardwareperspektive um Lizenz, Sprache, Modellkarten und fachliche Evaluation.
Auswahl für den AI Cube
Beim AI Cube klären wir vor der Auslieferung den ersten Anwendungsfall. Daraufhin wird ein lokales Modell ausgewählt, installiert und geprüft. Das Ziel ist nicht, die größte mögliche Parameterzahl zu laden, sondern eine Plattform bereitzustellen, die im Alltag schnell genug antwortet und den gewünschten Inhalt brauchbar verarbeitet.
Open WebUI kann später mehrere lokale Endpunkte oder bewusst freigegebene Cloud-Modelle nebeneinander anbieten. Welche Modelle sichtbar sind, lässt sich über Benutzer und Gruppen begrenzen. Ein Modellwechsel bleibt möglich, ohne die Benutzeroberfläche oder die Wissensbereiche vollständig neu aufzubauen.
Wann zwei AI Cubes oder Custom sinnvoll sind
Zwei AI Cubes können den Gesamtdurchsatz für unabhängige Anfragen erhöhen oder ein Modell verteilt ausführen. Die zweite Variante benötigt passende Software und ConnectX-7-Konfiguration und ist nicht identisch mit einem einzelnen System mit 256 GB Speicher. Für hohe Parallelität, mehrere große Modelle oder zugesicherte Verfügbarkeit kann AI Cube Custom oder ein GPU-Server die bessere Architektur sein.
Quellen
- NVIDIA: DGX-Spark-Hardware und Modellrahmen
- NVIDIA: TensorRT-LLM-Modellmatrix für DGX Spark
- NVIDIA: LM Studio auf DGX Spark
- NVIDIA: Nemotron 3 Nano Omni, Modellkarte
- Qwen: Qwen3.8-27B, Modellkarte
- Aleph Alpha: Kolibri-1, Modellkarte
- NVIDIA: zwei DGX-Spark-Systeme verbinden
- Hugging Face: Modellkarten und Artefakte
- WZ-IT: GPU und VRAM dimensionieren
- WZ-IT: Token-Simulator mit GB10-Messwerten
