Welche LLMs laufen auf 128 GB Unified Memory?

Nicht nur ein Modell installieren, sondern das passende auswählen? Beim AI Cube Pro stimmen wir das lokale Modell vorab auf Sprache, Aufgabe und erwartete Nutzung ab. Installation und Funktionstest gehören zum Lieferumfang. AI Cube Pro ansehen

128 GB Unified Memory ermöglichen auf GB10-Systemen eine Modellklasse, die auf üblichen Workstations nicht in eine einzelne GPU passt. Trotzdem beantwortet die Zahl allein nicht, welches LLM sinnvoll läuft. Modellgewichte, Quantisierung, Runtime, KV-Cache und reservierter Systemspeicher müssen gemeinsam passen.

Was „passt“ in der Praxis bedeutet

Ein Modell passt erst dann, wenn nicht nur seine Gewichte geladen werden können. Zusätzlich benötigen Betriebssystem, Inferenzserver, Aktivierungen und KV-Cache Speicher. Der KV-Cache wächst mit Kontextlänge und gleichzeitigen Anfragen. Ein Modell, das im Einzeltest startet, kann deshalb für zehn parallele Chats ungeeignet sein.

Als grobe Rechnung belegen Modellgewichte bei 16 Bit etwa zwei Byte je Parameter, bei 8 Bit ungefähr ein Byte und bei 4 Bit ungefähr ein halbes Byte. Reale Dateien enthalten Metadaten und Quantisierungsstrukturen; die Runtime benötigt weiteren Puffer.

Konkrete Modellbeispiele für GB10 und 128 GB

Stand August 2026 führen NVIDIAs eigene DGX-Spark-Anleitungen unter anderem folgende Konfigurationen als unterstützt auf. Die Auflistung belegt die technische Ausführbarkeit der genannten Artefakte, nicht automatisch deren Eignung für jeden Unternehmensfall.

Modellnamen und Supportstände ändern sich. Für eine Beschaffung wird deshalb immer das konkrete Artefakt samt Runtime und Version dokumentiert.

Sinnvolle Modellklassen

Kompakte Modelle

Modelle im ein- bis niedrigen zweistelligen Milliardenbereich lassen viel Speicher für Kontext und Parallelität. Sie eignen sich häufig für Klassifikation, Extraktion, kurze Entwürfe, interne Suche und klar begrenzte Assistenten.

Mittlere Modelle

Modelle im mittleren zweistelligen Milliardenbereich bieten oft einen guten Kompromiss aus Qualität, Mehrsprachigkeit und Geschwindigkeit. Auf 128 GB bleibt bei geeigneter Quantisierung Raum für mehrere aktive Anfragen.

Große und Mixture-of-Experts-Modelle

Quantisierte Modelle bis in den dreistelligen Milliardenbereich können technisch in Reichweite kommen. Bei Mixture-of-Experts-Modellen ist zwischen Gesamtparametern und je Token aktiven Parametern zu unterscheiden. Speicherbedarf und Rechenaufwand folgen nicht derselben Zahl.

NVIDIA nennt für DGX-Spark-Systeme Modelle bis 200 Milliarden Parameter und für zwei gekoppelte Systeme bestimmte größere Konfigurationen. Diese Herstellerangabe ist kein Leistungsversprechen für jedes Modell. Ein produktiver Einsatz braucht einen Test mit dem exakten Artefakt.

Warum die Modellfamilie nicht genügt

„Qwen“, „Llama“ oder „Mistral“ bezeichnet eine Familie, nicht eine eindeutige Konfiguration. Für eine reproduzierbare Auswahl dokumentieren wir:

• genaue Modell-ID und Version;
• Lizenz und erlaubte geschäftliche Nutzung;
• Quantisierungsformat und Ersteller des Artefakts;
• Runtime und deren Version;
• maximale und typische Kontextlänge;
• Qualitätsfälle, Sprache und erwartete Ausgabe;
• Durchsatz bei realistischer Parallelität.

Der allgemeinere Leitfaden Welches LLM selbst hosten? ergänzt diese Hardwareperspektive um Lizenz, Sprache, Modellkarten und fachliche Evaluation.

Auswahl für den AI Cube Pro

Beim AI Cube Pro klären wir vor der Auslieferung den ersten Anwendungsfall. Daraufhin wird ein lokales Modell ausgewählt, installiert und geprüft. Das Ziel ist nicht, die größte mögliche Parameterzahl zu laden, sondern eine Plattform bereitzustellen, die im Alltag schnell genug antwortet und den gewünschten Inhalt brauchbar verarbeitet.

Open WebUI kann später mehrere lokale Endpunkte oder bewusst freigegebene Cloud-Modelle nebeneinander anbieten. Welche Modelle sichtbar sind, lässt sich über Benutzer und Gruppen begrenzen. Ein Modellwechsel bleibt möglich, ohne die Benutzeroberfläche oder die Wissensbereiche vollständig neu aufzubauen.

Wann zwei AI Cubes oder Custom sinnvoll sind

Zwei AI Cubes können den Gesamtdurchsatz für unabhängige Anfragen erhöhen oder ein Modell verteilt ausführen. Die zweite Variante benötigt passende Software und ConnectX-7-Konfiguration und ist nicht identisch mit einem einzelnen System mit 256 GB Speicher. Für hohe Parallelität, mehrere große Modelle oder zugesicherte Verfügbarkeit kann AI Cube Custom oder ein GPU-Server die bessere Architektur sein.

Quellen

• NVIDIA: DGX-Spark-Hardware und Modellrahmen
• NVIDIA: TensorRT-LLM-Modellmatrix für DGX Spark
• NVIDIA: LM Studio auf DGX Spark
• NVIDIA: zwei DGX-Spark-Systeme verbinden
• Hugging Face: Modellkarten und Artefakte
• WZ-IT: GPU und VRAM dimensionieren