GPT-OSS 120B auf dem AI Cube: OpenAIs Open-Weight-Modell lokal betreiben

AI Cube mit GPT-OSS 120B konfigurieren - vollständig eingerichtete und gehärtete GB10-Appliance, Open WebUI, abgestimmtes lokales Modell, Ersteinrichtung und Support. Erstgespräch vereinbaren

OpenAI hat GPT-OSS 120B am 5. August 2025 als Open-Weight-Reasoning-Modell veröffentlicht. Durch die ab Werk verwendete MXFP4-Quantisierung positioniert OpenAI das Modell für eine einzelne GPU mit 80 GB Speicher. Damit ist es grundsätzlich auch für kompakte Systeme mit 128 GB Unified Memory interessant.

Der entscheidende Punkt: Ein Modell in den Speicher zu laden ist nicht dasselbe wie ein geeignetes Mehrbenutzersystem zu betreiben. Kontextlänge, parallele Anfragen, Runtime und gewünschte Antwortzeit müssen zusammenpassen.

Inhaltsverzeichnis

• Was GPT-OSS 120B technisch auszeichnet
• Passt GPT-OSS 120B auf den AI Cube?
• Was vor der Auslieferung eingerichtet wird
• Open WebUI, Ollama oder vLLM
• RAG und Unternehmenswissen
• Grenzen der GB10-Klasse
• Entscheidung

Was GPT-OSS 120B technisch auszeichnet

GPT-OSS 120B ist ein Mixture-of-Experts-Modell. OpenAI nennt 5,1 Milliarden aktive Parameter pro Token. Das reduziert den Rechenaufwand gegenüber einem dichten Modell mit derselben Gesamtzahl an Parametern.

Open Weight bedeutet, dass die Gewichte lokal betrieben und angepasst werden können. Es bedeutet nicht, dass Trainingsdaten und gesamter Trainingsprozess offenliegen.

Passt GPT-OSS 120B auf den AI Cube?

Der WZ-IT AI Cube basiert auf NVIDIA GB10 mit 128 GB Unified Memory. Dieser gemeinsame Speicher steht CPU und GPU zur Verfügung. Die MXFP4-Gewichte von GPT-OSS 120B passen damit grundsätzlich in die verfügbare Speicherklasse.

Für eine belastbare Aussage prüfen wir zusätzlich:

• gewünschte Kontextlänge,
• erwartete Zahl gleichzeitiger Anfragen,
• Länge typischer Antworten,
• RAG-Kontext und Tool-Schemas,
• Eignung der ausgewählten Runtime,
• benötigte Antwortzeit.

Je länger der Kontext und je mehr Anfragen gleichzeitig laufen, desto mehr Speicher wird neben den Gewichten benötigt. Deshalb versprechen wir keine feste Nutzerzahl allein auf Basis der 128-GB-Angabe.

Was vor der Auslieferung eingerichtet wird

Das lokale Modell wird nicht erst beim Kunden spontan ausgewählt. Vor der Bestellung klären wir den Anwendungsfall und stimmen ab, ob GPT-OSS 120B oder ein kleineres Modell geeigneter ist.

Der Standardlieferumfang des AI Cube umfasst:

• vollständige Ersteinrichtung von Linux, GPU-Treibern und Container-Runtime,
• Härtung der Basisinstallation und Vorbereitung für den Betrieb,
• vollständig eingerichtetes Open WebUI,
• Ollama und/oder vLLM passend zum vereinbarten Einsatz,
• das vorab abgestimmte lokale Modell, installiert und technisch geprüft,
• Dokumentation der ausgelieferten Konfiguration,
• Ersteinrichtung, Einweisung und Support.

Damit wird der AI Cube plug-and-play vorbereitet ausgeliefert. Unternehmensspezifische Datenquellen, SSO und Anwendungen werden anschließend kontrolliert in der Zielumgebung angebunden.

Open WebUI, Ollama oder vLLM

Open WebUI ist die Oberfläche für Mitarbeitende. Sie bündelt Chat, Modellauswahl, Dateien, Wissenssammlungen und Berechtigungen. Die Modellberechnung übernimmt eine Runtime:

• Ollama eignet sich für einfache Modellverwaltung und überschaubare Nutzung.
• vLLM stellt eine OpenAI-kompatible API bereit und ist auf effiziente Inferenz sowie parallele Anfragen ausgelegt.

Welche Runtime passt, hängt nicht allein vom Modellnamen ab. Wir berücksichtigen Arm-/GB10-Unterstützung, Modellformat, Durchsatz und Integrationsweg.

RAG und Unternehmenswissen

GPT-OSS 120B kann als Generierungsmodell in einer RAG-Pipeline eingesetzt werden. Eine belastbare Wissenssuche besteht aber aus mehr als einem großen Modell:

1. Dokumente werden extrahiert, strukturiert und aktualisiert.
2. Berechtigungen aus den Quellsystemen müssen erhalten bleiben.
3. Embeddings und Retrieval bestimmen, welche Inhalte das Modell sieht.
4. Antworten sollten Fundstellen oder Quellen enthalten.
5. Qualität wird mit realen Fragen und erwarteten Antworten geprüft.

Open WebUI bringt eine integrierte Wissensfunktion für erste Anwendungsfälle mit. Für umfangreiche oder berechtigungssensitive Bestände entwickeln wir bei Bedarf eigene RAG-Pipelines, Middleware und Schnittstellen.

Grenzen der GB10-Klasse

Ein einzelner AI Cube ist kompakt und speicherstark, aber kein HA-GPU-Cluster. Eine größere Architektur ist sinnvoll bei:

• vielen gleichzeitigen Nutzern mit verbindlichen Antwortzeiten,
• Hochverfügbarkeit und definierten Wiederanlaufzielen,
• großen Modellen mit langen Kontexten,
• hohem Batch-Durchsatz,
• Training oder umfangreichem Fine-Tuning,
• Rack- und Datacenter-Vorgaben.

Zwei AI Cubes können über ConnectX-7 gekoppelt werden. Ob ein Workload davon profitiert, hängt von Runtime und Parallelisierungsverfahren ab.

Entscheidung

GPT-OSS 120B ist eine plausible Option für den AI Cube, wenn ein leistungsfähiges lokales Reasoning-Modell benötigt wird und das reale Lastprofil zur GB10-Klasse passt. Für manche Aufgaben liefert ein kleineres Modell schneller und wirtschaftlicher die bessere Qualität. Deshalb wird das Modell vor der Auslieferung abgestimmt und nicht pauschal festgeschrieben.

AI Cube und vollständigen Lieferumfang ansehen oder Einsatz technisch einordnen.

Weiterführende Artikel

• DGX Spark vs. AI Cube
• Ollama vs. vLLM
• Open WebUI vs. AnythingLLM
• GPU-Server für lokale KI

Quellen

• OpenAI: Introducing gpt-oss
• OpenAI: GPT-OSS Model Card
• OpenAI GPT-OSS 120B auf Hugging Face
• Open WebUI: vLLM anbinden