AI Cube mit GPT-OSS 120B konfigurieren - vollständig eingerichtete und gehärtete GB10-Appliance, Open WebUI, abgestimmtes lokales Modell, Ersteinrichtung und Support. Erstgespräch vereinbaren
OpenAI hat GPT-OSS 120B am 5. August 2025 als Open-Weight-Reasoning-Modell veröffentlicht. Durch die ab Werk verwendete MXFP4-Quantisierung positioniert OpenAI das Modell für eine einzelne GPU mit 80 GB Speicher. Damit ist es grundsätzlich auch für kompakte Systeme mit 128 GB Unified Memory interessant.
Der entscheidende Punkt: Ein Modell in den Speicher zu laden ist nicht dasselbe wie ein geeignetes Mehrbenutzersystem zu betreiben. Kontextlänge, parallele Anfragen, Runtime und gewünschte Antwortzeit müssen zusammenpassen.
Inhaltsverzeichnis
- Was GPT-OSS 120B technisch auszeichnet
- Passt GPT-OSS 120B auf den AI Cube?
- Was vor der Auslieferung eingerichtet wird
- Open WebUI, Ollama oder vLLM
- RAG und Unternehmenswissen
- Grenzen der GB10-Klasse
- Entscheidung
Was GPT-OSS 120B technisch auszeichnet
GPT-OSS 120B ist ein Mixture-of-Experts-Modell. OpenAI nennt 5,1 Milliarden aktive Parameter pro Token. Das reduziert den Rechenaufwand gegenüber einem dichten Modell mit derselben Gesamtzahl an Parametern.
| Merkmal | GPT-OSS 120B |
|---|---|
| Modelltyp | Textbasiertes Reasoning-Modell mit Mixture of Experts |
| Aktive Parameter pro Token | 5,1 Milliarden |
| Gewichtsformat | MXFP4 |
| Speicherklasse laut OpenAI | Einzelne GPU mit 80 GB |
| Lizenz | Apache 2.0 |
| Schnittstellen | Unter anderem für Responses-API-kompatible Workflows ausgelegt |
Open Weight bedeutet, dass die Gewichte lokal betrieben und angepasst werden können. Es bedeutet nicht, dass Trainingsdaten und gesamter Trainingsprozess offenliegen.
Passt GPT-OSS 120B auf den AI Cube?
Der WZ-IT AI Cube basiert auf NVIDIA GB10 mit 128 GB Unified Memory. Dieser gemeinsame Speicher steht CPU und GPU zur Verfügung. Die MXFP4-Gewichte von GPT-OSS 120B passen damit grundsätzlich in die verfügbare Speicherklasse.
Für eine belastbare Aussage prüfen wir zusätzlich:
- gewünschte Kontextlänge,
- erwartete Zahl gleichzeitiger Anfragen,
- Länge typischer Antworten,
- RAG-Kontext und Tool-Schemas,
- Eignung der ausgewählten Runtime,
- benötigte Antwortzeit.
Je länger der Kontext und je mehr Anfragen gleichzeitig laufen, desto mehr Speicher wird neben den Gewichten benötigt. Deshalb versprechen wir keine feste Nutzerzahl allein auf Basis der 128-GB-Angabe.
Was vor der Auslieferung eingerichtet wird
Das lokale Modell wird nicht erst beim Kunden spontan ausgewählt. Vor der Bestellung klären wir den Anwendungsfall und stimmen ab, ob GPT-OSS 120B oder ein kleineres Modell geeigneter ist.
Der Standardlieferumfang des AI Cube umfasst:
- vollständige Ersteinrichtung von Linux, GPU-Treibern und Container-Runtime,
- Härtung der Basisinstallation und Vorbereitung für den Betrieb,
- vollständig eingerichtetes Open WebUI,
- Ollama und/oder vLLM passend zum vereinbarten Einsatz,
- das vorab abgestimmte lokale Modell, installiert und technisch geprüft,
- Dokumentation der ausgelieferten Konfiguration,
- Ersteinrichtung, Einweisung und Support.
Damit wird der AI Cube plug-and-play vorbereitet ausgeliefert. Unternehmensspezifische Datenquellen, SSO und Anwendungen werden anschließend kontrolliert in der Zielumgebung angebunden.
Open WebUI, Ollama oder vLLM
Open WebUI ist die Oberfläche für Mitarbeitende. Sie bündelt Chat, Modellauswahl, Dateien, Wissenssammlungen und Berechtigungen. Die Modellberechnung übernimmt eine Runtime:
- Ollama eignet sich für einfache Modellverwaltung und überschaubare Nutzung.
- vLLM stellt eine OpenAI-kompatible API bereit und ist auf effiziente Inferenz sowie parallele Anfragen ausgelegt.
Welche Runtime passt, hängt nicht allein vom Modellnamen ab. Wir berücksichtigen Arm-/GB10-Unterstützung, Modellformat, Durchsatz und Integrationsweg.
RAG und Unternehmenswissen
GPT-OSS 120B kann als Generierungsmodell in einer RAG-Pipeline eingesetzt werden. Eine belastbare Wissenssuche besteht aber aus mehr als einem großen Modell:
- Dokumente werden extrahiert, strukturiert und aktualisiert.
- Berechtigungen aus den Quellsystemen müssen erhalten bleiben.
- Embeddings und Retrieval bestimmen, welche Inhalte das Modell sieht.
- Antworten sollten Fundstellen oder Quellen enthalten.
- Qualität wird mit realen Fragen und erwarteten Antworten geprüft.
Open WebUI bringt eine integrierte Wissensfunktion für erste Anwendungsfälle mit. Für umfangreiche oder berechtigungssensitive Bestände entwickeln wir bei Bedarf eigene RAG-Pipelines, Middleware und Schnittstellen.
Grenzen der GB10-Klasse
Ein einzelner AI Cube ist kompakt und speicherstark, aber kein HA-GPU-Cluster. Eine größere Architektur ist sinnvoll bei:
- vielen gleichzeitigen Nutzern mit verbindlichen Antwortzeiten,
- Hochverfügbarkeit und definierten Wiederanlaufzielen,
- großen Modellen mit langen Kontexten,
- hohem Batch-Durchsatz,
- Training oder umfangreichem Fine-Tuning,
- Rack- und Datacenter-Vorgaben.
Zwei AI Cubes können über ConnectX-7 gekoppelt werden. Ob ein Workload davon profitiert, hängt von Runtime und Parallelisierungsverfahren ab.
Entscheidung
GPT-OSS 120B ist eine plausible Option für den AI Cube, wenn ein leistungsfähiges lokales Reasoning-Modell benötigt wird und das reale Lastprofil zur GB10-Klasse passt. Für manche Aufgaben liefert ein kleineres Modell schneller und wirtschaftlicher die bessere Qualität. Deshalb wird das Modell vor der Auslieferung abgestimmt und nicht pauschal festgeschrieben.
Ohne eigene Hardware steht gpt-oss-120b auf der KI-Plattform bereit: eigene Open-WebUI-Instanz, Modelle in Deutschland bei deutschen Anbietern betrieben.
AI Cube und vollständigen Lieferumfang ansehen oder Einsatz technisch einordnen.
