[email protected]
Interaktiver Simulator

LLM Token/s Simulator: Qwen3.6-35B-A3B NVFP4 auf GB10

Reicht ein AI Cube für Ihr Team, und wie fühlt sich eine lokale KI im Alltag an? Erleben Sie die gemessene Ausgabegeschwindigkeit von nvidia/Qwen3.6-35B-A3B-NVFP4 im Einzelchat und unter paralleler Last auf einem AI Cube mit GB10.

Cloud Wolke HerausforderungServer NachhaltigkeitIT Beratung Service Consulting SoforthilfeTimo Wevelsiep Robin ZinsExperten für Innovation Migration AWSHetzner Hosting zuverlässig

Simulator

Token pro Sekunde selbst ausprobieren

Regler für Geschwindigkeit und Antwortlänge einstellen, Simulation starten und mitlesen. Die Voreinstellungen entsprechen gemessenen Werten.

108 tok/s
10120 tok/s

Qwen-Presets zeigen die gemessene Geschwindigkeit je Chat in einem öffentlichen GB10-Test vom 19.07.2026. Der Test verwendete 1.024 Eingabe- und 256 Ausgabe-Token. Für Ihren Einsatz prüfen wir Modell, Kontext und Parallelität separat.

500 Token
503.000 Token
Ausgabe0 / 500 Token
Simulation starten, um die Antwort im gewählten Tempo mitzulesen.
Geschätzt
4,63 s
Vergangen
0,00 s
Aktuell
0,0 tok/s

Aktuelle Messwerte

Qwen3.6-35B-A3B-NVFP4 auf einem AI Cube

Die sichtbare Rate je Chat sinkt unter paralleler Last, während der Gesamtdurchsatz des Systems steigt. Beides ist für die Dimensionierung relevant.

AI Cube · 1 × NVIDIA GB10 · 128 GB Unified Memory

nvidia/Qwen3.6-35B-A3B-NVFP4

  • ≈ 108 tok/s · Einzelchat
  • ≈ 43 tok/s · 8 parallele Chats · je Chat
  • ≈ 320 tok/s · 8 parallele Chats · gesamt
  • Architektur: 35B gesamt · 3B aktiv
  • Checkpoint: NVIDIA NVFP4
  • Runtime: vLLM · FP8 KV-Cache · MTP-2
  • Test-Workload: 1.024 Input · 256 Output
Alternative Referenz: GPT-OSS 20B erreichte im Einzelchat rund 91 tok/s. Da Runtime und Quantisierung abweichen, ist dies kein direkter Qualitäts- oder Modellvergleich.
Ausgabegeschwindigkeit unter paralleler Last
Parallele ChatsJe ChatGesamtTTFT p50
1≈ 108 tok/s≈ 100 tok/s178 ms
2≈ 85 tok/s≈ 158 tok/s209 ms
4≈ 50 tok/s≈ 189 tok/s245 ms
8≈ 43 tok/s≈ 320 tok/s282 ms
16≈ 29 tok/s≈ 432 tok/s447 ms
  • Öffentlich dokumentierte Messung vom 19.07.2026 auf einem einzelnen GB10. Je-Chat- und Gesamtwerte beruhen auf unterschiedlichen Aggregationen des Test-Harness und können deshalb bei kleinen Laststufen leicht voneinander abweichen. NVIDIA-Modellkarte · Messdaten und Konfiguration

Anwendungsfälle

Typische Anwendungsfälle: wie lange eine Antwort dauert

Ab etwa 30 Token pro Sekunde je Chat lässt sich eine Antwort gut mitlesen. Wie lange sie insgesamt dauert, hängt von ihrer Länge ab.

  • KI-Chat

    Sichtbare Geschwindigkeit je aktiver Unterhaltung
    • Tokens: 50-250
    • Empf. Speed: 30+ tok/s
    • Dauer: 0.5-8s
  • E-Mail

    Antwortdauer hängt zusätzlich von der gewünschten Länge ab
    • Tokens: 200-500
    • Empf. Speed: 30+ tok/s
    • Dauer: 2-17s
  • Bericht/Artikel

    Bei langen Ausgaben wird der Gesamtdurchsatz besonders relevant
    • Tokens: 1000-3000
    • Empf. Speed: 30+ tok/s
    • Dauer: 9-100s

Planungswert für einen AI Cube: bis zu zehn gleichzeitig erzeugte Antworten. Der Wert liegt zwischen den gemessenen Stufen 8 und 16; eine scheinpräzise 10er-Zahl leiten wir daraus nicht ab. Für Teams von fünf bis zwanzig Personen reicht ein Cube in aller Regel, für die Auslegung zählt der Test mit Zielmodell, Kontext und Wissensquellen.

Nächster Schritt

KI-Inferenz im eigenen Netz: der AI Cube

Der AI Cube bringt die gemessene Leistung in Ihr Netz, ohne Cloud-Abhängigkeit und ohne externe Token-Kosten. Einmal für Gerät und Einrichtung, monatlich für die Wartung.

Einmalig

Der AI Cube

ab 7.990 € nettoeinmalig, Ausführung mit 1 TB
  • NVIDIA GB10 mit 128 GB Unified Memory, vorkonfiguriert für Ihr Netzwerk
  • Abgestimmte Sprachmodelle und Open WebUI als Arbeitsoberfläche
  • Lieferung in zehn Werktagen, Einweisung inklusive

Laufende Wartung

AI Cube Care

ab 349,90 € netto / Monatdie ersten zwölf Monate mit dem Gerät, danach monatlich kündbar
  • Updates für System, Inferenz-Engine und Modelle im Wartungsfenster
  • Monitoring und Alarmierung rund um die Uhr
  • Support per Ticket mit Antwort bis zum nächsten Werktag

Mehr gleichzeitige Last, als ein Cube trägt, oder kein Platz im eigenen Haus: Managed GPU Server im deutschen Rechenzentrum, ab 699 € netto / Monat. Managed GPU Server ansehen

Alle Preise verstehen sich netto zuzüglich gesetzlicher Umsatzsteuer. Die Angebote richten sich an Unternehmen.

Häufige Fragen zur Token-Geschwindigkeit

Token, Einflussfaktoren, Praxis und der AI Cube

Grundlagen

Einflussfaktoren

Praktische Anwendung

Hardware & AI Cube

Bewertungen & Projekte

Was Kunden über die Zusammenarbeit sagen

Von der Wissensdatenbank mit KI-Assistent über die lokale KI-Integration bis zu Datenhoheit und laufendem Betrieb.

KI-Plattform

Wir waren auf der Suche nach einer sicheren, aber trotzdem einfach nutzbaren Alternative zu den großen amerikanischen Anbietern und sind auf WZ-IT gestoßen. WZ-IT hat uns bei der Auswahl der passenden Modelle beraten und die Anbindung für uns umgesetzt. Vorab konnten wir alles in Ruhe auf einer Testinstanz ausprobieren. Heute betreibt WZ-IT Open WebUI für uns auf unserer eigenen Domain, mit komfortablem Microsoft-Login und Open-Source-Modellen, die bei einem deutschen Anbieter gehostet sind. Unser Team kann damit produktiv mit KI arbeiten, ohne auf externe Tools oder Schatten-KI auszuweichen. Die Zusammenarbeit ist unkompliziert, Rückfragen werden schnell und verständlich beantwortet. Mit WZ-IT haben wir außerdem einen Partner an der Seite, mit dem wir weitere KI-Projekte angehen können.
Carl-Frederic KornHead of E-Commerce & Online Marketing, Krüger Dirndl GmbH
KI-Plattform ansehen

Wissensmanagement & KI

Das Wissen aus vielen Jahren Solarbranche steckte im Kopf unseres früheren Geschäftsführers und steckt bis heute in den Köpfen unserer Mitarbeitenden. Wir wollten es sichern, nicht als Ordner voller Notizen, sondern so, dass wir im Alltag Fragen stellen und belastbare Antworten bekommen. WZ-IT hat uns dabei von Anfang an beraten und verschiedene Ansätze und Wissensmanagementsysteme mit uns gegeneinander abgewogen, bevor wir uns entschieden haben. Umgesetzt wurde eine individuelle Wissensdatenbank mit KI-Assistent, die Gespräche, Notizen, Dokumentationen und Handbücher zusammenführt: von der Plattform über das Onboarding unseres Teams bis zur Begleitung im Betrieb. Gespräche werden transkribiert und Fakten extrahiert, wir prüfen und korrigieren alles selbst, bevor es gespeichert wird, denn wir wollen einer KI nicht blind vertrauen. Das System läuft in unserer eigenen Umgebung, die Daten bleiben bei uns. Überrascht hat uns, wie effizient das ging: WZ-IT hat bestehende Open-Source-Software genutzt und gezielt auf unsere Anforderungen erweitert, statt eine teure Eigenentwicklung von Grund auf zu verkaufen, wie es bei IT-Dienstleistern sonst oft üblich ist. Timo und Robin haben unser eigentliches Problem verstanden, die Wissenssicherung beim Generationswechsel, und es Schritt für Schritt umgesetzt: vom Proof of Concept über Aufbau und Validierung mit unseren eigenen Daten bis in den produktiven Betrieb, und dabei alles verständlich erklärt. Als Nächstes wollen wir das auf das Wissen unserer Mitarbeitenden ausweiten, damit auch das nicht an einzelnen Personen hängt.
Joshua von AmelnGeschäftsführer, solarwerkstatt berlin GmbH
Wissenstransfer ansehen

Kundenstimmen ansehen

International

Ausgewählte Projekte

WZ-IT plant, entwickelt und betreibt Infrastruktur und Software für Kunden in Deutschland und international. Projekte setzen wir remote um und begleiten sie auch nach dem Go-live im laufenden Betrieb.

Anfrage

Ergebnis in eine belastbare Konfiguration überführen

Der Simulator zeigt Richtwerte aus Messungen. Für ein Angebot prüfen wir Modell, Quantisierung, Last und Integrationen gemeinsam.

  • Direkt mit Timo und Robin - kein Vertrieb, kein Sales-Pitch
  • Fachliche Einschätzung Ihrer Situation
  • Konkrete nächste Schritte für Infrastruktur, Software oder KI

Das Gespräch ist unverbindlich und kostenlos.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.
Jakob ÖschlbergerInno7 GmbH
Timo und Robin, Gründer von WZ-IT

Welche Infrastruktur soll geprüft werden?

Übernehmen Sie die wichtigsten Annahmen aus dem Rechner in das Freitextfeld.

Antwort in der Regel innerhalb eines Werktags. Bitte senden Sie noch keine Zugangsdaten.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.
Jakob ÖschlbergerInno7 GmbH