[email protected]

Grundlagen · Lokale KI für Unternehmen

Multi-GPU-Inferenz ohne NVLink: Tensor Parallelism, Pipeline Parallelism oder Replicas

Hinweis zum Inhalt: Versionen, Befehle und Preise können sich ändern. Bitte prüfen Sie kritische Schritte vor dem produktiven Einsatz eigenständig. Dieser Leitfaden ersetzt keine individuelle Fach-, Rechts- oder Steuerberatung.

Größeres Modell oder mehr Durchsatz, als eine GPU hergibt? WZ-IT betreibt Managed GPU-Server mit NVIDIA RTX PRO 4000 Blackwell (24 GB) und RTX PRO 6000 Blackwell Max-Q (96 GB) inklusive vLLM, Open WebUI und Monitoring. Multi-GPU-Konfigurationen planen wir passend zu Modell und Last. GPU-Server ansehen · Termin vereinbaren

Ein Server mit zwei GPUs liefert nicht automatisch die doppelte Leistung. Entscheidend ist, wie die Inferenz-Software das Modell auf die Karten verteilt, und wie viel Bandbreite zwischen den Karten zur Verfügung steht. Rechenzentrums-GPUs wie H100 oder B200 sind über NVLink gekoppelt. Die RTX PRO Blackwell-Karten, die in vielen Unternehmensservern stecken, kommunizieren nur über PCIe. Damit verschiebt sich die Abwägung zwischen Tensor Parallelism, Pipeline Parallelism und mehreren unabhängigen Instanzen (Replicas). Dieser Artikel erklärt die drei Verfahren, die zugehörigen vLLM-Parameter und eine Entscheidungsregel für Systeme ohne NVLink. Stand Oktober 2026.

Inhaltsverzeichnis

NVLink ist NVIDIAs direkte Verbindung zwischen GPUs. Die sechste Generation (Vera Rubin) erreicht laut NVIDIA 3.000 GB/s pro GPU, die fünfte (Blackwell) 1.800 GB/s und die vierte (Hopper) 900 GB/s (NVIDIA, NVLink). Zum Vergleich gibt NVIDIA für die PCIe-Gen5-Anbindung einer H100 128 GB/s an (NVIDIA, H100). Der Wert gilt für beide Richtungen einer x16-Verbindung zusammen.

Die RTX PRO Blackwell-Karten in der folgenden Tabelle haben keinen NVLink-Anschluss. Ihre Datenblätter nennen ausschließlich PCIe als Systemschnittstelle:

GPU Speicher Speicherbandbreite Systemschnittstelle NVLink Quelle
RTX PRO 6000 Blackwell Workstation Edition 96 GB GDDR7 ECC 1.792 GB/s PCIe 5.0 x16 nicht aufgeführt Datenblatt
RTX PRO 6000 Blackwell Max-Q 96 GB GDDR7 ECC 1.792 GB/s PCIe 5.0 x16 nicht aufgeführt Datenblatt
RTX PRO 4000 Blackwell 24 GB GDDR7 ECC 672 GB/s PCIe 5.0 x16 nicht aufgeführt Datenblatt
RTX PRO 4000 Blackwell SFF Edition 24 GB GDDR7 ECC 432 GB/s PCIe 5.0 x8 nicht aufgeführt Datenblatt

Die Größenordnung ist wichtig: Innerhalb einer RTX PRO 6000 bewegt der Speicher 1.792 GB/s, zwischen zwei Karten stehen über PCIe 5.0 x16 rechnerisch gut 60 GB/s je Richtung zur Verfügung. Jeder Datenaustausch zwischen den GPUs ist damit um mehr als eine Größenordnung langsamer als ein Zugriff auf den eigenen Speicher. Ob die Karten im Server tatsächlich mit voller Lane-Zahl und ohne Umweg über den zweiten Prozessor verbunden sind, hängt vom Mainboard ab (siehe Topologie prüfen).

Drei Arten, ein Modell auf mehrere GPUs zu bringen

vLLM kennt drei grundlegende Verfahren, die sich kombinieren lassen (vLLM, Parallelism and Scaling):

Verfahren Was geteilt wird Kommunikation zwischen GPUs Nutzen vLLM-Parameter
Tensor Parallelism (TP) Jede Schicht wird auf alle GPUs zerschnitten In jeder Schicht (All-Reduce) Großes Modell passt, einzelne Anfrage wird schneller --tensor-parallel-size (-tp)
Pipeline Parallelism (PP) Schichten werden blockweise auf GPUs verteilt Nur an den Blockgrenzen Großes Modell passt, weniger Datenverkehr als TP --pipeline-parallel-size (-pp)
Data Parallelism (DP) / Replicas Nichts, jede GPU hält eine vollständige Kopie Keine (bei dichten Modellen) Mehr parallele Anfragen, Ausfallsicherheit --data-parallel-size (-dp) oder getrennte Instanzen
Expert Parallelism (EP) Experten eines MoE-Modells werden auf GPUs verteilt Token-Routing zu den Experten MoE-Modelle verteilen --enable-expert-parallel (-ep)

Alle Parameter haben in vLLM den Standardwert 1 bzw. sind standardmäßig aus (vLLM, Engine Arguments). Die Zahl der benötigten GPUs ergibt sich als Produkt: -dp 2 -tp 2 braucht vier GPUs.

Tensor Parallelism ist das Verfahren, das die meisten Anleitungen zuerst nennen. Die vLLM-Dokumentation empfiehlt es für den Fall, dass ein Modell nicht auf eine GPU, aber auf einen Server passt.

Pipeline Parallelism legt zum Beispiel die erste Hälfte der Schichten auf GPU 0 und die zweite auf GPU 1. Zwischen den Karten wandern nur die Zwischenergebnisse an der Übergabestelle. Eine einzelne Anfrage wird dadurch nicht schneller, weil die GPUs nacheinander arbeiten. Bei vielen gleichzeitigen Anfragen arbeiten beide Stufen parallel an verschiedenen Anfragen.

Replicas sind keine Aufteilung des Modells, sondern mehrere vollständige Instanzen. vLLM bietet dafür --data-parallel-size mit einem gemeinsamen API-Endpunkt und interner Lastverteilung; das funktioniert für dichte und MoE-Modelle (vLLM, Data Parallel Deployment). Alternativ laufen zwei getrennte vLLM-Prozesse, die ein Gateway wie LiteLLM gemeinsam anspricht.

Expert Parallelism betrifft nur Mixture-of-Experts-Modelle. Die Experten werden auf die GPUs verteilt, statt jeden Experten per TP zu zerschneiden; die EP-Größe ergibt sich aus TP mal DP (vLLM, Expert Parallel Deployment).

Tensor Parallelism geht auf das Verfahren aus Megatron-LM zurück: Die Gewichtsmatrizen von Attention und MLP werden spaltenweise bzw. zeilenweise geteilt, jede GPU rechnet ihren Teil, und nach Attention und MLP werden die Teilergebnisse per All-Reduce zusammengeführt (Shoeybi et al., Megatron-LM). Das sind zwei Synchronisationspunkte pro Transformer-Schicht. Ein Modell mit 60 Schichten synchronisiert bei jedem erzeugten Token also rund 120-mal.

Bei der Token-Erzeugung (Decode) sind die übertragenen Datenmengen pro Schritt klein, aber jede Synchronisation hat eine feste Latenz. Bei der Verarbeitung langer Eingaben (Prefill) fallen große Datenmengen an. Über NVLink fallen beide Effekte kaum ins Gewicht. Über PCIe wartet die GPU messbar auf die andere Karte, und mit jeder zusätzlichen TP-GPU wächst der Anteil dieser Wartezeit.

Die vLLM-Dokumentation zieht daraus eine ausdrückliche Konsequenz: Haben die GPUs eines Servers keine NVLink-Verbindung, etwa bei der L40S, sollte Pipeline Parallelism statt Tensor Parallelism eingesetzt werden, um höheren Durchsatz und geringeren Kommunikationsaufwand zu erreichen (vLLM, Parallelism and Scaling). Die RTX PRO Blackwell-Karten fallen in dieselbe Kategorie.

Daraus folgt nicht, dass TP über PCIe unbrauchbar ist. Bei zwei GPUs bleibt der Aufwand überschaubar, und TP verkürzt die Antwortzeit einer einzelnen Anfrage, was PP nicht tut. Der Abstand wächst mit TP=4 und TP=8 und mit der Zahl gleichzeitiger Anfragen.

Neu in vLLM 0.29 bis 0.31

Seit dem Sommer 2026 hat vLLM mehrere Änderungen gebracht, die Systeme ohne NVLink direkt betreffen. Aktuell ist Version 0.31.0 vom 5. Oktober 2026 (vLLM Releases).

  • Eigener All-Reduce nur mit zwei PCIe-GPUs. Der All-Reduce-Kernel von vLLM arbeitet auf reinen PCIe-Systemen nur mit genau zwei GPUs und einem bestandenen P2P-Test. Bei mehr GPUs schaltet er sich ab, und vLLM verwendet NCCL; laut Quellcode bringt er bei vier oder mehr GPUs ohne NVLink ohnehin kaum Vorteile (custom_all_reduce.py). Das stützt die Empfehlung, TP über PCIe auf zwei GPUs zu begrenzen.
  • Optionaler PCIe-All-Reduce seit v0.30.0. Für PCIe-Systeme ohne NVLink, ausdrücklich genannt ist die RTX PRO 6000, gibt es einen eigenen All-Reduce-Weg für die kleinen Synchronisationen beim Decode. Er ist standardmäßig aus und wird mit VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC=1 eingeschaltet (vLLM PR #53576). Ob er im eigenen Setup hilft, zeigt nur eine Messung.
  • Pipeline Parallelism ab v0.29.0. Version 0.29.0 behebt einen Fehler, durch den PP unbemerkt fehlerhafte Ausgaben erzeugen konnte (vLLM PR #54962). Wer PP einsetzt, sollte mindestens diese Version verwenden.

Die Entscheidungsregel: so wenig Aufteilung wie möglich

Für Server ohne NVLink lässt sich die Wahl auf eine Regel reduzieren: Das Modell auf so wenige GPUs verteilen, wie nötig sind, damit es mit ausreichend KV-Cache passt, und die übrigen GPUs für weitere Replicas nutzen. Wie viel Speicher Gewichte und KV-Cache brauchen, rechnet GPU- und VRAM-Sizing für LLMs durch; welches Format die Gewichte verkleinert, erklärt LLM-Quantisierung.

Ausgangslage Empfehlung bei 2 GPUs ohne NVLink Begründung
Modell plus KV-Cache passt auf eine GPU Zwei Replicas (-dp 2 oder zwei Instanzen) Kein Datenverkehr zwischen GPUs, Durchsatz skaliert, Ausfall einer GPU bleibt verkraftbar
Modell passt auf eine GPU, aber zu wenig KV-Cache für Kontext oder Nutzerzahl Zuerst Quantisierung oder FP8-KV-Cache prüfen, sonst TP=2 Replicas mit zu kleinem KV-Cache verlieren den Vorteil
Modell passt nicht auf eine GPU TP=2 oder PP=2, beides messen TP für kürzere Antwortzeiten, PP für mehr Durchsatz bei vielen Anfragen
Kurze Antwortzeit pro Anfrage hat Vorrang TP=2 Nur TP verkürzt die Rechenzeit pro Token
Mixture-of-Experts-Modell über zwei GPUs TP=2 mit und ohne --enable-expert-parallel messen Effekt hängt vom Modell und von der Last ab
Mehrere kleine Modelle auf einer großen GPU MIG-Partitionen (RTX PRO 6000: bis 4 x 24 GB) Replicas oder verschiedene Modelle isoliert auf einer Karte

Ein Beispiel für den dritten Fall: Qwen3.5-122B-A10B in FP8 belegt allein mit den Gewichten deutlich mehr als die 96 GB einer RTX PRO 6000. Zwei Karten mit TP=2 halten Gewichte und KV-Cache gemeinsam; der Aufbau ist im Beitrag vLLM mit Qwen3.5-122B auf zwei RTX PRO 6000 dokumentiert.

Ein Beispiel für den ersten Fall: Ein Modell mit rund 30 Mrd. Parametern in FP8 oder 4 Bit passt auf eine 96-GB-Karte mit viel Platz für KV-Cache. Mit zwei solchen GPUs liefern zwei Instanzen mehr Durchsatz als eine Instanz mit TP=2.

vLLM-Konfiguration für zwei GPUs

Die folgenden Befehle zeigen die drei Varianten mit vllm serve. Modellnamen, Kontextlänge und Speicheranteil sind Platzhalter, die zum Modell passen müssen.

Tensor Parallelism: ein Modell über beide GPUs

vllm serve <modell> \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90

Pipeline Parallelism: Schichten blockweise verteilt

vllm serve <modell> \
  --pipeline-parallel-size 2 \
  --max-model-len 32768

Replicas über Data Parallelism: zwei Kopien hinter einem Endpunkt

vllm serve <modell> \
  --data-parallel-size 2 \
  --max-model-len 32768

Replicas als getrennte Instanzen

CUDA_VISIBLE_DEVICES=0 vllm serve <modell> --port 8000
CUDA_VISIBLE_DEVICES=1 vllm serve <modell> --port 8001

Getrennte Instanzen lassen sich einzeln neu starten und aktualisieren. Die Verteilung übernimmt ein Gateway mit Lastverteilung und Health-Checks, etwa LiteLLM. Bei --data-parallel-size übernimmt vLLM die Verteilung selbst; die Warteschlangen-Limits (--max-num-queued-reqs, --max-num-queued-tokens, seit v0.29.0) gelten dann für den gesamten Server und nicht je Rang, --max-num-seqs dagegen je Rang (vLLM, Data Parallel Deployment).

Weitere Parameter, die auf PCIe-Systemen eine Rolle spielen:

Parameter Wirkung Wann relevant
--enable-expert-parallel Experten eines MoE-Modells verteilen statt per TP schneiden MoE-Modelle mit TP oder DP größer 1
--disable-custom-all-reduce Eigenen All-Reduce-Kernel abschalten, NCCL verwenden; den seit v0.29 voreingestellten FlashInfer-All-Reduce schaltet VLLM_ALLREDUCE_USE_FLASHINFER=0 ab Fehlersuche bei Hängern oder Abbrüchen beim Start mit TP
--distributed-executor-backend mp (Multiprocessing), ray, uni oder external_launcher Ein Server: mp (Standard); mehrere Knoten: ray (Standard)
--max-num-seqs Höchstzahl gleichzeitig verarbeiteter Sequenzen Durchsatz gegen KV-Cache-Bedarf abwägen

Die Beschreibungen stammen aus der Referenz der Engine-Argumente (vLLM, Engine Arguments). Wie sich vLLM insgesamt von Ollama unterscheidet, zeigt vLLM vs. Ollama.

Was eine öffentliche Messung zeigt

Belastbare, veröffentlichte Messungen zu TP gegen Replicas auf PCIe-Systemen sind selten. Eine nachvollziehbare Messreihe ist vllm-topology-bench. Sie vergleicht auf vier RTX 3090 ohne NVLink eine Instanz mit TP=4 gegen zwei Replicas mit je TP=2:

Merkmal Wert
Hardware 4 x RTX 3090 (24 GB), ohne NVLink
Modell Qwen3.6-35B-A3B, AWQ-quantisiert (Gewichte rund 23 GB)
vLLM-Version 0.21.0
Kontextlänge 8.192 Token, 512 Token Eingabe, 256 Token Ausgabe
Durchsatz bei 1 Anfrage 111 (TP=4) gegen 116 Token/s (2 x TP=2)
Durchsatz bei 128 parallelen Anfragen 610 (TP=4) gegen 1.437 Token/s (2 x TP=2)
Zeit bis zum ersten Token bei 16 parallelen Anfragen 3,9 s (TP=4) gegen 1,4 s (2 x TP=2)

Das Muster bestätigt die Regel: Bei einer einzelnen Anfrage liegen beide Varianten fast gleichauf, mit steigender Last sättigt die Variante mit mehr TP-GPUs früher. Eine Kopie pro Karte (4 x TP=1) war in dieser Messung nicht möglich, weil die Gewichte die 24-GB-Karten fast vollständig belegen.

Die Einschränkungen nennt das Projekt selbst: eine Messung je Punkt, Consumer-Karten, kurze Kontextlänge, ein einzelnes MoE-Modell. Die absoluten Zahlen lassen sich nicht auf RTX PRO Blackwell oder andere Modelle übertragen. Übertragbar ist die Richtung, und die sollte vor jeder Festlegung auf dem eigenen System mit der eigenen Last geprüft werden.

Topologie prüfen und messen

Wie gut zwei GPUs miteinander kommunizieren, hängt nicht nur von der Karte ab, sondern auch vom Server. Drei Prüfungen gehören vor jede Multi-GPU-Konfiguration:

  1. Verbindung zwischen den GPUs anzeigen. nvidia-smi topo -m zeigt die Topologiematrix. Stehen die GPUs am selben PCIe-Switch oder Root Complex, ist der Weg kurz. Steht zwischen ihnen SYS, läuft der Verkehr über die Verbindung zwischen zwei Prozessoren, was TP zusätzlich ausbremst.
  2. Lane-Zahl und Generation prüfen. nvidia-smi -q zeigt die aktuelle PCIe-Generation und Link-Breite. Eine Karte, die nur mit x8 oder PCIe 4.0 angebunden ist, halbiert die verfügbare Bandbreite.
  3. Mit realistischer Last messen. Durchsatz und Zeit bis zum ersten Token bei der erwarteten Zahl gleichzeitiger Nutzer und der tatsächlichen Eingabelänge vergleichen, jeweils für TP=2, PP=2 und Replicas, sofern das Modell es zulässt. vLLM bringt dafür ein eigenes Benchmark-Werkzeug mit (vllm bench serve).

Mit der Umgebungsvariable NCCL_DEBUG=INFO protokolliert NCCL beim Start, über welchen Weg die GPUs kommunizieren, etwa P2P oder Shared Memory. Für Verbindungen zwischen mehreren Servern beschreibt die vLLM-Dokumentation, wie sich diese Ausgaben lesen lassen (vLLM, Parallelism and Scaling). Wer mehrere Server statt mehrerer GPUs in einem Server verbinden möchte, steht vor denselben Fragen auf Netzwerkebene; für GB10-Systeme beschreibt das AI Cubes mit ConnectX-7 verbinden.

Was das für Ihr Projekt heißt

Zwei GPUs ohne NVLink sind eine gute Basis für den Produktivbetrieb, wenn die Aufteilung zum Ziel passt. Für mehr Nutzer mit einem Modell, das auf eine Karte passt, sind Replicas der direkte Weg. Für Modelle, die eine Karte übersteigen, ist TP=2 der verbreitete Standard und PP=2 die Alternative, die sich bei hoher Last lohnen kann. TP über vier oder mehr PCIe-GPUs sollte nur nach eigener Messung gewählt werden.

WZ-IT stellt Managed GPU-Server mit einer dedizierten NVIDIA RTX PRO 4000 Blackwell (24 GB, ab 699 € netto/Monat) oder RTX PRO 6000 Blackwell Max-Q (96 GB, ab 2.199 € netto/Monat) bereit, jeweils mit vLLM, Open WebUI und Monitoring. Multi-GPU-Konfigurationen, getrennte Instanzen hinter einem Gateway und redundante Modell-Endpunkte planen wir passend zu Modell, Kontextlänge und Nutzerzahl und weisen sie im Angebot aus. Für den Betrieb im eigenen Haus ist der AI Cube die Alternative. Support, Beratung und Implementierung durch WZ-IT.

Welches Modell überhaupt in Frage kommt, ordnet Welches LLM selbst hosten? ein. Wie viele Nutzer ein Server tragen kann, beschreibt Lokalen KI-Server nach Nutzerzahl dimensionieren, und den Unterschied zwischen den Inferenz-Engines vergleicht der Beitrag vLLM, Ollama und llama.cpp im Vergleich.

Lieber betreiben lassen?

Sie möchten Lokale KI für Unternehmen nicht selbst betreiben? WZ-IT übernimmt Einrichtung, Betrieb und Wartung - datenschutzorientiert aus Deutschland.

Anfrage

Lokale KI für Ihren Einsatz einordnen

Starten Sie mit dem AI Cube oder lassen Sie eine individuelle KI-Plattform, Wissensanbindung oder Integration einordnen.

  • Sie sprechen direkt mit Timo und Robin, den technisch Verantwortlichen
  • Fachliche Einschätzung Ihrer Situation
  • Konkrete nächste Schritte für Infrastruktur, Software oder KI

Das Gespräch ist kostenfrei und unverbindlich.

Timo und Robin habe ich als engagierte und professionelle Gesprächspartner kennengelernt, die für einen Kunden so einiges möglich machen, das erst mal unmöglich scheint. Ich fühlte mich sehr gut beraten. Die angebotenen Leistungen haben mich sehr überzeugt.
Andrea PawlowskiCommunications Manager, Golem.de, Deutschland
Timo und Robin, Gründer von WZ-IT

Lokale KI für Ihren Einsatz einordnen

Timo und Robin habe ich als engagierte und professionelle Gesprächspartner kennengelernt, die für einen Kunden so einiges möglich machen, das erst mal unmöglich scheint. Ich fühlte mich sehr gut beraten. Die angebotenen Leistungen haben mich sehr überzeugt.
Andrea PawlowskiCommunications Manager, Golem.de, Deutschland

Häufig gestellte Fragen

Antworten auf die wichtigsten Fragen

Wissen

Mehr zu Lokale KI für Unternehmen

Alle Lokale KI für Unternehmen-Artikel

Kunden aus Mittelstand, Industrie und öffentlicher Hand, in Deutschland und international

  • Stadtwerke Brühl
  • DGHO e.V.
  • solarwerkstatt berlin
  • Krüger Dirndl
  • ABCO Water Systems
  • Golem.de
  • EVADXB
  • nextGYM
  • AInergy
  • ml&s
  • Odiseo Solutions
  • Annota
  • ARGE
  • SweetConnect GmbH
  • Aphy AG
  • CORGOS
  • Rekorder
  • SolidProof
  • Yonju
  • Keymate
  • Paritel
  • Mr. Clipart
  • Millenium
  • Negosh
  • Führerscheinmacher
  • BTI
  • Deutsche Gesellschaft für Datenschutz
Kundenstimmen ansehen