Modelle produktiv auf eigener GPU betreiben lassen? WZ-IT plant, baut und betreibt lokale KI-Infrastruktur - von der GPU-Hardware über vLLM bis zum kompletten LLM-Stack, DSGVO-konform aus einer Hand. GPU-Server ansehen
Wer ein Sprachmodell selbst betreibt, braucht eine Software, die es lädt und Anfragen beantwortet - eine Inferenz-Engine. vLLM ist die verbreitetste Wahl für den produktiven, durchsatzstarken Betrieb. Dieser Artikel erklärt, was vLLM macht, warum es so schnell ist und wann es gegenüber einfacheren Werkzeugen die richtige Wahl ist. Stand Juli 2026.
Inhaltsverzeichnis
- Wofür vLLM da ist
- PagedAttention und Continuous Batching
- OpenAI-kompatibler API-Server
- Hardware und Modelle
- vLLM oder Ollama
Wofür vLLM da ist
vLLM ist eine schnelle, quelloffene Bibliothek für LLM-Inferenz und -Serving. Sie ist ursprünglich am Sky Computing Lab der UC Berkeley entstanden und wird heute von einer großen Community weiterentwickelt. Ihre Aufgabe ist die unterste Schicht eines KI-Systems: das Modell laden, im GPU-Speicher halten und Anfragen effizient beantworten.
Der Anspruch von vLLM ist nicht „ein Modell zum Laufen bringen" - das können viele Werkzeuge -, sondern es mit hohem Durchsatz zu bedienen, sodass viele Nutzer und Anfragen gleichzeitig auf derselben Hardware bedient werden. Genau das macht es zur Engine für den Produktivbetrieb.
PagedAttention und Continuous Batching
Der hohe Durchsatz von vLLM beruht auf zwei Kern-Ideen:
PagedAttention verwaltet den Speicher für die Attention-Zwischenwerte (den Key-Value-Cache) effizient - ähnlich, wie ein Betriebssystem den Arbeitsspeicher in Seiten verwaltet. Dadurch bleibt weniger GPU-Speicher ungenutzt, und mehr Anfragen passen gleichzeitig auf dieselbe Karte. Es ist die namensgebende Optimierung von vLLM.
Continuous Batching bündelt eingehende Anfragen fortlaufend, statt auf einen vollen Stapel zu warten, ergänzt um Techniken wie Chunked Prefill und Prefix Caching. Das Ergebnis ist ein branchenführender Durchsatz bei paralleler Last - der praktische Unterschied zwischen einem Modell für einen Nutzer und einem Dienst für viele.
OpenAI-kompatibler API-Server
vLLM stellt einen OpenAI-kompatiblen API-Server bereit (daneben unter anderem die Anthropic-Messages-API und gRPC). Das ist im Betrieb entscheidend: Anwendungen und ein Gateway wie LiteLLM sprechen vLLM im vertrauten OpenAI-Format an, ohne proprietäre Schnittstellen. So fügt sich vLLM nahtlos in bestehende Werkzeuge und den restlichen Stack ein.
Hardware und Modelle
vLLM läuft primär auf GPUs (NVIDIA und AMD) und unterstützt darüber hinaus CPUs sowie weitere Beschleuniger wie TPUs. Für den produktiven Betrieb größerer Modelle ist eine GPU mit ausreichend VRAM entscheidend; die passende Dimensionierung hängt an Modellgröße, Kontextlänge und gewünschtem Durchsatz.
Bei den Modellen ist vLLM breit aufgestellt: über 200 Architekturen von Hugging Face werden unterstützt, von reinen Decoder-Modellen über Mixture-of-Expert- und multimodale Modelle bis zu Embedding-Modellen. Verbreitete offene Familien wie Llama, Qwen, Mistral und DeepSeek lassen sich damit selbst betreiben.
vLLM oder Ollama
Die häufigste Frage in der Praxis: vLLM oder Ollama? Kurz gefasst - Ollama ist der einfachste Einstieg (ein Befehl, ein Modell) und ideal für Tests, Einzelnutzer und kleine Lasten. vLLM ist auf Durchsatz und parallele Anfragen ausgelegt und damit die Wahl, wenn ein Modell zuverlässig viele Nutzer bedienen soll.
Beide sind austauschbare Inferenz-Schichten im Open-Source-LLM-Stack - dahinter liegt dieselbe Idee, das Modell auf eigener Infrastruktur zu betreiben. Für die produktive, souveräne KI im Unternehmen führt der Weg meist zu vLLM, sobald mehr als ein paar parallele Anfragen zusammenkommen.
