GPU und VRAM für LLMs richtig dimensionieren

Timo Wevelsiep•Aktualisiert: 23.07.2026

Hinweis zum Inhalt: Versionen, Befehle und Preise können sich ändern. Bitte prüfen Sie kritische Schritte vor dem produktiven Einsatz eigenständig. Dieser Leitfaden ersetzt keine individuelle Beratung.

Die richtige GPU für Ihr KI-Vorhaben auslegen lassen? WZ-IT plant und betreibt GPU-Server für lokale KI - passend dimensioniert für Modell, Kontext und Nutzerzahl, DSGVO-konform aus einer Hand. GPU-Server ansehen

„Passt dieses Modell auf meine GPU?" ist die praktische Kernfrage beim Aufbau lokaler KI - und sie lässt sich rechnen. Der VRAM-Bedarf eines Sprachmodells setzt sich aus drei Komponenten zusammen, und wer nur die Modellgröße betrachtet, verschätzt sich regelmäßig. Dieser Artikel zeigt die Faustregeln und ein Rechenbeispiel. Stand Juli 2026.

Drei Speicher-Komponenten

Der VRAM-Bedarf eines Sprachmodells im Betrieb hat drei Teile (GPU-Sizing-Guide):

Modellgewichte - der Speicher für die Parameter des Modells.
KV-Cache - Zwischenwerte der Attention während der Generierung.
Overhead - Aktivierungen, Framework und CUDA-Kontext.

Nur alle drei zusammen ergeben den realen Bedarf. Der häufigste Fehler ist, allein von den Gewichten auszugehen und den KV-Cache zu unterschätzen.

Modellgewichte: die Faustregel

Der Speicher für die Gewichte folgt aus Parameterzahl und Zahlenpräzision. Die praktische Faustregel:

FP16 (volle Präzision): rund 2 GB VRAM je Milliarde Parameter.
4-Bit-Quantisierung (AWQ, GPTQ): rund 0,5 GB je Milliarde Parameter.

Ein 70-Milliarden-Modell braucht damit bei FP16 etwa 140 GB - mehr, als eine einzelne 80-GB-Karte (H100, A100) fasst. Quantisiert auf 4 Bit sinkt der reale Bedarf auf rund 40 bis 45 GB und passt auf eine 80-GB-GPU. Quantisierung ist deshalb der wichtigste Hebel, um große Modelle auf verfügbare Hardware zu bringen - meist mit nur geringem Qualitätsverlust.

Der KV-Cache: oft der Engpass

Der KV-Cache ist der am häufigsten übersehene Posten. Er speichert die Attention-Zwischenwerte während der Generierung, und sein Bedarf wächst linear mit der Sequenzlänge und der Zahl gleichzeitiger Anfragen - nicht mit der Modellgröße.

Das hat eine wichtige Konsequenz: Bei kurzem Kontext dominieren die Gewichte den Speicherbedarf. Bei langem Kontext und vielen parallelen Nutzern wird der KV-Cache zum eigentlichen Engpass. Ein 70-Milliarden-Modell mit 32k Kontext und zehn gleichzeitigen Nutzern kann für den Cache allein rund 112 GB (FP16) benötigen - deutlich mehr als die quantisierten Gewichte. Techniken wie das effiziente Speichermanagement von vLLM (PagedAttention) und die Quantisierung des KV-Cache mildern das ab.

Overhead und die Gesamtrechnung

Auf die Summe aus Gewichten und KV-Cache kommt ein Overhead von rund 15 bis 20 Prozent für Aktivierungen, Framework und CUDA-Kontext. Die Gesamtrechnung lautet also:

VRAM ≈ (Gewichte + KV-Cache) × 1,15 bis 1,2

Wer diesen Puffer weglässt, riskiert Out-of-Memory-Abbrüche unter Last - genau dann, wenn viele Nutzer gleichzeitig anfragen.

Ein Rechenbeispiel

Ein mittelgroßes Modell mit 8 Milliarden Parametern, betrieben in FP16 für einige gleichzeitige Nutzer mit moderatem Kontext:

Gewichte: 8 × 2 GB = 16 GB.
KV-Cache: je nach Kontext und Parallelität grob 2 bis 6 GB.
Overhead: rund 15 bis 20 Prozent obendrauf.

Ergebnis: etwa 22 bis 26 GB - passt auf eine 24-GB-Karte, wenn Kontext und Parallelität moderat bleiben, sonst besser eine größere GPU. Dasselbe 8-Milliarden-Modell quantisiert (4 Bit) käme mit rund 4 GB Gewichten aus und ließe deutlich mehr Raum für Cache und Nutzer.

Die Wahl von Modell, Quantisierung und GPU hängt damit unmittelbar zusammen - Welches LLM selbst hosten? ordnet die Modellseite ein, Was ist lokale KI? das Gesamtbild.

Lieber betreiben lassen?

Sie möchten Lokale & Souveräne KI nicht selbst betreiben? WZ-IT übernimmt Einrichtung, Betrieb und Wartung - DSGVO-konform aus Deutschland.

Ai Server →

Häufig gestellte Fragen

Antworten auf die wichtigsten Fragen

Der Bedarf setzt sich aus drei Teilen zusammen: den Modellgewichten, dem KV-Cache und einem Overhead. Als Faustregel brauchen die Gewichte bei FP16 rund 2 GB VRAM je Milliarde Parameter, bei 4-Bit-Quantisierung etwa 0,5 GB. Dazu kommen der KV-Cache (abhängig von Kontextlänge und Parallelität) und rund 15 bis 20 Prozent Overhead.

Deutlich. Ein 70-Milliarden-Modell braucht bei FP16 etwa 140 GB allein für die Gewichte und passt damit auf keine einzelne 80-GB-Karte. Bei 4-Bit-Quantisierung (AWQ, GPTQ) sinkt der reale Bedarf auf rund 40 bis 45 GB und passt auf eine 80-GB-GPU - mit begrenztem Platz für den KV-Cache. Quantisierung ist damit der wichtigste Hebel, um große Modelle auf verfügbare Hardware zu bringen.

Der KV-Cache speichert die Zwischenwerte der Attention während der Generierung. Sein Bedarf wächst linear mit der Sequenzlänge und der Zahl gleichzeitiger Anfragen - nicht mit der Modellgröße. Bei langem Kontext und vielen parallelen Nutzern wird der KV-Cache oft zum eigentlichen Engpass, nicht die Modellgewichte.

Weil bei produktivem Betrieb der KV-Cache stark ins Gewicht fällt. Ein Modell mag mit seinen Gewichten auf die Karte passen, aber sobald mehrere Nutzer mit langem Kontext gleichzeitig anfragen, kann der KV-Cache mehr Speicher verlangen als die Gewichte selbst. Die Dimensionierung muss beide berücksichtigen.

Rund 15 bis 20 Prozent zusätzlich auf die Summe aus Gewichten und KV-Cache - für Aktivierungen, Framework-Overhead und den CUDA-Kontext. Wer diesen Puffer weglässt, riskiert, dass der Betrieb unter Last mit Out-of-Memory-Fehlern abbricht.

Es gibt mehrere Hebel: ein kleineres oder stärker quantisiertes Modell wählen, die maximale Kontextlänge begrenzen, die Zahl gleichzeitiger Anfragen deckeln oder den KV-Cache quantisieren. Reicht das nicht, verteilt man das Modell über mehrere GPUs - eine Inferenz-Engine wie vLLM unterstützt verteiltes Serving.