Llama 4 vs. Qwen 3.5 vs. DeepSeek V4: Welches Open-Source-Modell für lokale Enterprise-KI? (Stand Q4 2026)

Ein offenes Sprachmodell im Unternehmen einsetzen, ohne Daten an Cloud-Anbieter zu geben?

Wir testen Kandidaten mit Ihren Aufgaben und betreiben das gewählte Modell dort, wo es passt: auf dem AI Cube im eigenen Netz (7.990 € netto einmalig plus AI Cube Care ab 349,90 € netto im Monat) oder auf einem Managed GPU Server ab 699 € netto im Monat. Den Vergleich der Betriebswege zeigt die Seite zum LLM-Hosting.

AI Cube ansehen · Managed GPU Server ansehen · Termin vereinbaren

Im Mai 2026 lief dieser Vergleich auf drei Modellfamilien hinaus: Llama 4 von Meta, Qwen 3.5 von Alibaba und DeepSeek V4. Seitdem hat sich das Feld deutlich verschoben. Mit Qwen3.8-27B, Gemma 4, Mistral Small 4, IBM Granite 4.2 und Metas Muse Glimmer 30B gibt es Modelle, die auf einer einzelnen GPU laufen und unter Apache 2.0 stehen. Gleichzeitig sind mit GLM-5.3, MiMo-V2.6 und DeepSeek-V4.1-Flash neue Großmodelle erschienen, die nur auf Mehr-GPU-Systemen sinnvoll betrieben werden können.

Dieser Beitrag ordnet die Modelle aus Sicht eines Unternehmens ein, das KI im eigenen Rechenzentrum oder auf dedizierter Hardware betreiben will: Größe, Lizenz, Kontextfenster und vor allem die Frage, was auf 24 GB, 96 GB oder 128 GB Speicher tatsächlich passt. Alle Angaben stammen von den Model Cards auf Hugging Face und den Herstellerseiten, Stand Oktober 2026.

Inhaltsverzeichnis

1. Was sich seit Mai 2026 geändert hat
2. Die Modelle im Überblick
3. Benchmarks richtig einordnen
4. Was passt auf 24 GB, 96 GB und 128 GB
5. Großmodelle für Mehr-GPU-Systeme
6. Kontextfenster und RAG
7. Lizenzmodelle
8. Empfehlung nach Use Case
9. Unser Vorgehen bei WZ-IT
10. Weiterführende Guides

Was sich seit Mai 2026 geändert hat

Die Daten ohne Tagesangabe beziehen sich auf die Veröffentlichung der Gewichte auf Hugging Face. Llama 4 hat seit April 2025 keine neuen Gewichte erhalten, die Llama-4-Modelle auf Hugging Face stammen aus dem Release vom 05.04.2025. Metas neues offenes Modell ist Muse Glimmer 30B, ein aus Muse Spark destilliertes dichtes Modell unter Apache 2.0 ohne die Bedingungen der Llama-Lizenz. DeepSeek hat zudem aktualisierte Checkpoints der V4-Reihe veröffentlicht, DeepSeek-V4-Flash-0731 und DeepSeek-V4-Pro-0813, beide unter MIT.

Die Modelle im Überblick

Stand Oktober 2026, Angaben laut Model Card. "Gesamt / aktiv" unterscheidet bei Mixture-of-Experts-Modellen (MoE) zwischen allen gespeicherten und den pro Token genutzten Parametern.

Zwei Korrekturen gegenüber der ersten Fassung dieses Beitrags: DeepSeek V4 erschien im April 2026 als Flash (284 Mrd. / 13 Mrd.) und Pro (1,6 Bio. / 49 Mrd.), die früher genannten 685 Mrd. / 37 Mrd. beschreiben die Vorgängergeneration. Qwen 3.5 unterstützt laut Model Card 201 Sprachen und Dialekte. Llama 4 unterstützt offiziell 12 Sprachen, darunter Deutsch.

Für den Betrieb in deutschsprachigen Unternehmen relevant: Granite 4.2 nennt Deutsch ausdrücklich als getestete Sprache, Mistral Small 4 führt Deutsch unter den unterstützten Sprachen, Gemma 4 gibt mehr als 140 Sprachen an. Kolibri-1 von Aleph Alpha ist laut Modellkarte auf Deutsch und Englisch ausgelegt, mit rund 24 % deutschen Trainingsdaten und einem an die deutsche Wortstruktur angepassten Tokenizer.

Benchmarks richtig einordnen

Die erste Fassung dieses Beitrags enthielt eine Benchmark-Tabelle mit teils geschätzten Werten. Diese Tabelle ist entfernt, weil sich mehrere Werte keiner Primärquelle zuordnen ließen.

Die Model Cards enthalten umfangreiche Benchmark-Tabellen, die Werte sind aber nur innerhalb einer Model Card vergleichbar:

• Unterschiedliche Harnesses: Z.AI misst Coding-Benchmarks für GLM-5.3 mit Claude Code als Agenten-Umgebung, DeepSeek nutzt für V4.1-Flash eine eigene Umgebung.
• Unterschiedliche Reasoning-Stufen: Viele Modelle unterstützen reasoning_effort. Die veröffentlichten Werte entstehen meist auf der höchsten Stufe mit sehr langen Ausgaben, die im Alltagsbetrieb Latenz und Kosten erhöhen.
• Eigene Benchmarks der Hersteller: Qwen nennt für Qwen3.8-27B auf SWE-bench Pro 61,7 gegenüber 53,5 für Qwen3.6-27B (Model Card). Solche Vergleiche innerhalb einer Familie sind aussagekräftiger als Vergleiche über Hersteller hinweg.

Für deutsche Fachtexte, eigene Dokumentformate und strukturierte Ausgaben sagen öffentliche Benchmarks wenig. Belastbar ist ein Test mit 50 bis 200 repräsentativen Aufgaben aus dem eigenen Bestand. Wie ein solcher Auswahlprozess aussieht, beschreibt der Artikel Welches LLM selbst hosten?.

Was passt auf 24 GB, 96 GB und 128 GB

Wichtig bei Mixture-of-Experts: Der Speicherbedarf richtet sich nach den Gesamt-Parametern, nicht nach den aktiven. Aktiv ist nur die Rechenlast pro Token, im Speicher müssen alle Experten liegen. Zu den Gewichten kommen KV-Cache, Aktivierungen und Laufzeit. Der KV-Cache wächst mit Kontextlänge und Zahl paralleler Anfragen, siehe GPU und VRAM dimensionieren.

Die folgenden Größen sind die tatsächlichen Dateigrößen der Gewichte auf Hugging Face, Stand Oktober 2026. GGUF-Dateien stammen teils von Community-Quantisierern (unsloth), FP8- und NVFP4-Varianten von den Herstellern bzw. NVIDIA. Welches Format für welche Hardware passt, erklärt LLM-Quantisierung.

24 GB VRAM: Managed GPU Server 24

Der Managed GPU Server 24 von WZ-IT nutzt eine NVIDIA RTX PRO 4000 Blackwell mit 24 GB GDDR7 ECC.

Auf 24 GB laufen dichte Modelle bis rund 30 Mrd. Parameter in 4 Bit. Die früher hier genannte Empfehlung, Llama 4 Scout oder Qwen 3.5 auf einer 24-GB-Karte zu betreiben, war falsch: Llama 4 Scout benötigt in 4 Bit rund 55 GB.

96 GB VRAM: Managed GPU Server 96

Der Managed GPU Server 96 nutzt eine NVIDIA RTX PRO 6000 Blackwell Max-Q mit 96 GB GDDR7 ECC.

NVFP4 wird von Blackwell-GPUs nativ unterstützt. Für Kolibri-1 nennt Aleph Alpha als Mindestausstattung zwei A100 mit 80 GB oder eine H200, eine einzelne 96-GB-Karte steht nicht in der Liste. Der Betrieb mit vLLM setzt ein eigenes Kolibri-Plugin voraus (Model Card). Auf 96 GB ist das Modell deshalb ein Kandidat für eigene Tests mit kurzem Kontext, kein gesetzter Standard. Für Qwen3.5-122B-A10B mit mehr Kontext und Parallelität ist ein System mit zwei 96-GB-Karten die stabilere Wahl, siehe vLLM mit Qwen 122B auf zwei RTX PRO 6000 und Multi-GPU-Inferenz ohne NVLink.

128 GB Unified Memory: AI Cube

Der AI Cube basiert auf dem NVIDIA GB10 mit 128 GB Unified Memory, den sich Betriebssystem, Inferenzserver, Gewichte und KV-Cache teilen.

Mehr zu Modellen in dieser Klasse steht im Artikel LLM-Modelle auf 128 GB Unified Memory.

Das Modell steht fest, aber die GPU fehlt?

Auf den Modellseiten für Qwen, Gemma, gpt-oss und DeepSeek steht, welcher Managed GPU Server mindestens empfohlen ist. Betrieb in einem deutschen Rechenzentrum, mit vLLM und OpenAI-kompatibler API.

LLM Hosting ansehen · Managed GPU Server ansehen

Großmodelle für Mehr-GPU-Systeme

Die Modelle, die Herstellerbenchmarks anführen, sind für einzelne Karten zu groß. Gewichtsgrößen laut Hugging Face, Stand Oktober 2026:

Die Faustregel für 4 Bit lautet rund 0,5 GB je Milliarde Parameter. Für die meisten Unternehmensanwendungen wie Chat, RAG, Zusammenfassungen und Klassifikation ist diese Klasse nicht nötig. Sie lohnt sich, wenn Modelle der 30-Mrd.- und 120-Mrd.-Klasse bei eigenen Tests nachweislich nicht ausreichen. Für solche Fälle plant WZ-IT ein individuelles System mit mehreren GPUs. Alternativ lässt sich ein Großmodell über eine europäische API nutzen, siehe Europäische LLM-APIs im Vergleich.

Kontextfenster und RAG

Große Kontextfenster sind auf dem Papier ein Unterscheidungsmerkmal, im lokalen Betrieb aber durch den Speicher begrenzt:

• Llama 4 Scout: 10M Tokens. Der KV-Cache für solche Längen übersteigt den Speicher jeder Einzel-GPU deutlich.
• DeepSeek V4, V4.1-Flash und MiMo-V2.6: 1M Tokens. DeepSeek gibt für V4.1-Flash einen globalen KV-Cache von 890 Byte pro Token an, rund ein Viertel von V4 Flash (Model Card). Das senkt den Speicherbedarf langer Kontexte, ändert aber nichts an der Größe der Gewichte.
• Qwen3.8-27B, Gemma 4, Mistral Small 4: 256K bis 262K Tokens. Für RAG-Pipelines ausreichend, weil die Retrieval-Stufe ohnehin nur die relevanten Abschnitte übergibt.
• Granite 4.2: 128K nativ. Für typische RAG-Anfragen ausreichend.

Für Enterprise-RAG ist die Qualität der Suche wichtiger als die maximale Kontextlänge. Ein Modell mit 256K Kontext und gutem Retrieval liefert in der Regel bessere Antworten als ein Modell, dem man ganze Dokumentensammlungen übergibt. Wie Suche und Reranking zusammenspielen, beschreibt Hybrid Search und Reranking.

Lizenzmodelle

Stand Oktober 2026, laut Lizenzdateien auf Hugging Face bzw. Herstellerseiten. Die Übersicht ist eine technische Einordnung, keine Rechtsberatung.

Llama 4 und die EU: Die Acceptable Use Policy gewährt für multimodale Llama-4-Modelle die Rechte aus Abschnitt 1(a) der Lizenz nicht an Personen mit Wohnsitz oder Unternehmen mit Hauptsitz in der EU. Ausgenommen sind Endnutzer eines Produkts, das ein solches Modell enthält. Da Llama 4 Scout und Maverick nativ Text und Bild verarbeiten, betrifft das die Modelle selbst und nicht nur die Bildfunktion. Die Lizenz verlangt außerdem bei mehr als 700 Mio. monatlich aktiven Nutzern eine gesonderte Lizenz, den Hinweis "Built with Llama" und das Präfix "Llama" im Namen abgeleiteter Modelle.

Qwen ist nicht gleich Qwen: Die kleinen und mittleren Qwen-Modelle stehen unter Apache 2.0. Qwen3.8-Flash-Next nutzt dagegen die Qwen Community License 1.0: Wer Modellinferenz als Dienst für Dritte oder einen KI-Arbeitsassistenten für Coding oder Büroarbeit anbietet, braucht eine separate Lizenz von Qwen. Die interne Nutzung ist ausgenommen, solange Modell und Ausgaben keinem Dritten zugänglich gemacht werden.

GLM-5.3 ist nicht MIT: GLM-5.3-Flash steht unter MIT, das größere GLM-5.3 unter einer eigenen Lizenz mit Sicherheitsprüfung für sehr große Model-as-a-Service-Anbieter.

Für die meisten Unternehmen sind Apache-2.0- und MIT-Modelle die rechtlich übersichtlichste Wahl. Eine ausführlichere Einordnung zu Fine-Tuning, Hosting für Dritte und abgeleiteten Modellen steht im Artikel LLM-Lizenzen für kommerzielle Nutzung.

Empfehlung nach Use Case

Stand Oktober 2026. Die Tabelle nennt Kandidaten für eigene Tests, keine feste Rangfolge.

Für die Mehrheit der Unternehmensanwendungen reicht die 30-Mrd.-Klasse. Qwen3.8-27B, Gemma 4 und Muse Glimmer 30B laufen auf einer 24-GB-Karte, stehen unter Apache 2.0 und verarbeiten Bilder. Wer mehr Qualitätsreserve oder Parallelität braucht, geht auf 96 GB oder den AI Cube mit Mistral Small 4, gpt-oss-120b oder Qwen3.5-122B-A10B. Die Großmodelle mit mehreren hundert Milliarden Parametern sind erst dann sinnvoll, wenn eigene Tests zeigen, dass die kleineren Modelle die Aufgabe nicht lösen.

Noch unklar, welches Werkzeug passt? Der KI-Potenzialcheck prüft an einem konkreten Ablauf, welcher Ansatz trägt, und endet mit einer Pilotempfehlung. Ab 3.900 € netto.

Unser Vorgehen bei WZ-IT

WZ-IT wählt Modelle anhand des konkreten Anwendungsfalls aus und betreibt sie auf dedizierter Hardware:

1. Anforderungen aufnehmen: Sprachen, Dokumenttypen, Bildanteil, Nutzerzahl, Schutzbedarf der Daten und Lizenzanforderungen.
2. Kandidaten testen: zwei bis vier Modelle mit repräsentativen Aufgaben aus dem eigenen Bestand vergleichen, mit identischer Quantisierung und Inferenz-Engine.
3. Hardware festlegen: AI Cube im eigenen Netz (7.990 € netto einmalig, zzgl. AI Cube Care ab 349,90 € netto / Monat) oder Managed GPU Server mit 24 GB (699 € netto / Monat) bzw. 96 GB (2.199 € netto / Monat), jeweils zzgl. Einrichtung.
4. Betrieb einrichten: vLLM oder Ollama, Open WebUI oder die gewünschte Oberfläche, Gateway, Monitoring und Updates.
5. Modellwechsel planen: Neue Releases werden mit denselben Testaufgaben geprüft, bevor sie den laufenden Stand ersetzen.

Ohne eigene Hardware stehen gpt-oss-120b, Qwen und Ministral auf der KI-Plattform bereit, in einer eigenen Open-WebUI-Instanz mit in Deutschland bei deutschen Anbietern betriebenen Modellen.

Support, Beratung und Implementierung durch WZ-IT.

Weiterführende Guides

• vLLM vs. Ollama vs. llama.cpp - Inferenz-Engines im Vergleich
• vLLM mit Qwen 122B auf zwei RTX PRO 6000 - Mehr-GPU-Betrieb in der Praxis
• GPT-OSS 120B auf dem AI Cube - großes Modell lokal
• DGX Spark vs. AI Cube - Hardware für lokale Modelle
• Europäische LLM-APIs im Vergleich - wenn das Modell nicht lokal laufen muss
• Welches LLM selbst hosten? - Auswahlprozess
• GPU und VRAM dimensionieren - Speicherbedarf berechnen
• LLM-Lizenzen für kommerzielle Nutzung - Lizenzfragen im Detail
• DSGVO-konforme KI: Prüfkriterien - Compliance
• LLM-Hosting - Betrieb von Sprachmodellen durch WZ-IT

Welches Modell passt zu Ihrem Anwendungsfall? Wir testen Kandidaten mit Ihren Daten und betreiben das ausgewählte Modell auf dem AI Cube oder einem Managed GPU Server, mit Open WebUI oder Ihrer bevorzugten Oberfläche. Termin vereinbaren | AI Cube

Quellen

• Qwen3.8-27B, Model Card
• Qwen3.8-Flash-Next, Model Card
• Qwen3.8-Flash-Next, Qwen Community License 1.0
• Qwen3.5-397B-A17B, Model Card
• Qwen3.5-122B-A10B, Model Card
• Gemma 4 31B, Model Card
• Gemma 4 26B A4B, Model Card
• Google, Gemma Releases
• Mistral AI, Mistral Small 4
• Mistral Small 4, Model Card
• IBM Granite 4.2 30B, Model Card
• GLM-5.3, Model Card
• GLM-5.3, Lizenz
• GLM-5.3-Flash, Model Card
• DeepSeek V4 Flash, Model Card
• DeepSeek V4 Pro, Model Card
• DeepSeek-V4.1-Flash, Model Card
• MiMo-V2.6-Flash, Model Card
• MiMo-V2.6-Pro, Model Card
• gpt-oss-120b, Model Card
• Meta, Muse Glimmer 30B Model Card
• NVIDIA, Nemotron 3.5 Lightning 30B-A3B Model Card
• Aleph Alpha, Kolibri-1 Model Card
• Mistral AI, Mistral Large 4
• DeepSeek-V4-Flash-0731, Model Card
• DeepSeek-V4-Pro-0813, Model Card
• Meta, Llama 4 Model Card
• Meta, Llama 4 Community License
• Meta, Llama 4 Acceptable Use Policy