Mistral Large on-premise: Lizenz je Modell, Hardwarebedarf und Open-Weight-Alternativen

Mistral-Modelle auf eigener Hardware oder dediziertem GPU-Server in Deutschland betreiben?

Die Seite zum LLM-Hosting vergleicht die Betriebswege, Mistral Hosting ordnet die Lizenz je Modell ein. Auf dem AI Cube laufen vLLM und Open WebUI vorinstalliert im eigenen Netz.

LLM-Hosting ansehen · AI Cube ansehen

"Mistral Large" bezeichnet mehrere Modelle mit verschiedenen Lizenzen: Large 2 steht unter einer Forschungslizenz, Large 3 unter Apache 2.0, Large 4 hat noch keinen Lizenztext. Dieser Leitfaden liest die Lizenz jedes Modells aus Model Card und LICENSE-Datei, rechnet den Hardwarebedarf mit offengelegten Annahmen und ordnet Alternativen ein. Stand 28. Oktober 2026, geprüft gegen Hugging Face und die Modellübersicht von Mistral.

Inhaltsverzeichnis

• Kurzfassung
• Die Mistral-Palette als Open Weights
• Lizenzen: was sie Unternehmen erlauben
• Mistral Large 4: Stand der Veröffentlichung
• Hardwarebedarf: Rechenweg und Tabelle
• Betrieb mit vLLM und llama.cpp
• EU und Datenschutz beim lokalen Betrieb
• Alternativen im Open-Weight-Markt
• Auswahlkriterien
• Stand und Methodik
• Unser Vorgehen bei WZ-IT
• Weiterführende Guides

Kurzfassung

• Mistral Large 3 (675 Mrd. Parameter, Mixture-of-Experts) steht unter Apache 2.0 und braucht einen 8-GPU-Knoten: 681,5 GB Gewichte in FP8, 403,1 GB in NVFP4.
• Die Lizenz hängt am Modell, nicht an der Familie. Mistral Medium 3.5 und Devstral 2 schließen Unternehmen mit mehr als 20 Mio. USD Monatsumsatz aus, Large 2 und Pixtral Large sind auf Forschungszwecke beschränkt.
• Mistral Large 4 ist seit 06.10.2026 als Vorschau über die API verfügbar. Gewichte und Lizenztext waren am 28.10.2026 nicht veröffentlicht.
• Für eine einzelne 96-GB-GPU passt Mistral Small 4 (Apache 2.0) rechnerisch in NVFP4 mit 70,8 GB Gewichten.

Die Mistral-Palette als Open Weights

Mistral nennt in der Modellübersicht Open-Weight-Modelle neben kommerziellen. Die Tabelle zeigt die für Unternehmen relevanten Textmodelle. Die Gewichtsgrößen sind die Dateigrößen eines Formats auf Hugging Face (mehrere Repositories enthalten die Gewichte doppelt, im Mistral- und im Transformers-Format).

Die Model Cards von Large 3, Medium 3.5, Small 4 und Ministral 3 nennen Deutsch unter den unterstützten Sprachen. Bei MoE-Modellen müssen alle Experten im Speicher liegen, die aktiven Parameter bestimmen nur die Rechenlast je Token.

Lizenzen: was sie Unternehmen erlauben

Gelesen wurden die LICENSE-Dateien und der Frontmatter der Model Cards, nicht die Familienbezeichnung.

Drei Folgerungen für die Praxis:

1. "Mistral Large on-premise" kann zwei Lizenzen meinen. Wer ein Large-2-Modell lädt, weil es in älteren Anleitungen steht, nutzt es im Unternehmen außerhalb der Lizenz. Large 3 ist das Apache-2.0-Modell.
2. Die Umsatzgrenze von Medium 3.5 ist eine Konzernfrage. Der Wortlaut: "the global consolidated monthly revenue of your company (or that of your employer) exceeds $20 million (or its equivalent in another currency) for the preceding month". Maßgeblich ist der Monatsumsatz des Vormonats, kein Jahresumsatz. Wie Konzernumsätze zu zählen sind, regelt der Text nicht im Detail. Das klärt die Rechtsabteilung oder Mistral AI ([email protected]), diese Seite ist keine Rechtsberatung.
3. Ableitungen bleiben gebunden. Die Lizenz gilt ausdrücklich für "derivatives, modifications, or combined works". Quantisierungen, GGUF-Dateien und Fine-Tunes von Medium 3.5 fallen nach dieser Lesart unter dieselbe Umsatzgrenze (Einschätzung, keine Rechtsberatung). Bei Large 3 gilt für das Original Apache 2.0.

Prüfschritte vor dem Download: exakte Repository-ID festhalten, LICENSE-Datei und Model Card lesen, Schwellen gegen die eigenen Kennzahlen halten, Lizenzstand mit Datum im Modellregister ablegen. Der Vergleich über Mistral hinaus steht in LLM-Lizenzen für kommerzielle Nutzung.

Mistral Large 4: Stand der Veröffentlichung

Mistral Large 4 läuft seit 06.10.2026 als öffentliche Vorschau über Mistral Studio und die API. Mistral kündigt die Gewichte für das Monatsende an und nennt auf der Modellseite als Lizenz nur "Open", ohne Text; die Gewichte-Tabelle der Seite führt Gewichte und Lizenz als "Coming soon". Am 28.10.2026 war in der Organisation mistralai auf Hugging Face kein Large-4-Repository mit Dateien abrufbar. Eine Ankündigungsseite nennt für mistralai/Mistral-Large-4-1T-A52B den 29.10.2026 als erwarteten Release.

Auf Basis der Parameterzahl (1,05 Bio.) ergeben sich rund 1,05 TB Gewichte bei 8 Bit und rund 0,53 TB bei 4 Bit. Das ist eine Rechnung ohne Dateigröße: Bei Large 3 liegt NVFP4 mit 403,1 GB um 19 Prozent über der Faustformel, weil zu den 4-Bit-Gewichten Skalierungswerte je 16 Gewichte kommen und Attention-, Embedding- und Gate-Schichten unquantisiert bleiben (params.json). Hardware und Lizenz von Large 4 werden erst nach Veröffentlichung bewertet.

Hardwarebedarf: Rechenweg und Tabelle

Rechenweg wie in GPU und VRAM für LLMs richtig dimensionieren:

1. Gewichte = Dateigröße des Checkpoints.
2. KV-Cache je Token: klassische Attention 2 × Layer × KV-Heads × Head-Dimension × Byte (Medium 3.5: 88 Layer, 8 KV-Heads, Dimension 128, also 352 KiB). Large 3 und Small 4 nutzen Multi-Head Latent Attention, vLLM speichert je Layer kv_lora_rank + qk_rope_head_dim Werte (Quellcode): Large 3 61 × (512 + 64) × 2 Byte = 68,6 KiB, Small 4 36 × (256 + 64) × 2 Byte = 22,5 KiB (Werte aus params.json und config.json).
3. Cache-Budget = GPUs × GPU-Speicher × 0,92 (vLLM-Default für --gpu-memory-utilization) - Gewichte - 4 GB Reserve je GPU.
4. Token im Cache = Cache-Budget ÷ KV-Cache je Token. Bei klassischer Attention verteilen sich die KV-Heads auf die GPUs, solange deren Zahl die der KV-Heads nicht übersteigt. Bei Multi-Head Latent Attention gibt es nur einen latenten KV-Kopf (num_kv_heads=1, max_tp_shards=1 im Quellcode): Der Cache liegt je Token in jedem Rang der Tensor-Parallelität, die Token ergeben sich also als Budget ÷ KV-Cache je Token ÷ GPU-Zahl. Die vLLM-Doku nennt für DeepSeek-R1 mit -tp 8 eine 8-fache Duplizierung des KV-Cache und -dcp (Decode Context Parallelism) als Gegenmittel.

Annahmen: KV-Cache in BF16, 1 GB = 10^9 Byte, Reserve als Planungswert (bei großen Modellen mit Tensor-Parallelität eher höher), Sitzungen = Token im Cache ÷ 32.768. Bei den Zeilen mit MLA ist die Token-Zahl bereits durch die GPU-Zahl geteilt (Schritt 4). Ein FP8-KV-Cache verdoppelt rechnerisch die Sitzungszahl, die Qualität ist zu prüfen. Für Large 3 entspricht das der Model Card: FP8 auf einem Knoten mit 8 × H200, NVFP4 auf einem Knoten mit H100 oder A100. GPU-Speicher: H100 80 GB (SXM, die NVL-Variante hat 94 GB), H200 141 GB, RTX PRO 6000 96 GB. Auf 128 GB Unified Memory passt von der Palette rechnerisch Small 4 in NVFP4 (70,8 GB), siehe LLM-Modelle auf 128 GB Unified Memory. Quantisierung im Überblick: LLM-Quantisierung.

Betrieb mit vLLM und llama.cpp

vLLM ist der von Mistral empfohlene Weg (Large 3, Medium 3.5). Die Model Cards nennen für Large 3 --tensor-parallel-size 8, den Mistral-Tokenizer-Modus (--tokenizer_mode mistral --config_format mistral --load_format mistral) und für Tool Calling --enable-auto-tool-choice --tool-call-parser mistral. --max-model-len steht standardmäßig auf 262144, "not necessary for most scenarios". Medium 3.5 setzt zusätzlich --reasoning-parser mistral und verlangt laut Model Card eine Nightly-Version von vLLM, Small 4 nutzt zwei GPUs mit --attention-backend FLASH_ATTN_MLA. Auf H100 und A100 fällt vLLM bei NVFP4 auf Marlin FP4 zurück: Speichergewinn, laut Model Card aber kein Tempogewinn gegenüber FP8. Bei Kontexten über 64k beobachtete Mistral für NVFP4 einen Qualitätsabfall und empfiehlt dort die FP8-Gewichte. Docker, Parameter, Absicherung und Metriken behandelt vLLM produktiv deployen, die Einordnung der Engine Was ist vLLM? und Multi-GPU-Inferenz ohne NVLink.

llama.cpp steht unter MIT-Lizenz. Der llama-server bietet eine OpenAI-kompatible API, Continuous Batching und parallele Slots (--parallel), --api-key und mit --metrics Prometheus-Metriken; /health ist ohne Schlüssel erreichbar. GGUF-Dateien stammen von Dritten, etwa Unsloth: Large 3 in Q4_K_M 407,0 GB, Small 4 in UD-Q4_K_M 73,8 GB (Dateigrößen, Abruf 28.10.2026). Die Model Card von Medium 3.5 warnt vor GGUF-Dateien, die mit einer fehlerhaften Transformers-Konfiguration erzeugt wurden. llama.cpp passt zu wenigen gleichzeitigen Nutzern und zu Speicher, der GPU und CPU teilt; für viele Nutzer ist vLLM die Wahl, siehe vLLM vs. Ollama und vLLM, Ollama oder llama.cpp.

EU und Datenschutz beim lokalen Betrieb

• Anbieter: Mistral AI ist laut Lizenztext eine französische Société par actions simplifiée mit Sitz in Paris (MRL). Bei lokalem Betrieb laufen Prompts und Dokumente auf Ihrer Infrastruktur, der Anbieter ist für die Verarbeitung nicht beteiligt, nur für Lizenz und Weiterentwicklung.
• Datenwege: Gewichte werden einmal heruntergeladen, danach schaltet HF_HUB_OFFLINE=1 Abrufe beim Hub ab. vLLM sammelt standardmäßig anonyme Nutzungsdaten (VLLM_NO_USAGE_STATS=1 schaltet das ab, Doku), Hugging-Face-Bibliotheken senden Telemetrie (HF_HUB_DISABLE_TELEMETRY=1, Doku).
• Was offen bleibt: Rechtsgrundlage, Zugriffsrechte, Protokollierung, Löschkonzept und Pflichten aus dem EU AI Act sind je Anwendung zu klären. Prüfkriterien stehen in DSGVO-konforme KI: Prüfkriterien, die Pflichten in EU AI Act für Unternehmen. Diese Seite ist keine Rechtsberatung.

Alternativen im Open-Weight-Markt

Auch bei anderen Anbietern unterscheidet sich die Lizenz je Modell. Gelesen wurden Model Cards und LICENSE-Dateien (Abruf 28.10.2026).

Die Modellwahl ordnet Welches LLM selbst hosten? ein, den Gesamtaufbau Der Open-Source-LLM-Stack.

Auswahlkriterien

Die Tabelle ordnet Modelle ein und ist kein Hosting-Angebot, gehostet werden die Checkpoints der Seite Mistral Hosting. Die Qualität auf deutschen Fachtexten zeigt nur ein Test mit eigenen Fragen, wie in RAG-Qualität messen beschrieben.

Stand und Methodik

• Stand: 28.10.2026. Modelle, Lizenztexte und Dateigrößen wurden am 28.10.2026 auf Hugging Face und docs.mistral.ai gelesen. Mistral Large 4 wird nach Veröffentlichung der Gewichte neu bewertet.
• Rechnung: Dateigrößen aus den Repositories (ein Format), Cache-Werte aus config.json und params.json. Reserve und BF16-Cache sind Annahmen, MLA-Cache und seine Duplizierung je GPU folgen dem vLLM-Quellcode und der vLLM-Doku. Nicht gemessen: Cache-Größen auf realer Hardware, Durchsatz, Latenz, Antwortqualität.
• Nicht behandelt: Audio-, Zeitreihen- und Moderationsmodelle von Mistral, die API-Nutzung.

Unser Vorgehen bei WZ-IT

Wir prüfen vor dem Angebot, welcher Checkpoint für Ihr Unternehmen zulässig ist. Mistral Small 4 und Devstral Small 2 betreiben wir auf dem Managed GPU Server in Deutschland mit vLLM und Open WebUI, welcher Checkpoint zu welcher GPU-Ausstattung passt, steht auf der Seite Mistral Hosting. Für Mistral Medium 3.5 und Devstral 2 ist dort mindestens der Managed GPU Server 192 (zwei GPUs) empfohlen, beide stehen unter der Umsatzgrenze der Modified MIT License. Für den Betrieb im eigenen Netz bietet der AI Cube 128 GB Unified Memory mit vorinstalliertem vLLM und Open WebUI. Die Betriebswege vergleicht LLM-Hosting.

Weiterführende Guides

• LLM-Lizenzen für kommerzielle Nutzung - Apache 2.0, MIT, Llama, Qwen und Mistral im Vergleich
• Welches LLM selbst hosten? - Modellfamilien und Auswahl
• GPU und VRAM für LLMs richtig dimensionieren - Herleitung der Speicherrechnung
• LLM-Modelle auf 128 GB Unified Memory - Modelle für den AI Cube
• Der Open-Source-LLM-Stack - Engine, Gateway, Observability
• vLLM produktiv deployen - Docker, Parameter, Absicherung
• LLM-Quantisierung - FP8, NVFP4 und AWQ
• Multi-GPU-Inferenz ohne NVLink - Modelle über mehrere GPUs verteilen

Mistral-Modelle im eigenen Betrieb einsetzen? WZ-IT prüft Lizenz und Hardware vor dem Angebot und betreibt das Modell auf dediziertem GPU-Server in Deutschland. Für den Betrieb im eigenen Netz gibt es den AI Cube. LLM-Hosting · Managed GPU Server · AI Cube