[email protected]

Llama Hosting in Deutschland: Llama 3.3 betreiben, Llama 4 in der EU einordnen

Sie möchten ein Llama-Modell auf eigener Infrastruktur nutzen. Wir ordnen ein, welche Llama-Version ein Unternehmen in der EU lizenzrechtlich nutzen kann, und betreiben Llama 3.3 70B auf einem dedizierten GPU-Server in Deutschland.

  • Betrieb in deutschem Rechenzentrum
  • Betrieb mit AVV
  • vLLM und OpenAI-kompatible API
Bewertungen
Cloud Wolke HerausforderungServer NachhaltigkeitIT Beratung Service Consulting SoforthilfeTimo Wevelsiep Robin ZinsExperten für Innovation Migration AWSHetzner Hosting zuverlässig

Kunden aus Mittelstand, Industrie und öffentlicher Hand, in Deutschland und international

  • Stadtwerke Brühl
  • DGHO e.V.
  • solarwerkstatt berlin
  • Krüger Dirndl
  • ABCO Water Systems
  • Golem.de
  • EVADXB
  • nextGYM
  • AInergy
  • ml&s
  • Odiseo Solutions
  • Annota
  • ARGE
  • SweetConnect GmbH
  • Aphy AG
  • CORGOS
  • Rekorder
  • SolidProof
  • Yonju
  • Keymate
  • Paritel
  • Mr. Clipart
  • Millenium
  • Negosh
  • Führerscheinmacher
  • BTI
  • Deutsche Gesellschaft für Datenschutz
Kundenstimmen ansehen

Ausgangslage

Warum Llama selbst betreiben

Llama ist die Open-Weight-Familie von Meta. Die jüngste Generation Llama 4 (Scout und Maverick, April 2025) besteht aus multimodalen Mixture-of-Experts-Modellen. Die Acceptable Use Policy zu Llama 4 gewährt die Rechte aus Abschnitt 1(a) der Lizenz für diese multimodalen Modelle nicht an Unternehmen mit Hauptsitz in der EU. Ausgenommen sind nur Endnutzer eines Produkts oder Dienstes, in das die Modelle eingebaut sind. Llama 4 bieten wir deshalb nicht an. Betreiben lässt sich Llama 3.3 70B Instruct, ein reines Textmodell vom Dezember 2024 unter der Llama 3.3 Community License. Seit April 2025 hat Meta im Hugging-Face-Konto meta-llama keine neuen Modellgewichte veröffentlicht. Wer ein aktuelles Modell sucht, findet bei Qwen, gpt-oss, Gemma und Mistral Familien mit neueren Checkpoints und Apache-2.0-Lizenz.

  • Daten bleiben in Deutschland

    Das Modell läuft auf einem dedizierten Server in einem deutschen Rechenzentrum. Mit Auftragsverarbeitungsvertrag, ohne Datenweg zu einer Modell-API.

  • Planbare Kosten

    Fester Monatspreis je Serverstufe statt Abrechnung nach verbrauchten Tokens. Mehr Anfragen erhöhen die Rechnung nicht.

  • Modellversion unter Kontrolle

    Checkpoint und Quantisierung bleiben, bis Sie einem Wechsel zustimmen. Kein stilles Modell-Update durch einen Anbieter.

Modellfakten

Llama-Checkpoints im Überblick

Herstellerangaben und Größe der Gewichtsdateien je Format, mit Quelle.

CheckpointVeröffentlichtParameterKontext laut HerstellerGewichte je Format
meta-llama/Llama-3.3-70B-Instruct12/202470,6 Mrd. (dense, nur Text)131.072 TokensBF16: 141,1 GB
FP8: 72,7 GB
meta-llama/Llama-4-Scout-17B-16E-Instruct04/2025109 Mrd. gesamt / 17 Mrd. aktiv (MoE, multimodal)10 Mio. TokensBF16: 217,3 GB
meta-llama/Llama-4-Maverick-17B-128E-Instruct04/2025400 Mrd. gesamt / 17 Mrd. aktiv (MoE, multimodal)1 Mio. TokensBF16: 803,2 GB
FP8: 416,8 GB
  • GB = 10⁹ Bytes, Summe der Gewichtsdateien im genannten Hugging-Face-Repository. Zusätzlich braucht der Betrieb Speicher für KV-Cache, Runtime und gegebenenfalls Bildverarbeitung. Stand Oktober 2026.

Lizenz

Llama: Lizenz und kommerzielle Nutzung

Lizenz

Llama 3.3 Community License + Acceptable Use Policy (Lizenztext, Acceptable Use Policy Llama 3.3)

  • Kommerzielle Nutzung: Ja, für Llama 3.3 70B Instruct. Wer mit eigenen Produkten oder Diensten am Veröffentlichungstag mehr als 700 Mio. monatlich aktive Nutzer hatte, braucht eine separate Lizenz von Meta.
  • Pflichten und Schwellen: Wer das Modell oder einen Dienst damit bereitstellt, legt die Lizenz bei und zeigt „Built with Llama“ gut sichtbar auf Website, Oberfläche oder in der Dokumentation an. Die Acceptable Use Policy ist einzuhalten. Ihre EU-Klausel betrifft multimodale Modelle; Llama 3.3 70B Instruct ist ein reines Textmodell.
  • Prüfstand: Stand Oktober 2026

Nicht im Angebot

  • Llama 4 Scout und Llama 4 Maverick sind multimodale Modelle. Die Acceptable Use Policy zu Llama 4 gewährt die Rechte aus Abschnitt 1(a) der Llama 4 Community License nicht an Personen mit Wohnsitz oder Unternehmen mit Hauptsitz in der EU. Die Ausnahme gilt nur für Endnutzer eines Produkts oder Dienstes, in das die Modelle eingebaut sind. Als Unternehmen in Deutschland bieten wir Llama 4 deshalb nicht an.

Technische Einordnung, keine Rechtsberatung. Maßgeblich ist der Lizenztext der eingesetzten Modellversion. Open-Source-LLM-Lizenzen im Vergleich

Serverstufe

Mindestens empfohlene Serverstufe für Llama

Die Empfehlung folgt aus der Größe der Gewichte plus Reserve für Kontext und Runtime.

ModellFormatGewichteMindestens empfohlenHinweis
Llama 3.3 70BFP872,7 GBManaged GPU Server 96Auf 96 GB bleiben nach den Gewichten rund 23 GB für Kontext und Runtime. Das begrenzt Kontextlänge und gleichzeitige Anfragen.
Llama 3.3 70BBF16141,1 GBManaged GPU Server 192–
Llama 4 ScoutBF16217,3 GBKeine unserer StufenNicht im Angebot: keine Rechte nach Abschnitt 1(a) für Unternehmen mit Hauptsitz in der EU.
Llama 4 MaverickFP8416,8 GBKeine unserer StufenNicht im Angebot: EU-Ausschluss in der Lizenz, außerdem größer als unsere größte Stufe mit 384 GB.
  • Welche Stufe für Ihren Einsatz passt, hängt von Kontextlänge und gleichzeitigen Anfragen ab. Wir prüfen das vor dem Angebot.
  • Meta veröffentlicht Llama 3.3 70B nur in BF16. Die FP8-Größe stammt aus dem Checkpoint von Red Hat AI im Format compressed-tensors, der unter der Llama 3.3 Community License steht. Die FP8- und NVFP4-Checkpoints von NVIDIA stehen zusätzlich unter der NVIDIA Open Model License.

Preis

Die Stufen des Managed GPU Servers

Managed GPU Server 24

1 × RTX PRO 4000 Blackwell, 24 GB GPU-Speicher

699 € netto / Monatmonatlich kündbar499 € netto Einrichtung einmalig

Für diese Familie relevant

Managed GPU Server 96

1 × RTX PRO 6000 Blackwell Max-Q, 96 GB GPU-Speicher

2.199 € netto / Monatmonatlich kündbar1.999 € netto Einrichtung einmalig

Für diese Familie relevant

Managed GPU Server 192

2 × RTX PRO 6000 Blackwell Max-Q, 192 GB GPU-Speicher

Preis und Laufzeit auf Anfrage

Managed GPU Server 384

4 × RTX PRO 6000 Blackwell Max-Q, 384 GB GPU-Speicher

Preis und Laufzeit auf Anfrage

Der Managed GPU Server 288 mit drei GPUs ist für mehrere Modelle nebeneinander gedacht, weil vLLM ein Modell nur bei durch die GPU-Zahl teilbaren Attention-Heads verteilt.

Alle Preise verstehen sich netto zuzüglich gesetzlicher Umsatzsteuer. Die Angebote richten sich an Unternehmen.

Zahlung
  • SEPA-Lastschrift
  • Visa
  • Mastercard
  • American Express
  • Apple Pay
  • Google Pay
  • PayPal
  • Überweisung

vLLM

Llama mit vLLM betreiben

Architektur, Quantisierung und Verteilung auf mehrere GPUs.

Architektur

Llama 3.3 70B nutzt LlamaForCausalLM, eine der am längsten von vLLM unterstützten Architekturen. Für den Betrieb ist kein zusätzliches Paket nötig.

Quantisierung

Meta veröffentlicht nur BF16-Gewichte. Für den Managed GPU Server 96 nutzen wir einen FP8-Checkpoint im Format compressed-tensors. Vor dem Angebot prüfen wir Herkunft, Lizenz und Antwortqualität des quantisierten Checkpoints.

Tensor-Parallelität

Mit 64 Attention-Heads und 8 KV-Heads lässt sich Llama 3.3 70B auf zwei oder vier GPUs verteilen. Für BF16 mit rund 141 GB empfehlen wir mindestens zwei RTX PRO 6000.

Kontext

Llama 3.3 unterstützt 131.072 Tokens. In FP8 auf einer GPU mit 96 GB bleibt wenig Speicher für den KV-Cache, die eingestellte Kontextlänge fällt dort kürzer aus. Den Wert legen wir nach Ihren Anfragen fest und nennen ihn im Angebot.

Betrieb durch WZ-IT

Was im Betrieb enthalten ist

Der Managed GPU Server ist eine betriebene Modellumgebung, kein leerer Server.

Managed GPU Server ansehen
Modell und API
  • Modell und vLLM

    Ein abgestimmtes Modell in der vereinbarten Quantisierung, bereitgestellt über eine gemanagte vLLM-Inferenzschicht.

  • OpenAI-kompatible API

    Anwendungen und Coding-Clients binden den Server über Basis-URL und API-Schlüssel an.

Oberfläche und Überwachung
  • Open WebUI

    Gemanagte Chat-Oberfläche für Teams, die das Modell ohne eigene Anwendung nutzen.

  • 24/7 Monitoring

    Host, GPU, vLLM und Open WebUI werden proaktiv überwacht, Störungen nach Service Level bearbeitet.

Pflege und Vertrag
  • Updates mit CVE-Einordnung

    Betriebssystem, Treiber, vLLM und Open WebUI werden geprüft und kontrolliert aktualisiert. Modellwechsel nur nach Absprache.

  • AVV und Dokumentation

    Auftragsverarbeitungsvertrag, dokumentierte Konfiguration und ein persönlicher Ansprechpartner.

Leistungsumfang, Preise und Mehr-GPU-Server stehen auf der Produktseite.

Häufige Fragen zu Llama Hosting

Lizenz, Serverstufe, Datenweg und Betrieb

Bewertungen & Projekte

Was Kunden über die Zusammenarbeit sagen

Von der Wissensdatenbank mit KI-Assistent über die lokale KI-Integration bis zu Datenhoheit und laufendem Betrieb.

KI-Plattform

Wir waren auf der Suche nach einer sicheren, aber trotzdem einfach nutzbaren Alternative zu den großen amerikanischen Anbietern und sind auf WZ-IT gestoßen. WZ-IT hat uns bei der Auswahl der passenden Modelle beraten und die Anbindung für uns umgesetzt. Vorab konnten wir alles in Ruhe auf einer Testinstanz ausprobieren. Heute betreibt WZ-IT Open WebUI für uns auf unserer eigenen Domain, mit komfortablem Microsoft-Login und Open-Source-Modellen, die bei einem deutschen Anbieter gehostet sind. Unser Team kann damit produktiv mit KI arbeiten, ohne auf externe Tools oder Schatten-KI auszuweichen. Die Zusammenarbeit ist unkompliziert, Rückfragen werden schnell und verständlich beantwortet. Mit WZ-IT haben wir außerdem einen Partner an der Seite, mit dem wir weitere KI-Projekte angehen können.
Carl-Frederic KornHead of E-Commerce & Online Marketing, Krüger Dirndl GmbH
KI-Plattform ansehen

Wissensmanagement & KI

Das Wissen aus vielen Jahren Solarbranche steckte im Kopf unseres früheren Geschäftsführers und steckt bis heute in den Köpfen unserer Mitarbeitenden. Wir wollten es sichern, nicht als Ordner voller Notizen, sondern so, dass wir im Alltag Fragen stellen und belastbare Antworten bekommen. WZ-IT hat uns dabei von Anfang an beraten und verschiedene Ansätze und Wissensmanagementsysteme mit uns gegeneinander abgewogen, bevor wir uns entschieden haben. Umgesetzt wurde eine individuelle Wissensdatenbank mit KI-Assistent, die Gespräche, Notizen, Dokumentationen und Handbücher zusammenführt: von der Plattform über das Onboarding unseres Teams bis zur Begleitung im Betrieb. Gespräche werden transkribiert und Fakten extrahiert, wir prüfen und korrigieren alles selbst, bevor es gespeichert wird, denn wir wollen einer KI nicht blind vertrauen. Das System läuft in unserer eigenen Umgebung, die Daten bleiben bei uns. Überrascht hat uns, wie effizient das ging: WZ-IT hat bestehende Open-Source-Software genutzt und gezielt auf unsere Anforderungen erweitert, statt eine teure Eigenentwicklung von Grund auf zu verkaufen, wie es bei IT-Dienstleistern sonst oft üblich ist. Timo und Robin haben unser eigentliches Problem verstanden, die Wissenssicherung beim Generationswechsel, und es Schritt für Schritt umgesetzt: vom Proof of Concept über Aufbau und Validierung mit unseren eigenen Daten bis in den produktiven Betrieb, und dabei alles verständlich erklärt. Als Nächstes wollen wir das auf das Wissen unserer Mitarbeitenden ausweiten, damit auch das nicht an einzelnen Personen hängt.
Joshua von AmelnGeschäftsführer, solarwerkstatt berlin GmbH
Wissenstransfer ansehen

Kundenstimmen ansehen

International

Ausgewählte Projekte

WZ-IT plant, entwickelt und betreibt Infrastruktur und Software für Kunden in Deutschland und international. Projekte setzen wir remote um und begleiten sie auch nach dem Go-live im laufenden Betrieb.

Modell prüfen lassen

Modell und Serverstufe prüfen lassen

Nennen Sie Modell, Kontextlänge und gleichzeitige Anfragen. Wir prüfen Checkpoint, Lizenz und Serverstufe vor dem Angebot.

  • Sie sprechen direkt mit Timo und Robin, den technisch Verantwortlichen
  • Fachliche Einschätzung Ihrer Situation
  • Konkrete nächste Schritte für Infrastruktur, Software oder KI

Das Gespräch ist kostenfrei und unverbindlich.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.
Jakob ÖschlbergerInno7 GmbH
Timo und Robin, Gründer von WZ-IT

Welche Serverstufe soll geprüft werden?

Die Auswahl ist unverbindlich. Wir bestätigen Modell-Fit, Lizenz und Laufzeit vor einem Angebot.

Antwort in der Regel innerhalb eines Werktags. Bitte senden Sie noch keine Zugangsdaten.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.
Jakob ÖschlbergerInno7 GmbH