SGLang Hosting in Deutschland
WZ-IT plant SGLang als Inferenzschicht für lokale KI, benchmarked Modelle und dimensioniert GPU, Parallelität, Kontext und Verfügbarkeit für den realen Workload.
Über die Technologie
Inferenz anhand realer Last statt Datenblatt auslegen
Antwortzeit und Durchsatz hängen von Modell, Quantisierung, Kontextlänge, Batch-Größe, Parallelität und GPU-Architektur ab. Ein einzelner Token-Wert beschreibt keinen Unternehmensbetrieb.
Wir testen Zielmodelle mit repräsentativen Eingaben und planen Routing, Modell-Cache, Metriken, API-Schutz und Skalierung als Teil der Plattform.
SGLang für produktive Modellbereitstellung
Modelle performant bedienen
Unterstützte Sprach- und multimodale Modelle mit optimiertem Scheduling und Caching bereitstellen.Durchsatz messen
Latenz, Time to First Token, Token-Durchsatz und Parallelität mit realistischen Lastprofilen benchmarken.APIs bereitstellen
OpenAI-kompatible Endpunkte für freigegebene Anwendungen und interne Plattformen verfügbar machen.Modelle verwalten
Versionen, Quantisierungen, Startparameter und Rollout-Pfade nachvollziehbar dokumentieren.Zugriff absichern
API-Authentifizierung, Netzwerkpfade, Mandantengrenzen und administrative Zugänge schützen.Plattformen integrieren
Open WebUI, LiteLLM, Agents, RAG-Dienste und eigene Anwendungen mit der Inferenzschicht verbinden.Migration und Übernahme
Bestehende Daten und Konfigurationen prüfen, testweise übernehmen und mit einem kontrollierten Cutover in den Betrieb überführen.Identität und sichere Zugänge
SSO, Rollen, administrative Wege und externe Zugriffe passend zu Anwendung und vorhandener Infrastruktur absichern.Backup und Wiederherstellung
Alle zustandsbehafteten Komponenten konsistent sichern und den Wiederherstellungsweg für den vereinbarten Umfang dokumentieren.Updates, Monitoring und Betrieb
Anwendung und technische Abhängigkeiten überwachen, kontrolliert aktualisieren und nach vereinbartem Service Level betreiben.
Betrieb statt Einzelinstallation
SGLang als performante LLM-Inferenzplattform betreiben
Modell, Quantisierung, Runtime, GPU, Kontext und Scheduling bilden eine Einheit. Verlässliche Kapazitätsaussagen entstehen erst durch Benchmarks mit realistischen Anfragen.
Inferenz-Runtime
SGLang, Kernel, Treiber und Startparameter reproduzierbar bereitstellen.Modelle und Endpunkte
Gewichte, Quantisierung, Kontext und API-Kompatibilität versioniert verwalten.Cache und Scheduling
KV-Cache, Batching, Parallelität und Speichergrenzen passend zur Last optimieren.Benchmark und Betrieb
Latenz, Durchsatz, Fehler, GPU-Auslastung und Updates kontinuierlich kontrollieren.
Bereich
Verantwortung für Inferenz und Modellnutzung
WZ-IT betreibt die technische Runtime. Modellwahl, fachliche Qualität und zulässige Nutzung werden gemeinsam beziehungsweise kundenseitig verantwortet.
| Bereich | Verantwortung | Leistung und Abgrenzung |
|---|---|---|
| SGLang-Runtime | WZ-IT | Deployment, Treiber, Container, Parameter, Monitoring und Updates. |
| Modellartefakte | WZ-IT | Kontrollierter Download, Versionierung, Speicher und Startkonfiguration. |
| Lastprofil und Benchmarks | Gemeinsam | Wir messen technisch; der Kunde liefert typische Prompts, Kontext und Parallelität. |
| API-Integration | Gemeinsam | Authentifizierung, Limits und Clients werden gemeinsam getestet. |
| Modellfreigabe und Inhalte | Kunde | Eignung, Lizenzen, Ausgaben und fachliche Grenzen verantwortet der Kunde. |
| Routing und Skalierung | Optional durch WZ-IT | Mehrere Modelle, GPUs, Gateways und Autoscaling werden separat geplant. |
Hosting & Betrieb
Was kostet SGLang Hosting?
Wir verbinden die passende Compute-Größe mit laufendem Betrieb, Backups, Monitoring und einem Service Level, das zur Kritikalität von SGLang passt. Hochverfügbarkeit und Recovery-Ziele werden bei Bedarf separat geplant.
Hosting für SGLang in Deutschland: DSGVO-konformer Betrieb
- Eine verwaltete Standard-Anwendung enthalten
- .de-Domain inklusive oder Ihre Domain bzw. Subdomain per CNAME
- Deutsche Rechenzentren mit ISO 27001 und BSI C5, keine US-Clouds
- 99,9 % Standardverfügbarkeit im Monat
- Regelmäßige Updates, CVE-Monitoring und priorisierte Patches bei kritischen Lücken
- Zentrale Logs mit unveränderbarer Aufbewahrung
- Tägliches Backup mit 7 Tagen Aufbewahrung
- 5 TB ausgehender Traffic je Workload und Monat
- 24/7 proaktives Monitoring
- Fünf Service Levels, 24/7-P1-Reaktion mit Production oder Critical
- Persönlicher technischer Ansprechpartner
Instanzgrößen und Preise je Monat
- XS · 2 vCPU, 2 GB RAM, 40 GB NVMe SSD
- 99,90 € gesamt
- S · 2 vCPU, 4 GB RAM, 80 GB NVMe SSD
- 129,90 € gesamt
- M · 4 vCPU, 8 GB RAM, 80 GB NVMe SSD
- 159,80 € gesamt
- L · 8 vCPU, 16 GB RAM, 80 GB NVMe SSD
- 219,80 € gesamt
- XL · 16 vCPU, 32 GB RAM, 80 GB NVMe SSD
- 329,80 € gesamt
- Zusätzlicher Speicher je 50 GB
- +4,99 €
Bereitstellung unkompliziert innerhalb weniger Werktage
- Überweisung
Alle Preise verstehen sich netto zuzüglich gesetzlicher Umsatzsteuer. Die Angebote richten sich an Unternehmen. Alle On-Premise-Optionen
Andere Wege
7 Tage kostenlos testenTestinstanz anfragen
Wir richten eine Testinstanz für Sie ein, in der Regel am nächsten Werktag. Ohne Zahlungsdaten. Nach sieben Tagen wird sie gelöscht, sofern Sie nicht übernehmen.
Testinstanz anfragen →Bring Your Own InfrastructureInstallation auf Ihrer Infrastruktur
Installation auf Ihrer eigenen Infrastruktur · On-Premise oder in Ihrer Cloud · Kontrolle über Datenstandort und Zugriffe · Individuelle Konfiguration · Vollständige Dokumentation · Initiale Einrichtung & Konfiguration · Optionaler Support- und Wartungsvertrag
Angebot anfragen →On-Premise-OptionSGLang auf Hardware in Ihrem Unternehmen betreiben
Als Alternative zum Managed Hosting im Rechenzentrum stellt WZ-IT die Hardware bereit, richtet SGLang ein und übernimmt Absicherung, Monitoring, Updates, Backup und technischen Support. Der Zugriff kann auf das interne Netz begrenzt oder über VPN und vorhandene Identitäten freigegeben werden.
WZ-IT App Node ansehen →Sizing und Bereitstellung
SGLang anhand realer Modell- und Lastziele dimensionieren
Parameterzahl allein genügt nicht. Gewichtsspeicher, KV-Cache, Kontext, Batch-Größe, GPUs und Zielwerte für TTFT und Tokenrate müssen zusammen betrachtet werden.
| Nutzungsszenario | Technischer Startpunkt | Wichtige Einflussfaktoren |
|---|---|---|
| Ein Modell und wenige parallele Chats | Modell- und GPU-Benchmark | Quantisierung, Kontext und gewünschte Interaktivität werden praktisch gemessen. |
| Mehrere Teams oder API-Clients | Concurrency-Test | Durchsatz, Warteschlange und Antwortzeit werden bei realistischer Parallelität geprüft. |
| Lange Kontexte oder Agenten | Speicher- und Prefill-Assessment | KV-Cache, Prefix-Caching und Input-Last bestimmen die Kapazität. |
| Mehrere GPUs oder Modelle | Cluster- und Routing-Architektur | Parallelisierung, Verteilung, Failover und Modellrouting werden separat geplant. |
- Ein Preis folgt erst nach Auswahl von Modell, Hardware, Kontext, Parallelität und Zielwerten.
Sizing und Bereitstellung
Betriebsmodelle für SGLang
Die Runtime wird auf dedizierter GPU-Hardware nahe an den aufrufenden Anwendungen betrieben.
Dedizierte GPU-Infrastruktur
Geplanter Inferenzdienst auf europäischer Infrastruktur nach Benchmark.Ihre GPU-Cloud
Deployment in Ihrem Account mit passender GPU- und Netzwerkklasse.On-Premise
Betrieb auf vorhandenen GPU-Servern oder einer individuell geplanten Plattform.Hybrid
Lokale und externe Inferenzendpunkte über ein kontrolliertes Gateway kombinieren.
Zielarchitektur
LLM-Inferenz als klar begrenzten Plattformdienst bereitstellen
Clients greifen nicht direkt auf GPUs zu, sondern über einen authentifizierten und messbaren API-Pfad.
Chats, Agents und Anwendungen
OpenAI-kompatible oder projektspezifische Clients.
Inference Gateway
TLS, Authentifizierung, Quoten, Timeouts und Request-Limits.
Mandanten und API-Zugänge
Getrennte Schlüssel, Modelle und Nutzungsgrenzen.
SGLang Runtime
Scheduling, Batching, Cache und Modellserving auf GPU-Ressourcen.
GPU und Treiber
Passende Beschleuniger, Runtime und Kernel für das gewählte Modell.
Model Repository
Versionierte Gewichte, Quantisierungen und kontrollierte Artefakte.
Metriken und Logs
TTFT, Tokenrate, Queue, Speicher, Fehler und Kapazitätsgrenzen.
Benchmarkwerte gelten nur für die getestete Kombination aus Modell, Runtime, Hardware, Kontext und Lastprofil.
Rolle im Gesamtsystem
Ergänzende Leistungen für SGLang
Diese Seite deckt Installation und vereinbarten Plattformbetrieb für SGLang ab. Eigener Code, die Zugriffsschicht und besondere Vertraulichkeitsanforderungen bleiben klar getrennte, bei Bedarf ergänzbare Verantwortungsbereiche.
Eigenen Code und Integrationen betreuen
Individuelle Erweiterungen, Schnittstellen und Dependencies kontrolliert aktualisieren und weiterbetreiben.
Leistung ansehen Zugriff absichernNutzer, Standorte und Systeme verbinden
Identitätsbasierte Zugänge und private Netzwerkpfade als eigene Betriebsschicht ergänzen.
Leistung ansehen Vertraulich betreiben§203-Anforderungen gesondert einordnen
Für Berufsgeheimnisträger Vertrags-, Zugriffs- und Infrastrukturvorgaben im eigenen Betriebsmodell abgrenzen.
Leistung ansehenDrei fachlich angrenzende Wege statt einer langen Liste weiterer Produkte.
Gesamtsystem ansehenHäufige Fragen zu SGLang Hosting
Antworten zu Modellen, GPUs, Benchmarks und Betrieb.
- SGLang Hosting kostet bei WZ-IT ab 99,90 € netto im Monat. Enthalten sind eine eigene Instanz der Größe XS (2 vCPU, 2 GB RAM, 40 GB NVMe SSD), Updates, tägliches Backup mit 7 Tagen Aufbewahrung, 24/7-Monitoring, 5 TB ausgehender Traffic und eine Erstreaktion auf kritische Störungen bis Ende des nächsten Arbeitstags. Größere Instanzen und höhere Service Levels kosten Aufpreis; der Konfigurator zeigt den Gesamtpreis.
- Der Einstieg ist eine dedizierte Instanz der Größe XS mit 2 vCPU, 2 GB RAM, 40 GB NVMe SSD für 99,90 €; sie eignet sich für schlanke Anwendungen sowie Test- und Entwicklungsumgebungen. Größe S mit 2 vCPU, 4 GB RAM, 80 GB NVMe SSD kostet 129,90 €. Welche Größe SGLang im produktiven Betrieb braucht, prüfen wir vor der Bereitstellung. Größe M (4 vCPU, 8 GB RAM, 80 GB NVMe SSD) kostet zusätzlich 29,90 € netto, L (8 vCPU, 16 GB RAM, 80 GB NVMe SSD) zusätzlich 89,90 € netto und XL (16 vCPU, 32 GB RAM, 80 GB NVMe SSD) zusätzlich 199,90 € netto, jeweils im Monat. Zusätzlicher Speicher kostet 4,99 € netto je 50 GB und Monat.
- Nein. WZ-IT begrenzt die Zahl der Nutzer nicht. Wie viele Nutzer gleichzeitig flüssig arbeiten, hängt von der Nutzung und der gewählten Instanzgröße XS bis XL ab.
- SGLang Hosting ist monatlich kündbar, ohne Mindestlaufzeit, mit einer Frist von 30 Tagen zum Monatsende.
- Wählbar sind Deutschland und die Schweiz, zu denselben Preisen und jeweils ohne US-Clouds. Die Rechenzentren sind ISO-27001-zertifiziert; in Deutschland betreiben wir zusätzlich bei einem deutschen Anbieter, dessen Rechenzentren BSI-C5-testiert sind. Die §203 Managed Cloud für Berufsgeheimnisträger ist nur in Deutschland verfügbar.
- Eine produktive Instanz stellen wir in der Regel innerhalb weniger Werktage nach Vertragsabschluss bereit. Zum Ausprobieren richten wir eine Testinstanz ein, in der Regel am nächsten Werktag; sie läuft 7 Tage kostenlos und ohne Zahlungsdaten.
- Ja. Eine .de-Domain ist in jedem Hosting inklusive. Alternativ binden Sie Ihre eigene Domain oder Subdomain per CNAME-Eintrag ein.
- SGLang ist für leistungsorientiertes Serving von Sprach- und multimodalen Modellen interessant, besonders wenn Caching, Parallelität und strukturierte Ausführung wichtig sind.
- Nicht ohne Lastprofil. Wir messen Kontextlänge, Input- und Outputmenge, Parallelität und Zielantwortzeit und leiten daraus belastbare Kapazitätsgrenzen ab.
- Nein. GPU-Typ, Anzahl und Betriebsmodell werden nach Modell- und Last-Assessment separat angeboten.
- Ja. Wir installieren die Runtime auf geeigneter lokaler GPU-Hardware und binden API, Monitoring, Updates und Modellverwaltung ein.
- Ja. Für ein konkretes Modell können wir beide Runtimes mit identischen Prompts, Kontexten und Concurrency-Stufen benchmarken.
Wissen
Mehr zu SGLang
Tutorials & Guides
- Eigenes ChatGPT self-hosted: vLLM mit Qwen3.5-122B auf zwei RTX PRO 6000 BlackwellEin eigenes ChatGPT, das vollständig im eigenen Haus läuft: eine vertraute Chat-Oberfläche, dahinter ein großes Sprachmodell auf eigener Hardware, ohne dass ein einziger Prompt an...
- GPT-OSS 120B auf dem AI Cube: OpenAIs Open-Weight-Modell lokal betreibenOpenAI hat GPT-OSS 120B am 5. August 2025 als Open-Weight-Reasoning-Modell veröffentlicht. Durch die ab Werk verwendete MXFP4-Quantisierung positioniert OpenAI das Modell für eine einzelne GPU...
- Lokale KI-Inferenz mit dem AI Cube: KI im eigenen Netzwerk betreibenLokale KI-Inferenz bedeutet, dass ein Sprach- oder Multimodalmodell auf eigener Hardware statt über eine öffentliche API ausgeführt wird. Unternehmen gewinnen damit Kontrolle über Datenwege, Modellwahl...
Passende Lösungen für Ihr Projekt
- Open WebUIBenutzerfreundliche Web-Oberfläche für LLMs mit RAG-Pipeline, Dokumenten-Chat und Ollama-Integration
- LibreChatMulti-Provider-KI-Chat mit lokalen und externen Modellen, Agents, MCP und granularer Konfiguration.
- LangfuseSelf-hosted LLM-Observability für Tracing, Prompt Management, Evaluationen, Kosten und Qualitätssicherung
- vLLMPerformante Inferenz- und Serving-Engine für große Sprachmodelle mit hoher Parallelität.
- OllamaLokale LLM-Inferenz-Engine für souveräne KI-Stacks mit Modellverwaltung und OpenAI-kompatiblen Workflows
- LiteLLMMulti-LLM-Gateway mit OpenAI-kompatibler API, Provider-Routing, Fallbacks, Budgets und Virtual Keys
Bewertungen & Projekte
Kundenstimmen und Projekte weltweit
WZ-IT hat unsere Studio-Infrastruktur von dezentralen Einzelgeräten auf eine zentrale Plattform gehoben: Jeder Standort ist per VPN sicher angebunden, neue Geräte werden automatisiert onboardet und ein kompletter Standort wird per Vorlage provisioniert - ohne manuelle Schritte vor Ort. Was mich am meisten beeindruckt hat, ist die Breite und Tiefe des Wissens: Timo und Robin sind kein normaler IT-Dienstleister, der einen Server aufsetzt und wieder geht. Die beiden denken sich in hochkomplexe Infrastruktur- und Softwarethemen rein, arbeiten sich in jede Anforderung ein, die wir ihnen hinlegen, und bauen Vernetzung, Provisioning und Betrieb so auf, dass am Ende alles zusammenpasst. WZ-IT ist ein hervorragender Partner, wenn es um komplexe Software-, Netzwerk- und Architekturprojekte geht.
Steve KirchnerGeschäftsführer, nextGYM GmbH
International
Gebaut im Ruhrgebiet. Produktiv weltweit.
WZ-IT plant, entwickelt und betreibt Infrastruktur und Software für Kunden in Deutschland und international. Projekte setzen wir remote um und begleiten sie auch nach dem Go-live im laufenden Betrieb.
Ausgewählte Projekte
- LiveRemote-Access-Plattform für verteilte WasseraufbereitungsanlagenABCO Water Systems · Australien · Secure Access & OT
- 81%AWS-Migration mit deutlich geringeren laufenden KostenEVA Real Estate · VAE · Cloud-Exit & Infrastruktur
- 98%Neue Standorte in Minuten statt Stunden bereitstellennextGYM GmbH · Deutschland · Automatisierung & IoT
Kundenstimmen ansehen
- Proxmox & Backup absichern lassen
- Souveräne Infrastruktur modernisieren
- Souveränen Open-Source-Stack planen
- Lokale KI-Lösung integrieren
- Legacy-Software modernisieren
- Cloud-Kosten senken - bis −81 %
- HA-Proxmox-Cluster aufbauen
- Mit Managed Proxmox virtualisieren
- Open-Source-KI-Architektur entwerfen
- Kollaboration managen lassen
- Vom Prototyp in den Betrieb
- Standorte und Cluster sicher verbinden
Hosting & Betrieb
Hosting und Betrieb für SGLang anfragen
Nennen Sie kurz Ausgangslage und Ziel für SGLang. Wir ordnen Infrastruktur, Integration und laufenden Betrieb ein.
- Direkt mit Timo und Robin - kein Vertrieb, kein Sales-Pitch
- Fachliche Einschätzung Ihrer Situation
- Konkrete nächste Schritte für Infrastruktur, Software oder KI
Das Gespräch ist unverbindlich und kostenlos.
Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.
Jakob ÖschlbergerInno7 GmbH
Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.