WZ-IT Logo
Expertise
vLLM Logo

vLLM: Managed Hosting, Installation und Betrieb

WZ-IT plant, installiert und betreibt vLLM als Managed Hosting, in Ihrer Cloud oder on-premises. Je nach Zielbild übernehmen wir Migration, sichere Netzwerk- und Identity-Anbindung, Monitoring, Backups, Updates sowie Integrationen und Weiterentwicklung.

Alle Expertisen

Unternehmen weltweit vertrauen WZ-IT

Unternehmen weltweit vertrauen WZ-IT

Stadtwerke BrühlDGHO e.V.ABCO Water SystemsGolem.deEVADXBnextGYMAInergyml&sOdiseo SolutionsAnnotaARGEAphy AG
Über die Technologie

Über vLLM

Technology Logo

vLLM ist ein Inferenz-Server für LLM-Workloads mit parallelen Anfragen und großen Modellen. PagedAttention und Continuous Batching unterstützen eine effizientere Nutzung des GPU-Speichers; der tatsächliche Durchsatz hängt von Modell, Hardware und Konfiguration ab.

Wir richten vLLM produktionsreif ein: Tensor-Parallelität über mehrere GPUs (TP), passende Quantisierung wie FP8, dimensioniertes Kontextfenster, OpenAI-kompatible API, Auth-Gateway, Monitoring und saubere Anbindung an Open WebUI, LiteLLM und RAG-Pipelines. Auf unserer Infrastruktur oder auf Ihrer eigenen GPU-Hardware.

Self-Hosted
Architektur
Integration
Managed Operations

Warum vLLM mit WZ-IT?

Große Modelle, mehrere GPUs, lange Kontexte und parallele Anfragen benötigen mehr als ein Standard-Deployment. Wir planen GPU-Topologie, Tensor-Parallelität, VRAM-Budget, KV-Cache, Batching und Zugriffswege passend zum gemessenen Lastprofil.

vLLM steht unter Apache-2.0-Lizenz - eine saubere, vendor-lock-in-freie Basis für souveräne KI-Infrastruktur. Wir übernehmen Setup, Konfiguration, Dokumentation und auf Wunsch den laufenden Betrieb, auch wenn die GPU-Hardware bei Ihnen steht.

Features

vLLM Funktionen für Unternehmen

Hochdurchsatz-Inferenz

PagedAttention und Continuous Batching liefern bei vielen parallelen Anfragen ein Vielfaches des Durchsatzes klassischer Setups. Ideal für interne KI-Assistenten mit vielen Nutzern.

Multi-GPU mit Tensor-Parallelität

Große Modelle, die nicht auf eine GPU passen, verteilen wir per Tensor-Parallelität (TP) über mehrere Karten - etwa ein 122B-Modell über zwei RTX PRO 6000.

OpenAI-kompatible API

vLLM stellt OpenAI-kompatible Endpunkte bereit. Welche Anwendungen, SDKs und Funktionen ohne Anpassung arbeiten, wird für Version und verwendete API-Funktionen getestet.

Quantisierung & VRAM-Effizienz

Mit FP8, AWQ oder GPTQ holen wir mehr Modell und mehr Kontext aus dem vorhandenen VRAM - abgestimmt auf Qualität, Antwortzeit und Hardware.

BYOI: auf Ihrer GPU-Hardware

Sie stellen die GPU-Server, wir setzen vLLM auf, konfigurieren Modell, Tensor-Parallelität und API, dokumentieren alles und übergeben sauber - Bring Your Own Infrastructure.

Produktionsbetrieb

Monitoring, Auto-Restart, Updates, Modelltests, Security-Hardening und Support machen aus einem Inferenz-Container eine belastbare KI-Plattform.

Sie haben Fragen zu den Features?
AI Stack

vLLM im produktiven AI-Stack

Inferenz-Schicht

vLLM übernimmt das Hochdurchsatz-Serving der Modelle und bildet die Basis für Chat, RAG, Agenten und interne KI-APIs mit vielen gleichzeitigen Nutzern.

Betrieb & Lifecycle

Wir kümmern uns um GPU-Auslastung, Tensor-Parallelität, Modellwechsel, Updates, Health Checks und Auto-Restart für stabile produktive Umgebungen.

Datensouveränität

Zugriff über VPN, SSO, interne Netze oder API-Gateways. Modelle können auf kontrollierter Infrastruktur laufen; vorgeschaltete und nachgelagerte Dienste werden in der Datenflussanalyse mitberücksichtigt.

Infrastruktur, Integration und Betrieb

vLLM als Teil Ihrer Infrastruktur

Wir stellen nicht nur eine Anwendung bereit. WZ-IT plant die technische Architektur, bindet Netzwerk und Identitäten an, übernimmt den vereinbarten Betrieb und entwickelt Integrationen weiter, wenn der Standard nicht ausreicht.

Architektur und Migration

Sizing, Zielumgebung, Datenübernahme, Cutover und Wiederanlauf werden vor dem produktiven Betrieb geklärt.

Netzwerk und Identity

SSO, sichere Zugänge, interne Systeme und vorhandene Security-Komponenten werden passend eingebunden.

Monitoring und Service Level

Updates, Backups, technische Überwachung und Reaktionswege folgen einem transparenten Betriebsumfang.

Integration und Weiterentwicklung

APIs, Automatisierungen und individuelle Erweiterungen können über die reine Bereitstellung hinaus umgesetzt werden.

Der konkrete Umfang hängt von Anwendung, Edition, Infrastruktur und Kritikalität ab. Herstellerlizenzen und Sonderkomponenten werden separat ausgewiesen.

Zielarchitektur

vLLM kontrolliert in Ihre Infrastruktur einbetten

KI-Anwendungen benötigen neben der Oberfläche kontrollierte Modellzugänge, Wissensquellen, Berechtigungen und Beobachtbarkeit. Wir planen diese Datenflüsse als zusammenhängenden Stack.

Modelle, Erweiterungen und Datenquellen werden nicht pauschal freigeschaltet. Berechtigungen, Datenabfluss, Kosten und fachliche Kontrolle werden je Anwendungsfall bewertet.

Managed Hosting & Betrieb

vLLM Hosting in Deutschland: DSGVO-konformer Betrieb

Managed Hosting

Hosting und laufender Betrieb

Ein klarer Betriebsumfang statt einer unübersichtlichen Hosting-Pauschale.

Sizing nach Nutzerzahl, Lastprofil und Zielarchitektur
Dedizierte Ressourcen passend zur Anwendung
Deutscher Anbieter, deutsche Rechenzentren, keine US-Clouds
ISO-27001-zertifizierte und BSI-C5-testierte Rechenzentren
CVE- und Security-Advisory-Monitoring für Betriebssystem und verwaltete Anwendung, regelmäßige Updates und priorisierte Einspielung verfügbarer Patches für kritische Lücken
Zentrale Sammlung vereinbarter System- und Betriebslogs mit unveränderbarer Aufbewahrung
24/7 proaktives Monitoring
Backup und Wiederherstellung nach vereinbarter Architektur
Fünf klar abgegrenzte Service Levels
24/7-P1-Reaktion mit Production oder Critical
Persönlicher technischer Ansprechpartner
Preis nach technischem Assessment
Individuelles Angebot
Modulares Pricing nach Ihren Anforderungen - Service Level, Apps und Compute einzeln wählbar.
DCs
ISO 27001 / BSI C5
24/7
Monitoring
DSGVO
Anforderungen

Was im Managed Hosting geregelt ist

Compute, Anwendungen, Speicher und Reaktionszeit werden getrennt ausgewiesen. So sehen Sie, was im laufenden Betrieb enthalten ist und welche Anforderungen erst nach einem technischen Assessment angeboten werden.

Bring Your Own Infrastructure

Installation auf Ihrer Infrastruktur

Installation auf Ihrer eigenen Infrastruktur
On-Premise oder in Ihrer Cloud
Kontrolle über Datenstandort und Zugriffe
Individuelle Konfiguration
Vollständige Dokumentation
Initiale Einrichtung & Konfiguration
Optionaler Support- und Wartungsvertrag
Preis auf Anfrage
zzgl. optionaler Support & Wartung

Individuelle Lösung gewünscht?

Wir planen auch individuelle vLLM-Architekturen, Integrationen und Migrationsprojekte. Kontaktieren Sie uns für ein technisches Assessment.

E-Mail schreiben
Kalkulator

Betriebsumfang und Kosten für vLLM planen

Wählen Sie einen technischen Startpunkt, zusätzlichen Speicher und das gewünschte Service Level. Wir prüfen die Auswahl anschließend gegen Anwendung, Lastprofil, Integrationen und Zielarchitektur.

Werden Berufsgeheimnisse nach § 203 StGB verarbeitet?

Wählen Sie zuerst das Betriebsmodell. Die separate §203 Managed Cloud beginnt ab 499,90 € netto im Monat; der endgültige Umfang und Preis werden auf Anfrage festgelegt.

Workloads

Ein Workload ist eine Compute-Instanz mit den darauf vereinbarten Anwendungen.

Compute je Workload

Zusätzliche Standard-Anwendungen

Ein Standard-App je Workload ist bereits enthalten. Zusätzliche dedizierte Server zählen als weitere Workloads.

Zusätzlicher Blockspeicher

Zusätzlichen Speicherbedarf für Daten, Artefakte und Backups vormerken.

TB

Individuelle Backup-Aufbewahrung

Wir setzen auch individuelle Sicherungsintervalle und Aufbewahrungsfristen um. Zum Beispiel: tägliche Sicherungen für 30 Tage und eine monatliche Sicherung für 12 Monate. Umfang, Speicherbedarf und Zusatzkosten werden separat vereinbart.

Ausfallsicherheit

Das Standard-Hosting läuft auf einer einzelnen Instanz ohne Hochverfügbarkeit. Für individuelle Architekturen wird die Ausfallsicherheit separat vereinbart.

Zero Downtime auf Anfrage

Verteilter Betrieb mit mehreren Instanzen, Datenbank-Cluster und rollierenden Updates, sodass ein Node-Ausfall keine Unterbrechung verursacht. Nur für dafür geeignete Anwendungen; Auslegung und Preis nach technischer Prüfung.

Service Level

24/7-Bereitschaft

Für P1-Incidents in geschäftskritischen Produktionsumgebungen.

Rolle im Gesamtsystem

Ergänzende Leistungen für vLLM

Diese Seite deckt Installation und vereinbarten Plattformbetrieb für vLLM ab. Eigener Code, die Zugriffsschicht und besondere Vertraulichkeitsanforderungen bleiben klar getrennte, bei Bedarf ergänzbare Verantwortungsbereiche.

Drei fachlich angrenzende Wege statt einer langen Liste weiterer Produkte.

Alle Preise verstehen sich netto zuzüglich gesetzlicher Umsatzsteuer. Die Angebote richten sich an Unternehmen.

Gesamtsystem ansehen

Anfrage

Hosting und Betrieb für vLLM anfragen

Nennen Sie kurz Ausgangslage und Ziel für vLLM. Wir ordnen Infrastruktur, Integration und laufenden Betrieb ein.

Welche vLLM-Leistung benötigen Sie?

Wählen Sie den passenden Einstieg und ergänzen Sie den technischen Kontext.

Wie sollen wir antworten?

Antwort in der Regel innerhalb eines Werktags. Bitte keine Zugangsdaten übermitteln.

Powered by WZ-IT

Lokaler KI-Server oder individuelle GPU-Infrastruktur

Der AI Cube deckt den kompakten Einstieg ab. Für größere Modelle, Rackmount oder hohe Parallelität planen wir individuelle GPU-Systeme.

Managed GPU Server

Dedizierte NVIDIA GPU-Server in Deutschland inklusive abgestimmtem Modell, vLLM-Inferenzschicht, Open WebUI und laufendem Managed-Betrieb.

  • 20 oder 96 GB dedizierter GPU-Speicher
  • 24/7 Monitoring mit wählbarem Service Level
  • Modell, vLLM und Open WebUI inklusive
  • Serverstandort Deutschland
GPU Server entdecken

AI Cube

Kompakter lokaler KI-Server auf NVIDIA-GB10-Basis. Vollständig eingerichtet, gehärtet und mit einem vorab abgestimmten Modell vorbereitet.

  • 128 GB Unified Memory
  • Open WebUI und lokale Modell-Runtime
  • Basiseinrichtung und Härtung enthalten
  • Ersteinrichtung und Support inklusive
Lokalen KI-Server ansehen
Bewertungen

Ausgewählte Kunden und Projekte in Deutschland und international

Stadtwerke BrühlDGHO e.V.ABCO Water SystemsAnnotaCORGOSRekorderKeymateFührerscheinmacherSolidProofARGE
Boese VA
nextGYM
DeutschlandVernetzung & ProvisioningVPNAutomatisierungBetrieb

WZ-IT hat unsere Studio-Infrastruktur von dezentralen Einzelgeräten auf eine zentrale Plattform gehoben: Jeder Standort ist per VPN sicher angebunden, neue Geräte werden automatisiert onboardet und ein kompletter Standort wird per Vorlage provisioniert - ohne manuelle Schritte vor Ort. Was mich am meisten beeindruckt hat, ist die Breite und Tiefe des Wissens: Timo und Robin sind kein normaler IT-Dienstleister, der einen Server aufsetzt und wieder geht. Die beiden denken sich in hochkomplexe Infrastruktur- und Softwarethemen rein, arbeiten sich in jede Anforderung ein, die wir ihnen hinlegen, und bauen Vernetzung, Provisioning und Betrieb so auf, dass am Ende alles zusammenpasst. WZ-IT ist ein hervorragender Partner, wenn es um komplexe Software-, Netzwerk- und Architekturprojekte geht.

Steve Kirchner

Steve Kirchner

Geschäftsführer, nextGYM GmbH

Pascal Block
DeutschlandProxmox & BackupProxmoxBackupDokumentation
Professionell, ehrlich und fachlich absolut fundiert: WZ-IT hat unsere Proxmox- und Backup-Infrastruktur sicher und zukunftsfähig aufgestellt. Die Beratung durch Timo und Robin war sachlich und bedarfsorientiert, die Umsetzung reibungslos und die finale Dokumentation vorbildlich. Man merkt sofort, dass hier geschäftskritische Infrastruktur von Anfang an ganzheitlich gedacht und mit klarer Verantwortung umgesetzt wird.

Pascal Block

Projektmanager, Stadtwerke Brühl GmbH

Stadtwerke Brühl - kommunaler Energie- und Infrastrukturdienstleister.

Stadtwerke Brühl GmbH
Proxmox & Backup absichern lassen
Christoph Mußmann
DeutschlandInfrastruktur-ModernisierungDatenhoheitDSGVODokumentation
Die Kommunikation mit WZ-IT war von Anfang an sehr offen, freundlich und professionell. Herr Wevelsiep und Herr Zins sind sehr geduldig, zeitnah und wertschätzend auf jede unserer Fragen eingegangen und haben eigene Vorschläge und gute Ideen eingebracht, wie wir unsere Serverinfrastruktur modernisieren und noch besser an unsere Bedürfnisse anpassen können. WZ-IT hat dabei stets unseren Wunsch nach Datenhoheit und Unterstützung von Datenschutzanforderungen berücksichtigt und konsequent mitgedacht. Selbst kurzfristige Anpassungen und Änderungswünsche von unserer Seite wurden schnell und geduldig umgesetzt und konsequent in das Gesamtkonzept integriert. Von der Planung bis hin zur abschließenden Übergabe wurden alle Schritte transparent und umfassend dokumentiert, was uns ermöglicht, falls ein Dienstleisterwechsel nötig werden sollte, diesen anhand der Dokumentation sehr schnell in unsere Infrastruktur einzuweisen. Wir sind äußerst zufrieden mit WZ-IT und hoffen, dass wir noch lange zusammenarbeiten werden.

Christoph Mußmann

Projektreferent, DGHO e.V.

DGHO - Deutsche Gesellschaft für Hämatologie und Medizinische Onkologie e.V.

DGHO e.V.
Souveräne Infrastruktur modernisieren
Andrea Pawlowski
DeutschlandArchitekturberatungSouveräne SoftwareauswahlOpen-Source-Strategie
Timo und Robin habe ich als engagierte und professionelle Gesprächspartner kennengelernt, die für einen Kunden so einiges möglich machen, das erst mal unmöglich scheint. Ich fühlte mich sehr gut beraten. Die angebotenen Leistungen haben mich sehr überzeugt.

Andrea Pawlowski

Communications Manager, Golem.de

Golem.de - führendes deutsches IT-Fachmedium.

Golem.de
Souveränen Open-Source-Stack planen
H
DeutschlandLokale KI-IntegrationTechnische IntegrationImplementierung
Auf der Suche nach einem Partner für die Integration einer lokalen KI-Lösung sind wir auf Timo und Robin gestoßen - und hätten keine bessere Entscheidung treffen können. Unsere Anforderungen wurden schnell verstanden und technische Herausforderungen kompetent und praxisorientiert gelöst. Besonders überzeugt haben uns die unkomplizierte Zusammenarbeit, die hohe Fachkompetenz und die schnelle Umsetzung. Wir freuen uns, Timo und Robin als zuverlässige Geschäftspartner an unserer Seite zu haben, und blicken gespannt auf die nächsten gemeinsamen Projekte.

Henrik Jeche

Head of IT Administration | Leiter IT-Administration

ml&s - Full-Service-Anbieter für die Elektronikindustrie.

ml&s
Lokale KI-Lösung integrieren
Sonja Aßer
DeutschlandSoftwareentwicklungPHP-ModernisierungAPI-Erweiterung
Mit Timo und Robin ist man nicht nur technisch auf der sicheren Seite - sondern auch menschlich bestens betreut! Ob es um schnelle Hilfe im Alltag oder komplexe IT-Lösungen geht: Die Jungs von WZ-IT denken mit, handeln schnell und sprechen eine Sprache, die man versteht. Die Zusammenarbeit ist unkompliziert, zuverlässig und immer auf Augenhöhe. So macht IT richtig Spaß - und vor allem: Sie funktioniert! Großes Dankeschön an das Team!

Sonja Aßer

Data Manager, ARGE

ARGE Neue Medien - Stammdaten & digitale Standards für die SHK- und Gebäudetechnik.

ARGE
Legacy-Software modernisieren
Aleksandr Shuliko
VAECloud MigrationAWS ExitProxmox81 % Kostenreduktion
Ich habe vor kurzem mit Timo und dem WZ-IT Team zusammengearbeitet, und ehrlich gesagt war es eine der besten Tech-Entscheidungen, die ich für mein Unternehmen getroffen habe. Von Anfang an hat sich Timo die Zeit genommen, mir jeden Schritt ruhig und verständlich zu erklären. Egal wie viele Fragen ich hatte, er hat mich nie gehetzt. Die Ergebnisse sprechen für sich: Mit WZ-IT haben wir unsere monatlichen Ausgaben von 1.300 $ auf 250 $ reduziert. Das war ein riesiger Gewinn für uns. (übersetzt)

Aleksandr Shuliko

CTO, EVA Real Estate

EVA Real Estate - führende Immobilienagentur in Dubai.

EVA Real Estate
Cloud-Kosten senken - bis −81 %
Pascal Hakkers
SchweizManaged ProxmoxClusterMonitoringHigh Availability
WZ-IT verwaltet unser Proxmox-Cluster zuverlässig und professionell. Das Team übernimmt für uns das kontinuierliche Monitoring und regelmäßige Updates und reagiert sehr schnell auf Probleme oder Anfragen. Durch den proaktiven Support von WZ-IT bleiben unser Cluster und die darauf laufenden geschäftskritischen Anwendungen stabil, und die Hochverfügbarkeit ist durchgehend gewährleistet. Wir schätzen die professionelle Zusammenarbeit und die spürbare Entlastung im Tagesgeschäft. (übersetzt)

Pascal Hakkers

Aphy AG

Aphy AG - KI-Plattform für das Backoffice in der Hotellerie.

Aphy AG
HA-Proxmox-Cluster aufbauen
John Hellmerichs
DeutschlandProxmox & VirtualisierungBackupVPNSecurity
WZ-IT hat uns bei der Umsetzung unserer Server- und Virtualisierungsinfrastruktur sehr kompetent unterstützt. Im Rahmen des Projekts wurde eine Proxmox-basierte Virtualisierungsumgebung aufgebaut und eine virtuelle Maschine für unsere Anwendungssysteme eingerichtet. Darüber hinaus wurde ein strukturiertes Backup-Konzept implementiert. Ein besonderer Fokus lag auf dem Thema Sicherheit: Die Einrichtung eines VPN-Tunnels sowie die saubere Umsetzung von Verschlüsselungs- und Zugriffskonzepten wurden professionell umgesetzt. Hervorzuheben ist die strukturierte Beratung sowie die zuverlässige und zügige Umsetzung. Wir sind mit der erbrachten Leistung sehr zufrieden und empfehlen WZ-IT gerne weiter.

John Hellmerichs

Geschäftsführer, AInergy GmbH

AInergy - Beratung für Energie- und Facility-Management.

AInergy GmbH
Mit Managed Proxmox virtualisieren
Matthias Zimmermann
DeutschlandOpen Source ArchitekturImplementierungTechnische Beratung
Wir haben sehr gute Erfahrungen mit Herrn Wevelsiep und WZ-IT gemacht. Die Beratung war professionell, klar verständlich und zu fairen Preisen. Das Team hat nicht nur unsere Anforderungen umgesetzt, sondern mit- und proaktiv weitergedacht. Statt nur einzelne Aufträge abzuarbeiten, wurden uns fundierte Erklärungen geliefert, die unser eigenes Verständnis gestärkt haben. WZ-IT uns mit ihrer strukturierten Herangehensweise viel Druck abgenommen - das war genau das, was wir brauchten und ist der Grund, warum wir immer wieder gerne zurück kommen.

Matthias Zimmermann

Geschäftsführer, Annota GmbH

Annota - HealthTech-Startup mit KI-Dokumentationsassistent.

Annota
Open-Source-KI-Architektur entwerfen
Sebastian Maier
BulgarienSouveräne KollaborationOpen-Source-StackBetriebWartung
Timo und Robin von WZ-IT haben für uns einen RocketChat-Server aufgesetzt - und ich könnte nicht zufriedener sein! Von der ersten Beratung bis zur finalen Implementierung lief alles absolut professionell, effizient und zu meiner vollsten Zufriedenheit. Besonders schätze ich die klare Kommunikation, die transparente Preisgestaltung und das umfassende Fachwissen, das die beiden mitbringen. Auch nach der Einrichtung übernehmen sie die Wartung, was mir enorm den Rücken freihält und mir ermöglicht, mich auf andere wichtige Bereiche meines Business zu konzentrieren - mit dem guten Gefühl, dass unsere IT in den besten Händen ist. Ich kann WZ-IT uneingeschränkt weiterempfehlen und freue mich auf die weitere Zusammenarbeit!

Sebastian Maier

Geschäftsführer, Yonju GmbH

Yonju - Business-Coaching und KI-Produkte.

Yonju
Kollaboration managen lassen
Gabriel Sanz Señor
SpanienProduction DeploymentCI/CDPaaSBetrieb
Auf das WZ-IT Team zu setzen war entscheidend. Ihre Expertise und Lösungen haben uns das Tempo gegeben, unsere Services in Produktion zu deployen - inklusive Verbesserungsvorschlägen für unsere Konfiguration. Wir freuen uns auf die weitere Zusammenarbeit für Wartung und neue Lösungen. (übersetzt)

Gabriel Sanz Señor

Geschäftsführer, Odiseo Solutions

Odiseo Solutions - Softwareentwicklung für die Raumfahrt.

Odiseo Solutions
Vom Prototyp in den Betrieb
Kontakt

Lassen Sie uns über Ihre Idee sprechen

Ob konkrete IT-Herausforderung oder einfach eine Idee - wir freuen uns auf den Austausch. In einem kurzen Gespräch prüfen wir gemeinsam, ob und wie Ihr Projekt zu WZ-IT passt.

E-Mail
[email protected]
Rückruf vereinbaren

Rückruf

Rückruf vereinbaren

Nummer hinterlassen, wir rufen zurück — spätestens am nächsten Werktag.

Für ein ausführliches Gespräch können Sie alternativ einen Termin buchen.

Unternehmen weltweit vertrauen WZ-IT

  • ml&s
  • Rekorder
  • Keymate
  • Führerscheinmacher
  • SolidProof
  • ARGE
  • Boese VA
  • nextGYM
  • Maho Management
  • Golem.de
  • Millenium
  • Paritel
  • Yonju
  • EVADXB
  • Mr. Clipart
  • Aphy AG
  • Negosh
  • ABCO Water Systems
1/3 - Themenauswahl33%

Worum geht es bei Ihrer Anfrage?

Wählen Sie zuerst den Leistungsbereich, der am besten zu Ihrem Vorhaben passt.