Architektur und Migration
Sizing, Zielumgebung, Datenübernahme, Cutover und Wiederanlauf werden vor dem produktiven Betrieb geklärt.
WZ-IT plant, installiert und betreibt PrivateGPT als Managed Hosting, in Ihrer Cloud oder on-premises. Je nach Zielbild übernehmen wir Migration, sichere Netzwerk- und Identity-Anbindung, Monitoring, Backups, Updates sowie Integrationen und Weiterentwicklung.
Die genannten Namen sind Marken ihrer jeweiligen Inhaber: PrivateGPT (Zylon by PrivateGPT). WZ-IT ist ein unabhängiger Dienstleister und steht in keiner geschäftlichen, partnerschaftlichen oder vertraglichen Beziehung zu diesen Unternehmen. Wir bieten unabhängige Migrations-, Installations-, Hosting- und Betriebsdienstleistungen an.
PrivateGPT stellt Bausteine für dokumentenbasierte RAG-Anwendungen mit Large Language Models bereit. Dokumentenverarbeitung, Retrieval und Modellzugriff können lokal betrieben werden; bei Remote-LLM- oder Embedding-Anbietern werden die jeweils übermittelten Inhalte extern verarbeitet.
Die Plattform unterstützt lokale und entfernte Modellanbieter. Wir legen Datenflüsse, Modellzugriffe, Vektorspeicher und Berechtigungen deshalb passend zum Schutzbedarf aus, statt aus Self-Hosting pauschal Datenschutzkonformität abzuleiten.
Wir installieren, hosten und betreiben PrivateGPT wahlweise On-Premise oder auf abgestimmter Infrastruktur in Deutschland. Lokale und externe Modell- sowie Embedding-Dienste werden als nachvollziehbare Datenflüsse geplant.
Wir bieten 24/7-Monitoring, Backups und Wartung für Ihre PrivateGPT-Instanz. Menschliche Reaktionszeiten und Supportzeiten richten sich nach dem gewählten Service Level. Inklusive Unterstützung bei der Integration Ihrer bevorzugten LLM-Provider, der Dokumenten-Ingestion und RAG-Optimierung.
Dokumente, Embeddings und Modellanfragen können bei vollständig lokaler Konfiguration in der eigenen Umgebung bleiben. Externe Provider werden als eigene Datenflüsse bewertet und freigegeben.
RAG-Pipeline mit Dokumenten-Parsing, Splitting, Metadaten, Embeddings und Chunk-Retrieval. Ergebnisqualität und Quellenbezug werden anhand des konkreten Bestands getestet.
FastAPI-basierte Architektur mit OpenAI-kompatiblen Endpunkten. Benötigte Parameter, Streaming-, Tool- und Client-Funktionen werden versionsbezogen getestet und bei Bedarf angepasst.
Kann komplett offline und lokal betrieben werden - on-premise, in Ihrer Private Cloud oder Air-Gapped-Umgebung. Keine Abhängigkeit von externen Cloud-Diensten.
Unterstützt lokale Provider (Ollama, LlamaCPP) und Remote-Provider (OpenAI, Azure OpenAI, Sagemaker, etc.). Wechseln Sie flexibel zwischen verschiedenen Modellen.
Dokumentenverarbeitung mit Parsing, Chunking, Metadaten und Embeddings. Ergebnisqualität und unterstützte Formate hängen von Version, Parsern und Konfiguration ab.
Bei lokaler Auslegung lassen sich Speicherorte, Identitäten und Netzwerkpfade kontrollieren. Die rechtliche Zulässigkeit hängt zusätzlich vom konkreten Einsatzzweck und den angebundenen Diensten ab.
Der öffentlich einsehbare Quellcode steht unter Apache-2.0-Lizenz und kann technisch geprüft und angepasst werden. Modelle und weitere Abhängigkeiten werden separat bewertet.
Basiert auf LlamaIndex Framework. Freie Wahl zwischen verschiedenen LLM-Providern, Vektordatenbanken und Deployment-Modellen ohne Abhängigkeit von einzelnen Anbietern.
Professionelle Installation auf Ihrer Infrastruktur - On-Premise, Cloud oder Hybrid
In Ihrem Rechenzentrum
AWS, Azure, Hetzner & Co.
Erweiterte Architektur nach technischer und lizenzrechtlicher Prüfung
Vertrauliche Dokumente in einer kontrollierten Umgebung durchsuchen; Datenflüsse, Modellzugriffe und Telemetrie werden entsprechend Ihrer Architektur konfiguriert
Kontrollierbare Datenflüsse für Organisationen mit erhöhtem Schutzbedarf; rechtliche und fachliche Anforderungen werden projektbezogen geprüft
Production-ready RAG mit intelligentem Dokumenten-Parsing, Embeddings-Generierung und kontextbasierter Chunk-Retrieval für präzise Antworten
Flexible Nutzung von lokalen LLMs (Ollama, LlamaCPP) oder Remote-Providern (OpenAI, Azure OpenAI, Gemini) je nach Anforderung
Komplett offline betreibbar für mehrschichtige Sicherheitsmaßnahmensanforderungen, isolierte Netzwerke und Air-Gapped-Umgebungen ohne externe Abhängigkeiten
FastAPI-basierte Architektur mit OpenAI-kompatibler API für nahtlose Integration in bestehende Tools und Workflows ohne Code-Änderungen
Sichere Einwahl und Zugriffskontrolle für Ihre Installation
WireGuard, NetBird oder Tailscale
Direkt oder über vorgeschalteten Identity-Layer
Abhängig von Anwendung, Edition und Identity Provider
Fail2Ban, Rate Limiting, IP Whitelisting
Wir richten für Sie einen sicheren VPN-Zugang zu Ihrer Installation ein - ideal für Remote-Work und externe Mitarbeiter.
Full-Service Installation ohne versteckte Kosten
PrivateGPT ermöglicht lokale LLM-Nutzung mit eigenen Dokumenten. Wir integrieren es in Ihre bestehende Infrastruktur und erweitern die Fähigkeiten.
Über die API binden wir PrivateGPT an Ihre Systeme an: Chat-Completion, Document Ingest, und Context-Retrieval lassen sich programmatisch steuern.
Wir entwickeln Custom Ingestion Pipelines: Spezielle Dokumenttypen (CAD, Verträge, Code) werden mit optimierten Chunking-Strategien verarbeitet.
Das LlamaIndex-Backend erlaubt tiefe Anpassungen: Custom Retrievers, Reranker, und Embedding-Modelle für domänenspezifische Suche.
So setzen wir PrivateGPT-Entwicklung in der Praxis um.
Hochsensible Umgebungen (Behörden, Verteidigung) dürfen keine Cloud-Verbindung haben, brauchen aber LLM-Fähigkeiten.
Vollständig offline-fähiges Setup mit lokalen Modellen, eigenen Embeddings, und airgapped Update-Mechanismen.
Anwälte müssen tausende Dokumente nach relevanten Passagen durchsuchen. Manuelle Sichtung dauert Wochen.
PrivateGPT mit juristisch optimiertem Chunking und Retrieval. Fragen in natürlicher Sprache, Antworten mit Quellennachweis.
Führungskräfte bekommen hunderte E-Mails täglich. Zusammenfassungen und Priorisierung werden benötigt.
PrivateGPT-Integration, die E-Mails analysiert, zusammenfasst, und nach Dringlichkeit kategorisiert - vollständig on-premise.
Wir stellen nicht nur eine Anwendung bereit. WZ-IT plant die technische Architektur, bindet Netzwerk und Identitäten an, übernimmt den vereinbarten Betrieb und entwickelt Integrationen weiter, wenn der Standard nicht ausreicht.
Sizing, Zielumgebung, Datenübernahme, Cutover und Wiederanlauf werden vor dem produktiven Betrieb geklärt.
SSO, sichere Zugänge, interne Systeme und vorhandene Security-Komponenten werden passend eingebunden.
Updates, Backups, technische Überwachung und Reaktionswege folgen einem transparenten Betriebsumfang.
APIs, Automatisierungen und individuelle Erweiterungen können über die reine Bereitstellung hinaus umgesetzt werden.
Der konkrete Umfang hängt von Anwendung, Edition, Infrastruktur und Kritikalität ab. Herstellerlizenzen und Sonderkomponenten werden separat ausgewiesen.
KI-Anwendungen benötigen neben der Oberfläche kontrollierte Modellzugänge, Wissensquellen, Berechtigungen und Beobachtbarkeit. Wir planen diese Datenflüsse als zusammenhängenden Stack.
Teams, Fachanwendungen und API-Clients greifen über definierte Oberflächen und Schnittstellen zu.
TLS, Firewall-Regeln, Reverse Proxy oder private Netzwerkpfade werden passend zur Exposition der Plattform geplant.
Lokale Konten, SSO, Verzeichnisdienste, Service Accounts und Notfallzugänge werden mit klaren Rollen verbunden.
Anwendungslogik, Modellzugriffe, Rollen und freigegebene Funktionen laufen in einer kontrollierten Umgebung.
Lokale oder externe Modelle, GPU-/CPU-Ressourcen, Routing, Limits und Kostenkontrolle.
Dokumente, Datenbanken, Vektorsuche und nachvollziehbare Datenpfade für RAG und Suche.
Geprüfte Tools, APIs, Protokollierung, Metriken und technische Qualitätskontrollen.
Modelle, Erweiterungen und Datenquellen werden nicht pauschal freigeschaltet. Berechtigungen, Datenabfluss, Kosten und fachliche Kontrolle werden je Anwendungsfall bewertet.
Ein klarer Betriebsumfang statt einer unübersichtlichen Hosting-Pauschale.
Compute, Anwendungen, Speicher und Reaktionszeit werden getrennt ausgewiesen. So sehen Sie, was im laufenden Betrieb enthalten ist und welche Anforderungen erst nach einem technischen Assessment angeboten werden.
Wir planen auch individuelle PrivateGPT-Architekturen, Integrationen und Migrationsprojekte. Kontaktieren Sie uns für ein technisches Assessment.
Eine verwaltete PrivateGPT-Standardanwendung ist im Starter-Workload enthalten. Jedes Service Level enthält zusätzlich flexibel nutzbare Expertenzeit für planbare Leistungen innerhalb der regulären Servicezeit. Wählen Sie Compute, weitere Anwendungen, Speicher und das passende Service Level.
Ein Workload ist eine Compute-Instanz mit den darauf vereinbarten Anwendungen.
Ein Standard-App je Workload ist bereits enthalten. Zusätzliche dedizierte Server zählen als weitere Workloads.
79,90 € je angefangenem TB und Monat, inklusive täglichem verschlüsseltem Offsite-Backup mit 7 Tagen Aufbewahrung.
Von vollständig verwalteten GPU-Servern bis hin zu kompakten AI Cubes - wir bieten die ideale Infrastruktur für Ihre lokalen LLM-Anwendungen.
Leistungsstarke GPU-Server mit dedizierter Hardware für rechenintensive LLM-Workloads. Vollständig verwaltet, skalierbar und optimiert für maximale Performance.
Kompakte KI-Workstation für lokale LLM-Inferenz. Perfekt für Büroumgebungen, mit erstklassiger Performance und absoluter Datensouveränität.
Ob ihr PrivateGPT selbst im Haus betreiben oder Daten von Berufsgeheimnisträgern §203-tauglich unterbringen müsst - wir bauen, betreiben und warten PrivateGPT auf einem verschlüsselten Vor-Ort-Server. Daten verlassen das Haus nie im Klartext.
PrivateGPT on-premise ansehen
Diese Lösungen werden oft zusammen mit PrivateGPT eingesetzt
Diese Lösungen bieten ähnliche Funktionalitäten und können gemeinsam evaluiert werden
Diese Lösungen sind direkte Alternativen mit ähnlichen Einsatzgebieten
Kein Risiko: Im schlechtesten Fall gehen Sie mit mehr Klarheit über Ihr Projekt heraus als vorher.


„Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.“
Ob konkrete IT-Herausforderung oder einfach eine Idee - wir freuen uns auf den Austausch. In einem kurzen Gespräch prüfen wir gemeinsam, ob und wie Ihr Projekt zu WZ-IT passt.
Timo Wevelsiep & Robin Zins
Geschäftsführer
