WZ-IT AI Cube ansehen - lokaler KI-Server mit 128 GB Unified Memory, vollständiger Ersteinrichtung, Härtung, Open WebUI und abgestimmtem Modell. Erstgespräch vereinbaren
Lokale KI-Inferenz bedeutet, dass ein Sprach- oder Multimodalmodell auf eigener Hardware statt über eine öffentliche API ausgeführt wird. Unternehmen gewinnen damit Kontrolle über Datenwege, Modellwahl und Kostenstruktur. Gleichzeitig übernehmen sie Verantwortung für Hardware, Software, Berechtigungen, Updates und Betrieb.
Der WZ-IT AI Cube bündelt diese Bausteine in einem kompakten lokalen KI-Server. Er wird nicht als leere Entwicklerhardware geliefert, sondern vollständig eingerichtet, gehärtet und mit einem vorher abgestimmten lokalen Modell vorbereitet.
Inhaltsverzeichnis
- Was lokal verarbeitet wird
- Hardware des AI Cube
- Was vor der Auslieferung eingerichtet wird
- Open WebUI als Arbeitsoberfläche
- RAG und eigene Dokumente
- Dimensionierung und Grenzen
- Eigener Betrieb oder Managed Service
- Kosten und Entscheidung
Was lokal verarbeitet wird
In einer vollständig lokalen Konfiguration laufen Modell, Chat-Oberfläche, Wissensindex und Datenbank im eigenen Netzwerk. Prompts, hochgeladene Dateien und Modellantworten müssen dann nicht an einen externen Modellanbieter übertragen werden.
Ob tatsächlich keine Verbindung nach außen besteht, hängt von der Konfiguration ab. Cloud-Modelle, Websuche, externe Tools oder Update-Dienste erzeugen zusätzliche Datenwege. Wir legen diese Verbindungen bei der Einrichtung bewusst fest und dokumentieren sie.
Lokale Verarbeitung eignet sich besonders, wenn:
- vertrauliche Dokumente verarbeitet werden,
- Berufsgeheimnisse oder Kundenvorgaben zu beachten sind,
- eine öffentliche Modell-API nicht freigegeben ist,
- feste lokale Kapazität statt variabler API-Nutzung gewünscht wird,
- eigene Integrationen ohne Anbieterbindung entstehen sollen.
Hardware des AI Cube
Die Standardkonfiguration basiert auf einer kompakten ASUS/NVIDIA-Appliance der GB10-Klasse:
| Merkmal | Standardkonfiguration |
|---|---|
| Rechenplattform | NVIDIA GB10 Grace Blackwell |
| Prozessor | 20-Core Arm |
| Arbeitsspeicher | 128 GB LPDDR5x Unified Memory |
| Speicher | 1, 2 oder 4 TB NVMe nach Konfiguration |
| Netzwerk | 10 GbE und ConnectX-7 |
| Formfaktor | Kompakte Desktop-Appliance |
Unified Memory wird von CPU und GPU gemeinsam genutzt. Dadurch passen quantisierte Modelle in eine Speicherklasse, die bei vielen einzelnen Grafikkarten nicht verfügbar ist. Wie schnell ein Modell läuft, hängt dennoch von Modellarchitektur, Quantisierung, Kontext und Parallelität ab.
Was vor der Auslieferung eingerichtet wird
Vor der Bestellung klären wir den Anwendungsfall und stimmen das lokale Modell ab. Ein großes Modell ist nicht automatisch die beste Wahl: Für manche Aufgaben bietet ein kleineres Modell bessere Antwortzeiten und mehr Parallelität.
Der AI Cube wird anschließend plug-and-play vorbereitet:
- Linux, GPU-Treiber und Container-Runtime vollständig eingerichtet,
- Basisinstallation gehärtet und für den Betrieb vorbereitet,
- Open WebUI installiert und grundlegend konfiguriert,
- Ollama und/oder vLLM passend zum Einsatz eingerichtet,
- vereinbartes lokales Modell installiert und geprüft,
- ausgelieferte Konfiguration dokumentiert.
Ersteinrichtung, Einweisung und Support sind enthalten. Individuelle Netzwerk- und Identitätsintegration, automatisierte Wissensquellen und weitere Anbindungen werden separat geplant.
Open WebUI als Arbeitsoberfläche
Open WebUI stellt eine browserbasierte Arbeitsumgebung bereit. Mitarbeitende erhalten eine vertraute Chat-Oberfläche, während Administratoren Modelle, Nutzer, Wissenssammlungen und Verbindungen kontrollieren.
Je nach Konfiguration stehen unter anderem zur Verfügung:
- Chat und Verlauf mit lokalen Modellen,
- mehrere freigegebene Modelle in einer Oberfläche,
- Datei-Uploads und Wissenssammlungen,
- Rollen, Gruppen und OIDC-Anbindung,
- eigene Assistenten mit Systemprompt und Wissensbasis,
- OpenAI-kompatible Schnittstellen für interne Anwendungen.
Externe Cloud-Modelle können optional parallel angebunden werden. Damit entsteht eine hybride Modellwahl. Für sensible Daten lässt sich die Umgebung auch ausschließlich mit lokalen Modellen betreiben.
RAG und eigene Dokumente
Retrieval-Augmented Generation, kurz RAG, ergänzt ein Modell um Inhalte aus eigenen Dokumenten. Der Prozess besteht aus mehreren Schritten:
- Dokumente werden extrahiert und in sinnvolle Abschnitte geteilt.
- Embeddings bilden diese Abschnitte für die Suche ab.
- Zu einer Frage werden passende Textstellen abgerufen.
- Das Modell erzeugt eine Antwort auf Basis dieses Kontexts.
- Quellen machen die Antwort nachvollziehbar.
Open WebUI enthält Funktionen für erste Wissenssammlungen. Bei umfangreichen Beständen, häufigen Änderungen oder feingranularen Berechtigungen bauen wir separate Pipelines, Vektordatenbanken, Middleware und Schnittstellen zu Nextcloud, BookStack, Dokumentenmanagement oder Fachanwendungen.
Dimensionierung und Grenzen
Eine seriöse Dimensionierung berücksichtigt mindestens:
- gewünschtes Modell und Quantisierung,
- Länge von Prompt, Kontext und Antwort,
- Zahl gleichzeitig aktiver Nutzer,
- interaktive Nutzung oder Batch-Verarbeitung,
- RAG, Bildverarbeitung oder Tool-Aufrufe,
- Verfügbarkeits- und Wiederanlaufanforderungen.
Ein einzelner AI Cube passt häufig für lokale Assistenten, Dokumentensuche und Inferenz für ein begrenztes Team. Für hohe Parallelität, HA, Rackmount oder dedizierte GPUs planen wir individuelle GPU-Server.
Zwei AI Cubes können über ConnectX-7 gekoppelt werden. Unterstützte Workloads lassen sich auf mehrere Systeme verteilen. Eine Kopplung stellt aber nicht automatisch Hochverfügbarkeit her und beschleunigt nicht jedes Modell.
Eigener Betrieb oder Managed Service
Sie erhalten Root-Zugriff und können den AI Cube selbst betreiben. Zum Betrieb gehören:
- Sicherheits- und Betriebssystemupdates,
- Aktualisierung von Open WebUI und Modell-Runtime,
- Modellwechsel und Kompatibilitätsprüfung,
- Monitoring von Hardware, Diensten und Speicher,
- Backup von Konfiguration, Datenbank und Wissensbeständen,
- kontrollierte Wiederherstellung.
WZ-IT kann diese Aufgaben optional übernehmen. Betriebsumfang und Reaktionszeit werden passend zur Umgebung vereinbart.
Kosten und Entscheidung
Der AI Cube kostet 7.999 € netto einmalig für die Ausführung mit 1 TB. Enthalten sind Hardware, Härtung, Open WebUI, Modell-Runtime, ein vorab abgestimmtes lokales Modell, Dokumentation, Einweisung und Versand nach Deutschland, Österreich und in die Schweiz. Patching, Backup, Monitoring und Support übernimmt AI Cube Care ab 349,90 € netto im Monat; die ersten zwölf Monate laufen mit dem Gerät, danach ist Care monatlich kündbar.
Der Vergleich mit einer Cloud-API hängt vom realen Nutzungsprofil ab. Bei geringer oder sporadischer Nutzung kann eine API wirtschaftlicher sein. Bei dauerhaft hoher Nutzung, sensiblen Daten oder notwendiger technischer Kontrolle kann eine lokale Plattform im Unternehmen sinnvoller sein.
AI Cube und Lieferumfang im Detail ansehen oder Anwendungsfall einordnen.
