Lokale KI-Inferenz mit dem AI Cube: KI im eigenen Netzwerk betreiben

WZ-IT AI Cube ansehen - lokaler KI-Server mit 128 GB Unified Memory, vollständiger Ersteinrichtung, Härtung, Open WebUI und abgestimmtem Modell. Erstgespräch vereinbaren

Lokale KI-Inferenz bedeutet, dass ein Sprach- oder Multimodalmodell auf eigener Hardware statt über eine öffentliche API ausgeführt wird. Unternehmen gewinnen damit Kontrolle über Datenwege, Modellwahl und Kostenstruktur. Gleichzeitig übernehmen sie Verantwortung für Hardware, Software, Berechtigungen, Updates und Betrieb.

Der WZ-IT AI Cube bündelt diese Bausteine in einem kompakten lokalen KI-Server. Er wird nicht als leere Entwicklerhardware geliefert, sondern vollständig eingerichtet, gehärtet und mit einem vorher abgestimmten lokalen Modell vorbereitet.

Inhaltsverzeichnis

• Was lokal verarbeitet wird
• Hardware des AI Cube
• Was vor der Auslieferung eingerichtet wird
• Open WebUI als Arbeitsoberfläche
• RAG und eigene Dokumente
• Dimensionierung und Grenzen
• Eigener Betrieb oder Managed Service
• Kosten und Entscheidung

Was lokal verarbeitet wird

In einer vollständig lokalen Konfiguration laufen Modell, Chat-Oberfläche, Wissensindex und Datenbank im eigenen Netzwerk. Prompts, hochgeladene Dateien und Modellantworten müssen dann nicht an einen externen Modellanbieter übertragen werden.

Ob tatsächlich keine Verbindung nach außen besteht, hängt von der Konfiguration ab. Cloud-Modelle, Websuche, externe Tools oder Update-Dienste erzeugen zusätzliche Datenwege. Wir legen diese Verbindungen bei der Einrichtung bewusst fest und dokumentieren sie.

Lokale Verarbeitung eignet sich besonders, wenn:

• vertrauliche Dokumente verarbeitet werden,
• Berufsgeheimnisse oder Kundenvorgaben zu beachten sind,
• eine öffentliche Modell-API nicht freigegeben ist,
• feste lokale Kapazität statt variabler API-Nutzung gewünscht wird,
• eigene Integrationen ohne Anbieterbindung entstehen sollen.

Hardware des AI Cube

Die Standardkonfiguration basiert auf einer kompakten ASUS/NVIDIA-Appliance der GB10-Klasse:

Unified Memory wird von CPU und GPU gemeinsam genutzt. Dadurch passen quantisierte Modelle in eine Speicherklasse, die bei vielen einzelnen Grafikkarten nicht verfügbar ist. Wie schnell ein Modell läuft, hängt dennoch von Modellarchitektur, Quantisierung, Kontext und Parallelität ab.

Was vor der Auslieferung eingerichtet wird

Vor der Bestellung klären wir den Anwendungsfall und stimmen das lokale Modell ab. Ein großes Modell ist nicht automatisch die beste Wahl: Für manche Aufgaben bietet ein kleineres Modell bessere Antwortzeiten und mehr Parallelität.

Der AI Cube wird anschließend plug-and-play vorbereitet:

• Linux, GPU-Treiber und Container-Runtime vollständig eingerichtet,
• Basisinstallation gehärtet und für den Betrieb vorbereitet,
• Open WebUI installiert und grundlegend konfiguriert,
• Ollama und/oder vLLM passend zum Einsatz eingerichtet,
• vereinbartes lokales Modell installiert und geprüft,
• ausgelieferte Konfiguration dokumentiert.

Zusätzlich sind fünf Stunden für die Einbindung in Ihre Umgebung enthalten. In dieser Zeit können wir beispielsweise Netzwerk, Identität, erste Wissensquelle oder konkrete Modellparameter abstimmen. Umfangreichere Integrationen werden separat geplant.

Open WebUI als Arbeitsoberfläche

Open WebUI stellt eine browserbasierte Arbeitsumgebung bereit. Mitarbeitende erhalten eine vertraute Chat-Oberfläche, während Administratoren Modelle, Nutzer, Wissenssammlungen und Verbindungen kontrollieren.

Je nach Konfiguration stehen unter anderem zur Verfügung:

• Chat und Verlauf mit lokalen Modellen,
• mehrere freigegebene Modelle in einer Oberfläche,
• Datei-Uploads und Wissenssammlungen,
• Rollen, Gruppen und OIDC-Anbindung,
• eigene Assistenten mit Systemprompt und Wissensbasis,
• OpenAI-kompatible Schnittstellen für interne Anwendungen.

Externe Cloud-Modelle können optional parallel angebunden werden. Damit entsteht eine hybride Modellwahl. Für sensible Daten lässt sich die Umgebung auch ausschließlich mit lokalen Modellen betreiben.

RAG und eigene Dokumente

Retrieval-Augmented Generation, kurz RAG, ergänzt ein Modell um Inhalte aus eigenen Dokumenten. Der Prozess besteht aus mehreren Schritten:

1. Dokumente werden extrahiert und in sinnvolle Abschnitte geteilt.
2. Embeddings bilden diese Abschnitte für die Suche ab.
3. Zu einer Frage werden passende Textstellen abgerufen.
4. Das Modell erzeugt eine Antwort auf Basis dieses Kontexts.
5. Quellen machen die Antwort nachvollziehbar.

Open WebUI enthält Funktionen für erste Wissenssammlungen. Bei umfangreichen Beständen, häufigen Änderungen oder feingranularen Berechtigungen bauen wir separate Pipelines, Vektordatenbanken, Middleware und Schnittstellen zu Nextcloud, BookStack, Dokumentenmanagement oder Fachanwendungen.

Dimensionierung und Grenzen

Eine seriöse Dimensionierung berücksichtigt mindestens:

• gewünschtes Modell und Quantisierung,
• Länge von Prompt, Kontext und Antwort,
• Zahl gleichzeitig aktiver Nutzer,
• interaktive Nutzung oder Batch-Verarbeitung,
• RAG, Bildverarbeitung oder Tool-Aufrufe,
• Verfügbarkeits- und Wiederanlaufanforderungen.

Ein einzelner AI Cube passt häufig für lokale Assistenten, Dokumentensuche und Inferenz für ein begrenztes Team. Für hohe Parallelität, HA, Rackmount oder dedizierte GPUs planen wir individuelle GPU-Server.

Zwei AI Cubes können über ConnectX-7 gekoppelt werden. Unterstützte Workloads lassen sich auf mehrere Systeme verteilen. Eine Kopplung stellt aber nicht automatisch Hochverfügbarkeit her und beschleunigt nicht jedes Modell.

Eigener Betrieb oder Managed Service

Sie erhalten Root-Zugriff und können den AI Cube selbst betreiben. Zum Betrieb gehören:

• Sicherheits- und Betriebssystemupdates,
• Aktualisierung von Open WebUI und Modell-Runtime,
• Modellwechsel und Kompatibilitätsprüfung,
• Monitoring von Hardware, Diensten und Speicher,
• Backup von Konfiguration, Datenbank und Wissensbeständen,
• kontrollierte Wiederherstellung.

WZ-IT kann diese Aufgaben optional übernehmen. Betriebsumfang und Reaktionszeit werden passend zur Umgebung vereinbart.

Kosten und Entscheidung

Der AI Cube kostet in der Standardkonfiguration 5.999 Euro netto einmalig. Enthalten sind Hardware, vollständige Basiseinrichtung und Härtung, Open WebUI, Modell-Runtime, ein vorab abgestimmtes lokales Modell, Dokumentation und fünf Stunden Einbindung und Konfiguration.

Der Vergleich mit einer Cloud-API hängt vom realen Nutzungsprofil ab. Bei geringer oder sporadischer Nutzung kann eine API wirtschaftlicher sein. Bei dauerhaft hoher Nutzung, sensiblen Daten oder notwendiger technischer Kontrolle kann eigene Hardware sinnvoller sein.

AI Cube und Lieferumfang im Detail ansehen oder Anwendungsfall einordnen.

Weiterführende Artikel

• DGX Spark vs. AI Cube
• GPT-OSS 120B auf dem AI Cube
• Ollama vs. vLLM
• Open WebUI vs. AnythingLLM

Quellen

• NVIDIA DGX Spark Hardware-Dokumentation
• ASUS Ascent GX10
• Open WebUI Dokumentation