Lokale KI für Unternehmen

Lokale KI beginnt nicht bei einer abstrakten Architektur. Der AI Cube ist unser vorkonfigurierter Einstieg mit Open WebUI, lokalem Modell, Härtung und Ersteinrichtung. Diese Wissensseiten helfen bei Datenschutz, Modellen, Kosten, Dimensionierung, RAG und sicherem Betrieb und zeigen, wann Standardhardware genügt oder ein größerer Aufbau sinnvoll ist.

Grundlagen & Entscheidung

Modelle & Hardware

Welches LLM selbst hosten?

Welches LLM selbst hosten? Auswahl nach Aufgabe, Qualität, Lizenz, Sprache, VRAM, Durchsatz und Betrieb - mit praxisnaher Evaluationsmatrix.

GPU & VRAM dimensionieren

Wie viel VRAM braucht ein LLM? Gewichte, KV-Cache und Overhead mit Formel, Rechenbeispielen für Kontextlänge und FP8-KV-Cache. Stand Oktober 2026.

Inferenz vs. Training

Inferenz nutzt fertige KI-Modelle und prägt die laufenden Kosten. Der Guide erklärt GPU-Bedarf, RAG, Fine-Tuning und sinnvolle Trainingsfälle.

Was kostet ein lokaler KI-Server?

Kosten lokaler KI-Server kalkulieren: AI Cube und Managed GPU-Server, Kosten je Million Token und Break-even gegenüber einer europäischen Modell-API.

KI-Server kaufen oder mieten?

KI-Server kaufen oder mieten: Kosten, Laufzeit, Hardwaretausch, Betrieb, Upgrade und TCO für Appliance, Managed Server und eigene Infrastruktur.

Lokalen KI-Server nach Nutzern dimensionieren

Lokale KI nach Nutzerzahl dimensionieren: Parallelität, Antwortlänge, Kontext, Modell und Lasttest als belastbare Grundlage für die Hardwareauswahl.

LLM-Modelle auf 128 GB Unified Memory

LLMs für 128 GB Unified Memory: konkrete GB10-Modelle, Quantisierung, KV-Cache, Kontext und Auswahl für den AI Cube verständlich eingeordnet.

LLM-Lizenzen für kommerzielle Nutzung

Welche offenen LLMs dürfen Unternehmen kommerziell nutzen? Apache 2.0, MIT, Llama-, Qwen-, Kimi-, Mistral- und NVIDIA-Lizenzen im Vergleich, Stand Oktober 2026.

LLM-Quantisierung

LLM-Quantisierung im Vergleich: FP8, NVFP4, MXFP4, AWQ, GPTQ und GGUF, welche GPU welches Format beschleunigt, KV-Cache in FP8 und Qualität messen.

AI Cubes mit ConnectX-7 verbinden

AI Cubes über ConnectX-7 verbinden: direkte Topologien, NVIDIA Sync, Load Balancing, verteilte Inferenz und technische Grenzen eines GB10-Clusters.

ASUS Ascent GX10 für Unternehmen einrichten

ASUS Ascent GX10 für Unternehmen einrichten: lokale Modelle, Open WebUI, Härtung, Benutzer, Netzwerk, Backup und produktiver Betrieb.

NVIDIA DGX Spark für Unternehmen einrichten

NVIDIA DGX Spark als lokale KI-Plattform einrichten: Modelle, Open WebUI, Benutzer, Netzwerk, Härtung, Backup, Monitoring und Betrieb.

Acer Veriton GN100 für Unternehmen einrichten

Acer Veriton GN100 für lokale KI einrichten: DGX OS, Modelle, Open WebUI, Benutzer, Netzwerk, Härtung, Backup, Monitoring und Betrieb.

Dell Pro Precision mit GB10 für Unternehmen einrichten

Dell Pro Precision mit GB10 (ehemals Pro Max) produktiv einrichten: Appliance-Modus, Modelle, Open WebUI, Härtung, Benutzer, Netzwerk, Backup, Monitoring und Betrieb.

Gigabyte AI TOP ATOM für Unternehmen einrichten

Gigabyte AI TOP ATOM als lokale KI-Plattform einrichten: Modelle, Open WebUI, ARM64, Benutzer, Härtung, Backup, ConnectX-7 und Monitoring.

HP ZGX Nano G1n für Unternehmen einrichten

HP ZGX Nano G1n produktiv einrichten: lokales Modell, Open WebUI, ZGX Toolkit, Benutzer, Härtung, Backup, Monitoring und sicherer Betrieb.

Lenovo ThinkStation PGX für Unternehmen einrichten

Lenovo ThinkStation PGX für lokale KI einrichten: DGX OS, Modelle, Open WebUI, Benutzer, Härtung, Netzwerk, Backup, Monitoring und Betrieb.

MSI EdgeXpert für Unternehmen einrichten

MSI EdgeXpert produktiv einrichten: lokale Modelle, Open WebUI, NVIDIA AI Enterprise, Benutzer, Härtung, Backup, Monitoring und Betrieb.

Inference & Serving

Was ist vLLM?

vLLM ist eine schnelle Inferenz-Engine für LLMs: PagedAttention, Continuous Batching, OpenAI-kompatibler API-Server. Was vLLM macht und wann es passt.

vLLM vs. Ollama

Ollama oder vLLM für selbst gehostete LLMs? Der Vergleich: Einfachheit vs. Durchsatz, CPU vs. GPU, Einzelnutzer vs. Produktion - und wann welche Engine passt.

Gemma 4 in vLLM: W4A16 statt GGUF

Gemma 4 quantisiert in vLLM: warum die Q4_0-GGUF-Dateien für llama.cpp gedacht sind, welcher W4A16-Checkpoint passt und wie viel VRAM er braucht.

Multi-GPU-Inferenz ohne NVLink

Zwei GPUs ohne NVLink mit vLLM nutzen: wann Tensor Parallelism, wann Pipeline Parallelism und wann zwei Replicas den höheren Durchsatz liefern.

LLM-Stack & Betrieb

Der Open-Source-LLM-Stack

LLM selbst hosten heißt nicht ein Tool, sondern ein Stack: Inferenz (vLLM), Gateway (LiteLLM), Observability (Langfuse), Frontend und RAG - souverän betrieben.

Was ist LiteLLM?

LiteLLM ist ein OpenAI-kompatibles Gateway über 100+ LLMs: eine Schnittstelle, zentrale Auth, Budgets, Rate-Limits, Fallback. Was es macht und wozu.

Was ist Langfuse?

Langfuse ist eine Open-Source-Plattform für LLM-Observability: Tracing, Evaluation, Prompt-Management. Was es macht und warum es für den EU AI Act zählt.

MCP im Unternehmen

MCP im Unternehmen: Aufbau, Transporte, die zustandslose Spezifikation 2026-07-28, OAuth-Autorisierung, Risiken wie Tool Poisoning und lokale Modelle.

Open WebUI als Appliance produktiv betreiben

Open WebUI produktiv als lokale KI-Plattform betreiben: Benutzer, Wissen, Modelle, Datenbank, Backup, Updates, Monitoring und sichere Zugriffe.

RAG & Wissenssysteme

Was ist RAG?

RAG verbindet ein LLM mit den eigenen Dokumenten: wie es funktioniert, warum es Halluzinationen senkt und wo Berechtigungen zum Knackpunkt werden.

Wissenstransfer bei Mitarbeiterwechsel

So planen Sie den Wissenstransfer bei Mitarbeiterwechsel: Themen auswählen, Interviews führen, Inhalte prüfen und für die Nachfolge zugänglich machen.

Open WebUI an Nextcloud anbinden (RAG mit ACLs)

RAG auf Nextcloud-Dokumenten mit echten Rechten: drei Wege von oikb bis Retrieval-Service, sichere Identität per MCP und ACL-Filter in Qdrant.

Qdrant vs. pgvector

Qdrant oder pgvector für RAG? Der Vergleich: dedizierte Vektordatenbank gegen Postgres-Erweiterung, Skalierung, Betrieb und Filter - und wann welche passt.

RAG mit Berechtigungen

Zugriffsrechte in RAG-Systemen: warum der Prompt keine Sicherheitsgrenze ist, wo der Filter sitzen muss und was ein Nachfilter über die Trefferzahl verrät.

RAG mit Nextcloud, SharePoint und DMS

Nextcloud, SharePoint oder DMS sicher mit lokaler KI verbinden: Synchronisation, Berechtigungen, Löschung und RAG-Architektur verständlich erklärt.

Chunking für RAG

Chunking für RAG mit deutschen Texten: Komposita, Paragraphen, Tabellen und gescannte PDFs, Strategien von rekursiv bis Late Chunking, Overlap und Metadaten.

Hybrid Search und Reranking

Hybrid Search für RAG self-hosted: BM25 und Vektorsuche kombinieren, mit Reciprocal Rank Fusion zusammenführen und per Cross-Encoder neu sortieren.

Contextual Retrieval

Contextual Retrieval erklärt: Kontext vor jeden Chunk, Anthropics Messwerte, Umsetzung mit vLLM oder Ollama statt Claude-API, Prefix Caching und Reranking.

RAG-Qualität messen

RAG-Evaluation ohne Framework-Bindung: deutsches Testset, Recall@k, MRR, nDCG, Faithfulness und Context Recall, lokaler LLM-Judge, Abnahme und Regressionstests.

Sicherheit & Compliance

EU AI Act für Unternehmen

EU AI Act für Unternehmen: Rollen, Risikostufen, Fristen nach dem AI Omnibus 2026 und ein konkreter Umsetzungsplan für Governance und Betrieb.

KI-Agenten: Rechte und Freigaben

Unter wessen Konto handelt ein KI-Agent? Dienstkonto gegen delegierte Identität, Werkzeugkatalog statt Vollzugriff, Freigaben und Protokoll.

KI-Assistent und Betriebsrat

Interner KI-Assistent und Betriebsrat: Mitbestimmung nach § 87 BetrVG, Datenschutz, Protokollierung und technische Regeln für eine Betriebsvereinbarung.

DSGVO-konforme KI: Prüfkriterien

DSGVO-konforme KI prüfen: Zweck, Rechtsgrundlage, Datenwege, Löschung, Berechtigungen, Anbieter und technische Maßnahmen verständlich erklärt.

Schutz vor Prompt Injection

Prompt Injection lässt sich nicht wegfiltern. Wie direkte und indirekte Injection in RAG und Agenten wirkt und welche Architektur den Schaden begrenzt.

Lokale KI sicher von außen bereitstellen

Lokale KI sicher für Homeoffice und Standorte bereitstellen: VPN, NetBird, Reverse Proxy und die passende Zugriffsmethode ohne offenen Modellport.

Anwendung & Branchen

Lokale KI für Berufsgeheimnisträger

KI bei § 203 StGB: Anforderungen für Anwälte, Ärzte und Steuerberater, Betriebsmodelle, technische Kontrollen und ein praxisnaher Prüfpfad.

Dokumente mit KI verarbeiten

Intelligente Dokumentenverarbeitung mit KI: wie LLMs und Vision-Modelle die klassische OCR erweitern, typische Anwendungsfälle und der self-hosted Weg mit Paperless-ngx.

KI-Agenten & Automatisierung

Was KI-Agenten von einfacher Automatisierung unterscheidet, wie n8n Geschäftsprozesse orchestriert und warum souveräner Betrieb der sichere Weg ist.

Text-to-SQL

Text-to-SQL im Unternehmen: wie ein LLM SQL erzeugt, warum Datenbankrechte die eigentliche Grenze sind und wie Views, Prüfung und Tests Fehlabfragen verhindern.

Aus einer Hand

WZ-IT baut und betreibt Lokale KI für Unternehmen produktiv für Unternehmen - Konzeption, Umsetzung und Betrieb aus einer Hand.

AI Cube ansehen

Unternehmen weltweit vertrauen WZ-IT

Kundenstimmen ansehen

Kostenloses Erstgespräch

Sprechen wir über Ihr Vorhaben - unverbindlich

Direkt mit Timo und Robin - kein Vertrieb, kein Sales-Pitch
Fachliche Einschätzung Ihrer Situation
Konkrete nächste Schritte für Infrastruktur, Software oder KI

Das Gespräch ist unverbindlich und kostenlos.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.

Jakob ÖschlbergerInno7 GmbH

E-Mail[email protected]Telefon+49 2922 875068

Lassen Sie uns über Ihre Idee sprechen

Ob konkrete IT-Herausforderung oder einfach eine Idee - wir freuen uns auf den Austausch. In einem kurzen Gespräch prüfen wir gemeinsam, ob und wie Ihr Projekt zu WZ-IT passt.

1 / 3 · Themenauswahl

Worum geht es bei Ihrer Anfrage?

Wählen Sie zuerst den Leistungsbereich, der am besten zu Ihrem Vorhaben passt.