Der Open-Source-LLM-Stack: Modelle selbst betreiben

Lokale KI produktiv betreiben lassen? WZ-IT baut und betreibt den kompletten Open-Source-LLM-Stack auf eigener Infrastruktur - GPU-Hardware, Inferenz, Gateway, Observability und RAG, DSGVO-konform aus einer Hand. LLM-Hosting ansehen

Ein LLM selbst zu hosten ist selten „ein Tool installieren". Für den Produktivbetrieb braucht es einen Stack aus mehreren Open-Source-Komponenten, die jeweils eine Schicht abdecken - von der reinen Inferenz bis zur auditierbaren Mehrbenutzer-Nutzung. Dieser Artikel ordnet die Schichten und die wichtigsten Werkzeuge ein: vLLM, Ollama, LiteLLM, Langfuse, Open WebUI und die Vektordatenbank. Stand Juli 2026.

Inhaltsverzeichnis

• Warum ein Stack statt eines Tools
• Die fünf Schichten im Überblick
• Inferenz: das Modell bedienen
• Gateway und Observability
• Frontend und Wissen
• Souverän betrieben statt zusammengestückelt

Warum ein Stack statt eines Tools

Ein Modell zum Laufen zu bringen ist heute einfach - ein Befehl, und Ollama bedient ein LLM. Der Sprung ins Produktivsystem ist der schwierige Teil: Mehrere Nutzer und Anwendungen greifen zu, Zugriffe müssen gesteuert und Kosten begrenzt werden, jede Anfrage soll nachvollziehbar sein, und Wissen aus eigenen Dokumenten soll einfließen, ohne Berechtigungen zu verletzen.

Keine einzelne Komponente löst all das. Deshalb hat sich ein modularer Stack etabliert, in dem jede Schicht eine klar umrissene Aufgabe übernimmt und über offene, meist OpenAI-kompatible Schnittstellen mit den anderen spricht. Der große Vorteil: Jede Schicht ist austauschbar, und alles läuft auf eigener Infrastruktur.

Die fünf Schichten im Überblick

Nicht jede Installation braucht alle fünf. Ein einzelner Anwendungsfall kommt mit Inferenz und Gateway aus; ein Wissens-Assistent ergänzt Frontend und Vektordatenbank. Der Stack wächst mit den Anforderungen.

Inferenz: das Modell bedienen

Die unterste Schicht bedient das Sprachmodell und beantwortet Anfragen. Zwei Werkzeuge dominieren:

• vLLM - eine schnelle Inferenz- und Serving-Engine mit hohem Durchsatz (PagedAttention, Continuous Batching) und einem OpenAI-kompatiblen API-Server. Die richtige Wahl, wenn viele Anfragen effizient über GPUs laufen sollen.
• Ollama - der einfachste Einstieg: Ein Befehl, und ein Modell läuft lokal. Ideal für schnelle Tests und kleine Lasten, mit weniger Durchsatz als vLLM bei parallelen Anfragen.

Welche Engine passt, hängt an Last und Anspruch - Details in Was ist vLLM?.

Gateway und Observability

Über der Inferenz liegen zwei Schichten, die aus einem laufenden Modell einen betreibbaren Dienst machen:

LiteLLM ist das Gateway: ein einziges, OpenAI-kompatibles Interface über mehr als 100 Modelle. Anwendungen sprechen nur noch mit dem Gateway, egal ob dahinter vLLM, Ollama oder ein externes Modell antwortet. Das bringt zentrale Authentifizierung, Budgets, Rate-Limits und Fallback an eine Stelle - mehr dazu in Was ist LiteLLM?.

Langfuse ist die Observability: eine Open-Source-Plattform, die jede Anfrage als nachvollziehbaren Trace aufzeichnet, dazu Auswertungen, Metriken und Prompt-Verwaltung. Das ist nicht nur für die Fehlersuche wertvoll, sondern auch für die Nachweis- und Logging-Anforderungen, die der EU AI Act an KI-Systeme stellt.

Frontend und Wissen

Für die Nutzer fehlt eine Oberfläche, für Wissenssysteme ein Gedächtnis:

Open WebUI ist das verbreitete Frontend: eine self-hosted Weboberfläche mit Benutzer-, Rollen- und Gruppenverwaltung, Anbindung an das Gateway, RAG-Funktion und Audit-Logging, per OIDC oder LDAP an das eigene Verzeichnis angebunden. Es macht aus dem Stack ein Werkzeug, das auch Nicht-Techniker nutzen.

Die Vektordatenbank (etwa Qdrant oder die Postgres-Erweiterung pgvector) speichert das Wissen aus eigenen Dokumenten als Vektoren, damit das Modell darauf zugreifen kann - die Grundlage für Retrieval-Augmented Generation (RAG). Entscheidend im Unternehmen: Berechtigungen müssen dabei technisch erzwungen werden, nicht dem Modell überlassen.

Souverän betrieben statt zusammengestückelt

Der eigentliche Wert des Open-Source-Stacks ist die Souveränität: Jede Schicht läuft auf eigener Infrastruktur - GPU-Server, Proxmox oder Bare Metal -, sodass weder Prompts noch Dokumente das Haus verlassen. Das ist der Unterschied zu Cloud-KI-Diensten und die Grundlage für DSGVO-Konformität.

Der Preis ist Integrationsarbeit: Fünf Komponenten müssen sauber zusammenspielen, abgesichert, überwacht und aktuell gehalten werden. Genau hier trennt sich das Experiment vom Produktivsystem. WZ-IT plant, baut und betreibt diesen Stack aus einer Hand - von der Hardware bis zum RAG-Wissenssystem. Wie das Gateway und die Inferenz im Detail funktionieren, vertiefen Was ist LiteLLM? und Was ist vLLM?.