LLM-Gateway selbst betreiben statt Schlüssel in jeder Anwendung zu verteilen? WZ-IT betreibt LiteLLM als self-hosted LLM-Gateway in Deutschland, mit Virtual Keys, Budgets, Fallbacks und Anbindung an vLLM, Ollama und Langfuse. Tracing und Evals im laufenden Betrieb übernimmt LLMOps. LiteLLM Hosting ansehen · LLMOps ansehen
Sobald mehrere Anwendungen oder Teams Sprachmodelle nutzen, stellt sich die Frage nach einer zentralen Stelle für Schlüssel, Budgets und Ausfallschutz. Dieser Vergleich stellt sechs Gateways nach den Kriterien Betrieb, Lizenz, Routing, Budgets, Schlüssel, Langfuse-Anbindung, Guardrails, Streaming und Datenabfluss gegenüber. Die Angaben stammen aus Dokumentation, Lizenzdateien und Preisseiten, abgerufen am 28.10.2026; getestet wurde nichts. Zwei Übernahmen in diesem Jahr (Portkey abgeschlossen, OpenRouter vereinbart) gehören zum Vergleich. Was ein Gateway grundsätzlich leistet, erklärt Was ist LiteLLM?. Stand Oktober 2026.
Inhaltsverzeichnis
- Kurzfassung
- Die sechs Gateways im Überblick
- Betrieb, Lizenz und Eigentümer
- Routing, Budgets und Schlüssel
- Beobachtbarkeit, Schutz und Datenabfluss
- Einordnung der übrigen Gateways
- OpenRouter im Unternehmen
- LiteLLM: Lizenz, Betrieb und Sicherheit
- Entscheidungstabelle
- Fragen vor der Wahl
- Stand und Methodik
- Unser Vorgehen bei WZ-IT
- Weiterführende Guides
Kurzfassung
- Der Betrieb entscheidet zuerst: Dienste (OpenRouter, Cloudflare) sparen Betrieb und fügen eine Partei zwischen Anwendung und Modellanbieter ein. Der Selbstbetrieb (LiteLLM, Portkey, Kong, Agent Router) braucht Updates, Zuständige und je nach Produkt Datenbank oder Redis.
- Lizenz: LiteLLM und Portkey stehen unter MIT, LiteLLM mit lizenzpflichtigem Verzeichnis
enterprise/, Portkey mit kommerzieller Enterprise-Version. Agent Router steht unter Apache-2.0. Bei Kong sind Lastverteilung, Ausgabenlimits und PII-Maskierung nur Enterprise. - Eigentümer: Portkey gehört seit 29.05.2026 zu Palo Alto Networks, die Übernahme von OpenRouter durch Stripe ist seit 19.08.2026 vereinbart.
- Kosten: OpenRouter berechnet 5,5 % (Standard) oder 8 % (Business) beim Guthabenkauf. LiteLLM ohne Enterprise-Lizenz und Agent Router verursachen Betriebskosten statt Gebühren.
Die sechs Gateways im Überblick
Die Auswahl umfasst Gateways, deren Dokumentation gelesen wurde: LiteLLM (Open-Source-Proxy), OpenRouter und Cloudflare AI Gateway (Dienste), Portkey (Open-Source-Gateway mit gehosteter Plattform), Kong AI Gateway (AI-Plugins für den API-Gateway Kong) und Agent Router, bis zum 10.09.2026 Envoy AI Gateway, für Kubernetes. Direkt an den Modellanbieter anzuschließen bleibt die Alternative, wenn nur eine Anwendung ein Modell nutzt.
Betrieb, Lizenz und Eigentümer
| Gateway | Betrieb und Aufwand | Lizenz | Kosten laut Anbieter | Eigentümer oder Träger |
|---|---|---|---|---|
| LiteLLM | Selbstbetrieb (Proxy); PostgreSQL, ab zwei Instanzen Redis | MIT, ausgenommen enterprise/ unter eigener Enterprise-Lizenz (LICENSE) |
Open Source kostenlos; Enterprise nutzungsbasiert auf Anfrage | BerriAI |
| OpenRouter | Dienst, kein eigener Betrieb | Selbstbetrieb in der gelesenen Dokumentation nicht beschrieben | Inferenz zum Listenpreis; 5,5 % (Standard) oder 8 % (Business) auf Guthabenkäufe | Stripe: Übernahme am 19.08.2026 vereinbart |
| Portkey | Selbstbetrieb (Docker, Node.js) oder gehostet | Gateway MIT; Enterprise-Version kommerziell | Open Source kostenlos; gehostet Developer kostenlos, Production 49 US-Dollar im Monat, Enterprise nach Angebot | Palo Alto Networks: Übernahme am 29.05.2026 abgeschlossen |
| Kong AI Gateway | Data Plane im Selbstbetrieb (Plugins ab Gateway 3.6) oder Konnect-verwaltet | Kong Gateway Apache-2.0; AI Proxy und Prompt Guard ohne Tier-Vermerk; AI Proxy Advanced, Semantic Cache, Rate Limiting Advanced und PII-Sanitizer nur Enterprise | Preise der Enterprise-Plugins nicht geprüft | Kong Inc. |
| Cloudflare AI Gateway | Dienst, kein eigener Betrieb | Selbstbetrieb in der gelesenen Dokumentation nicht beschrieben | Kernfunktionen kostenlos; Unified Billing 5 % auf Guthaben | Cloudflare |
| Agent Router (früher Envoy AI Gateway) | Selbstbetrieb auf Kubernetes 1.32+ mit Envoy Gateway 1.9.2+; Redis für Token-Limits | Apache-2.0 | keine Lizenzkosten, Betriebskosten | Agentic AI Foundation |
Die Eigentümerwechsel stehen in den Pressemitteilungen von Palo Alto Networks und Stripe. Ob sich dadurch Bedingungen, Unterauftragsverarbeiter oder der Open-Source-Zweig ändern, nennen beide Meldungen nicht; das ist ein Prüfpunkt vor dem Vertrag. Stripe gibt am 19.08.2026 bekannt, die Übernahme von OpenRouter vereinbart zu haben; OpenRouter erwartete den Abschluss laut eigener Ankündigung „in den kommenden Wochen“ und schreibt, Produkt und bestehende Zusagen blieben unverändert. Eine Abschlussmeldung war am 28.10.2026 in den genannten Quellen nicht zu finden. Auf portkey.ai steht der Hinweis „Portkey is now PRISMA AIRS AI Gateway“, und Palo Alto Networks kündigte am 16.07.2026 die allgemeine Verfügbarkeit des Prisma AIRS AI Gateway an, in das Neuerungen aus der Portkey-Übernahme einfließen. Portkey kündigt im Repository an, den Kern des Enterprise-Gateways mit Version 2.0 in Open Source zu überführen (Vorabversion).
Routing, Budgets und Schlüssel
| Gateway | Routing und Fallback | Budgets und Limits | Schlüssel und Mandanten |
|---|---|---|---|
| LiteLLM | Strategien, Retries, Fallbacks, Cooldowns (Routing) | Budgets je Key, Team, Nutzer; TPM und RPM; Datenbank nötig; Budgets je Modell: Enterprise (Budgets) | Virtual Keys und Teams frei; Mandantenfähigkeit, SSO über 5 Nutzer, Audit-Logs: Enterprise |
| OpenRouter | Auto-Routing, Anbieterliste, Fallback (Standard: an) (Doku) | Budgetlimit in USD in Guardrails, Credit-Limit je Key | Workspaces (5 Standard, 1.000 Business); SSO/SAML und SCIM nur Enterprise |
| Portkey | Fallbacks, Load Balancing, Retries, bedingtes Routing | Budget Limits nur Enterprise und ausgewählte Pro-Kunden (Doku) | RBAC und Service-Account-Keys ab Production; SSO nur Enterprise (Preise) |
| Kong | Lastverteilung und Failover zwischen Zielen: AI Proxy Advanced, nur Enterprise (Doku) | Ausgabenlimits: AI Rate Limiting Advanced, nur Enterprise | Anbieter-Authentifizierung im Auftrag des Kong-Consumers (AI Proxy) |
| Cloudflare | Retries, Modell-Fallback; Dynamic Routing (Beta) | Rate Limiting nach Anfragen; Spend Limits (Beta) | authentifiziertes Gateway; BYOK-Ablage (Beta) |
| Agent Router | Provider-Fallback (Doku) | Token-Limits je Mandant (frei wählbarer Header, in der Doku x-tenant-id) und Modell, Redis nötig (Doku) |
Kubernetes-Secrets; Zugriff auf Secrets anderer Namespaces nur per ReferenceGrant (ab 1.2) |
Beobachtbarkeit, Schutz und Datenabfluss
| Gateway | Langfuse und Telemetrie | Guardrails | Streaming | Datenabfluss |
|---|---|---|---|---|
| LiteLLM | Langfuse-Callback und OpenTelemetry (Logging) | Eigene Guardrails und Presidio frei; mehrere integrierte Anbieter-Guardrails Enterprise | unterstützt | keine zusätzliche Partei; Prompts gehen an die angebundenen Modellanbieter |
| OpenRouter | Broadcast an Langfuse und weitere Ziele (Doku) | Allowlists, ZDR, Regionen, PII-Erkennung, Regex gegen Prompt Injection (Doku) | Abrechnung je Token auch bei Streaming | zusätzliche Partei; Prompts nur mit Opt-in gespeichert, Metadaten gespeichert |
| Portkey | OSS: Konsole mit lokalen Logs; Logs und Traces in der gehosteten App; Langfuse über den OpenAI-kompatiblen Langfuse-Client (Anleitung) | 20+ deterministische, LLM-basierte und Partner-Guardrails je nach Plan (Doku) | Output-Guardrails bei Streaming nur informativ | Selbstbetrieb: keine zusätzliche Partei; gehostet: Portkey |
| Kong | Token-Nutzung im Log des gewählten Logging-Plugins; Langfuse über das OpenTelemetry-Plugin (Anleitung) | Prompt Guard ohne Tier-Vermerk; semantische Guards und PII-Sanitizer nur Enterprise | in AI Proxy gelistet | Data Plane in Ihrer Umgebung; Konnect, falls genutzt, erhält Konfiguration und Observability-Daten |
| Cloudflare | Analytics, Logs, Export von Trace-Spans per OpenTelemetry (Logging, OTel) | Guardrails mit Llama Guard 3 und DLP (beide Beta) | Streaming-Anfragen möglich; Guardrails unterstützen kein Streaming, DLP puffert die vollständige Antwort (Doku) | zusätzliche Partei; Log-Speicherung per Header abschaltbar, Datenstandort nicht beschrieben |
| Agent Router | Prometheus-Metriken, OpenTelemetry-Traces | in der gelesenen Doku nicht beschrieben | laufende Streams werden nicht unterbrochen; Limits greifen danach | keine zusätzliche Partei |
Langfuse beschreibt Anleitungen für LiteLLM, OpenRouter, Portkey (über den OpenAI-kompatiblen Langfuse-Client) und Kong (über das OpenTelemetry-Plugin). Für Cloudflare und Agent Router führt der Weg über den OpenTelemetry-Export; Langfuse nimmt OTLP über HTTP an, aber nicht über gRPC (Langfuse). Das Gateway selbst fügt im Selbstbetrieb keine weitere Partei hinzu, die Prompts erreichen weiter die angebundenen Modellanbieter; bei selbst betriebenen Modellen bleiben sie im eigenen Netz (vLLM vs. Ollama).
Wechsel zwischen Gateways. Alle sechs dokumentieren eine OpenAI-kompatible Schnittstelle (bei Portkey als Teil der Universal API). Basis-URL und Modellnamen lassen sich tauschen, Virtual Keys, Budgets, Guardrail-Konfigurationen und Dashboards nicht. Wer wechseln können will, hält diese Konfiguration in Dateien statt nur in der Oberfläche (Einordnung).
Einordnung der übrigen Gateways
- Portkey: Das MIT-Gateway deckt Routing, Fallbacks, Lastverteilung und Guardrails ab. Logs und Traces liefert die gehostete App; Budget Limits gibt es für Enterprise und ausgewählte Pro-Kunden, SSO nur in Enterprise. Die Pressemitteilung zur Übernahme äußert sich weder zum Open-Source-Gateway noch zu Bestandskunden.
- Kong: Passt, wenn Kong den API-Verkehr ohnehin führt. Der AI Proxy übersetzt Anfragen auf mehrere Anbieter, darunter OpenAI, Anthropic, Mistral, Ollama und vLLM, und gilt ab Kong Gateway 3.6. Für mehrere Ziele, Ausgabenlimits und PII-Maskierung nennt die Dokumentation Enterprise-Plugins; „Enterprise“ heißt dort „AI License Required“ beziehungsweise „AI Gateway Enterprise“. Daneben dokumentiert Kong „AI Gateway 2.x“ mit einer in Konnect verwalteten Control Plane und selbst betriebenen Data-Plane-Knoten (Architektur); dieser Vergleich beschreibt die Plugin-Variante auf Kong Gateway.
- Cloudflare: Analytics, Cache und Rate Limiting ohne eigenen Betrieb. Spend Limits, Dynamic Routing, DLP, Guardrails und BYOK sind in der Dokumentation als Beta geführt.
- Agent Router: Die Voraussetzungen stehen in der Dokumentation. Release 1.2 vom 09.10.2026 war die erste unter dem neuen Namen; CRDs, Helm-Charts und CLI blieben unverändert (Release).
OpenRouter im Unternehmen
OpenRouter rechnet die Inferenz zum Listenpreis des Anbieters ab und berechnet die Plattformgebühr beim Guthabenkauf (Preise). Unter der Annahme, dass die Gebühr der Prozentsatz der Kaufsumme ist:
| Guthabenkäufe im Monat | Standard (5,5 %) | Business (8 %) |
|---|---|---|
| 1.000 US-Dollar | 55 US-Dollar | 80 US-Dollar |
| 10.000 US-Dollar | 550 US-Dollar | 800 US-Dollar |
| 50.000 US-Dollar | 2.750 US-Dollar | 4.000 US-Dollar |
Mit eigenen Anbieterschlüsseln (BYOK) entfällt in Standard und Business die Gebühr bis 25.000 US-Dollar Listenpreis-Inferenz im Monat, danach gelten 5 Prozent des Listenpreises der jeweiligen Anfrage. Dann bleiben die Verträge mit den Modellanbietern bei Ihnen.
Zum Datenfluss: OpenRouter speichert Prompts und Antworten nur mit Opt-in (Ausnahme: als mutmaßlicher CSAM markierte Inhalte), Metadaten wie Tokenzahl und Latenz werden gespeichert (Datenschutz). Der Parameter data_collection steht standardmäßig auf allow, was Anbieter erlaubt, die Daten speichern und darauf trainieren dürfen; deny und zdr schränken das ein (Provider-Auswahl). Anfragen an eu.openrouter.ai werden bei Anbietern in Europa (EU/EWR, Vereinigtes Königreich, Schweiz) verarbeitet, aber nur in Business und Enterprise. Konto-, Abrechnungs-, Authentifizierungs- und Sicherheitsdaten können in den USA gespeichert oder verarbeitet werden (In-Region-Routing). OpenRouter nennt einen Auftragsverarbeitungsvertrag mit Standardvertragsklauseln, dessen EU-Zusatz für API-Nutzdaten schriftlich gewählt werden muss.
LiteLLM: Lizenz, Betrieb und Sicherheit
- Lizenz: MIT, ausgenommen
enterprise/. Enterprise ist ein Lizenzschlüssel auf demselben Image; SSO ist bis fünf Nutzer frei, Audit-Logs, Mandantenfähigkeit und weitere Funktionen brauchen die Lizenz, die nutzungsbasiert berechnet wird (Enterprise). - Betrieb: PostgreSQL ist für Schlüssel, Teams und Ausgaben nötig, ab mehr als einer Instanz kommt Redis 7.0 oder neuer hinzu, und je Pod empfiehlt die Dokumentation 1 vCPU und 4 Gi Arbeitsspeicher, wobei 4 Gi als Untergrenze gelten. Versionen werden fest gesetzt, nicht
latest(Produktion). - Sicherheit: Das Gateway hält die Schlüssel aller Modelle. Advisories vom 30.09. und 01.10.2026 und die kompromittierten PyPI-Versionen vom März 2026 beschreiben Was ist LiteLLM? und LiteLLM-Sicherheitslücke: Gateway absichern. Am 27.10.2026 folgte ein weiteres kritisches Advisory (GHSA-w4c7-34wj-hqm8): Es betrifft Proxys mit aktiver Enterprise-Lizenz; Open-Source-Deployments ohne Lizenz sind laut Advisory nicht betroffen.
Eine Alternative ergibt sich aus dem Ziel, selten aus der Lizenz: kein Betrieb (Dienst), Kubernetes-Plattform mit Envoy (Agent Router), vorhandenes Kong (Kong-Plugins).
Entscheidungstabelle
Unsere Einordnung aus den obigen Angaben:
| Ausgangslage | Naheliegende Wahl | Prüfpunkt |
|---|---|---|
| Eine Anwendung, ein Modell | kein Gateway | Budget und Ausfallschutz beim Anbieter |
| Kleines Team testet viele Modelle, unkritische Daten | OpenRouter Standard | Gebühr auf Guthaben, Datenfluss |
| Mehrere Teams, externe und selbst betriebene Modelle | LiteLLM im Selbstbetrieb | Betrieb von PostgreSQL, Updates; Enterprise-Bedarf |
| Plattformteam auf Kubernetes mit Envoy | Agent Router | kein Schlüssel- und Nutzerportal in der gelesenen Doku |
| Kong ist als API-Gateway gesetzt | Kong AI Gateway | Lastverteilung und Limits erfordern Enterprise |
| Anwendungen laufen bei Cloudflare | Cloudflare AI Gateway | Beta-Funktionen, Datenstandort nicht beschrieben |
| Regulierte Daten, keine Zwischenstelle zulässig | Selbstbetrieb mit eigenen Modellen | Datenabfluss nur zu selbst gewählten Anbietern |
| Dienst nötig, Verarbeitung in Europa gefordert | OpenRouter Business oder Enterprise | Konto- und Betriebsdaten ggf. in den USA |
Fragen vor der Wahl
- Welche Datenklassen laufen durch das Gateway, und darf eine Zwischenstelle sie sehen?
- Wo laufen Gateway, Datenbank, Protokolle und Backups?
- Welche benötigten Funktionen stehen in der Open-Source-Version, welche hinter einer Lizenz?
- Wer ist Eigentümer, und was gilt bei einem Wechsel für Vertrag und Unterauftragsverarbeiter?
- Wie werden Schlüssel, Teams und Budgets verwaltet, und wer rotiert Schlüssel?
- Wie kommen Traces nach Langfuse: Callback, Broadcast oder OTLP?
- Wer spielt Updates ein, und wie schnell nach einem Advisory?
Stand und Methodik
- Stand: 28.10.2026. Alle Angaben stammen aus der Dokumentation, den Lizenzdateien und den Preisseiten der Anbieter. Funktionstests gab es nicht; Funktionen mit Beta-Kennzeichnung sind so benannt.
- Annahmen: Die gebührenbasierte Rechnung setzt voraus, dass die Gebühr dem Prozentsatz der Kaufsumme entspricht.
- Nicht untersucht: Helicone, MLflow AI Gateway, TensorZero und Gateways der Hyperscaler; Latenz und Durchsatz.
Unser Vorgehen bei WZ-IT
Wir betreiben LiteLLM als self-hosted LLM-Gateway in Deutschland: mit Virtual Keys, Budgets, Provider-Fallbacks, Logging, Netzsegmentierung und Anbindung an vLLM, Ollama und Langfuse (LiteLLM Hosting). Vorab prüfen wir, ob Enterprise-Funktionen wie SSO für mehr als fünf Nutzer, Audit-Logs oder ein Secret-Manager nötig sind. Tracing, Evals, Kosten und Latenz der Anwendung hinter dem Gateway überwacht LLMOps mit Langfuse. Für den Modellbetrieb stehen LLM-Hosting und der Managed GPU Server zur Verfügung.
Weiterführende Guides
- Was ist LiteLLM? - Gateway-Grundlagen und Betriebsregeln
- Was ist Langfuse? - Tracing und Evaluation
- LiteLLM-Sicherheitslücke: Gateway absichern - Advisory und Härtung
- Der Open-Source-LLM-Stack - Einordnung des Gateways
- vLLM vs. Ollama - Modellbetrieb hinter dem Gateway
- MCP im Unternehmen - Gateways für MCP-Server
Gateway-Entscheidung treffen oder LiteLLM betreiben lassen? WZ-IT betreibt LiteLLM mit Budgets, Schlüsseln und Langfuse-Anbindung und überwacht die Anwendung dahinter. LiteLLM Hosting · LLMOps · Termin vereinbaren
