LLM Gateway

Beschreibung

LLM Gateway ist ein Open-Source-API-Gateway, das zwischen Ihren Anwendungen und LLM-Anbietern wie OpenAI, Anthropic und Google sitzt. Es bietet Ihnen eine einzige, OpenAI-kompatible API, um Anfragen über 200+ Modelle von 40+ Anbietern zu leiten, zu verwalten und zu analysieren, sodass Sie Modelle oder Anbieter durch Ändern einer Modellzeichenfolge wechseln können, anstatt den Code neu zu schreiben. Neue Modellveröffentlichungen werden in der Regel innerhalb von 48 Stunden hinzugefügt.

Da es OpenAI-kompatibel ist, ist die Migration so einfach wie das Zeigen Ihres bestehenden SDK auf die Basis-URL des Gateways und die Authentifizierung mit einem API-Schlüssel. Jede Anfrage wird mit Kosten, Latenz und Token-Nutzung verfolgt, aufgeschlüsselt nach Modell, Anbieter, Projekt und API-Schlüssel, und das Dashboard zeigt Fehlerraten, Cache-Trefferquoten und Zuverlässigkeitstrends an. Das Gateway wechselt automatisch zu gesunden Anbietern, wenn einer einen Fehler aufweist, cached identische Anfragen und bietet Schutzmaßnahmen zur Erkennung von PII, zur Blockierung von Prompt-Injection und zur Verhinderung bösartiger Anfragen. Es unterstützt auch die Generierung von Bildern und Videos, Websuche und Denkmodelle über dieselbe API.

LLM Gateway bietet drei Möglichkeiten, es auszuführen, zwei davon kostenlos: nutzungsabhängige Credits zu Anbieterraten mit einer festen Plattformgebühr von 5 %, Bring-your-own-keys (BYOK) Routing ohne Plattformgebühr oder Selbsthosting kostenlos unter der AGPLv3-Lizenz. Unternehmenspläne bieten Mengenrabatte, benutzerdefiniertes Routing, unbegrenzte Datenaufbewahrung, Prüfprotokolle, SSO/SAML, Anbieter-Compliance-Richtlinien und eine SLA von 99,9 % Verfügbarkeit. Es wird von Codierungsagenten und -tools wie Claude Code, Cursor, Cline und OpenCode verwendet.

LLM Gateway's Kernfunktionen

• Eine OpenAI-kompatible API für 200+ Modelle von 40+ Anbietern

• Einfache Migration durch Änderung nur der Basis-URL

• Echtzeit-Kosten-, Latenz- und Token-Analysen pro Modell, Anbieter und Projekt

• Automatisches Failover zu gesunden Anbietern

• Caching von Prompts zur Senkung von Kosten und Latenz

• Schutzmaßnahmen zur Erkennung von PII und Blockierung von Prompt-Injection

• Generierung von Bildern und Videos, Websuche und Denken über dieselbe API

• Kostenloses BYOK und Selbsthosting (AGPLv3), plus nutzungsabhängige Credits

Wie verwendet man LLM Gateway?

1. 1

   Richten Sie Ihr SDK auf das Gateway: Ändern Sie die Basis-URL auf den LLM Gateway-Endpunkt und verwenden Sie einen LLM Gateway API-Schlüssel.

2. 2

   Wählen Sie, wie Sie bezahlen möchten: Verwenden Sie nutzungsabhängige Credits, bringen Sie Ihre eigenen Anbieter-Schlüssel kostenlos mit oder hosten Sie selbst unter AGPLv3.

3. 3

   Leiten Sie Anfragen: Senden Sie Anfragen und lassen Sie das Gateway an den richtigen Anbieter mit automatischem Failover weiterleiten.

4. 4

   Analysieren und optimieren: Verfolgen Sie Kosten, Latenz und Fehler im Dashboard und leiten Sie zu günstigeren Modellen, wo es passt.

LLM Gateway's Anwendungsfälle

• Codierungsagenten und -assistenten
• KI-Kundensupport
• KI-Kostenoptimierung
• RAG und Dokumenten-Q&A
• Vermeidung von Anbieterbindung

FAQ von LLM Gateway

• Was ist LLM Gateway?

  Es ist ein Open-Source, OpenAI-kompatibles API-Gateway, das Anfragen über 200+ Modelle von 40+ Anbietern mit Kostenverfolgung, Caching und intelligentem Routing leitet.

• Wie unterscheidet es sich von OpenRouter?

  Es bietet vollständiges Selbsthosting unter AGPLv3, tiefere Echtzeit-Kosten- und Latenzanalyse pro Anfrage, kostenloses Bring-your-own-keys und flexible Unternehmens-Add-ons wie dedizierte Shards und benutzerdefinierte SLAs.

• Welche Modelle werden unterstützt?

  200+ Modelle von 40+ Anbietern, einschließlich GPT-4o, Claude, Gemini, Llama und Mistral, mit neuen Veröffentlichungen, die innerhalb von 48 Stunden nach dem Start hinzugefügt werden.

• Wie viel kostet es?

  Nutzungsabhängige Credits haben eine feste Plattformgebühr von 5 %, Bring-your-own-keys-Routing ist kostenlos, und Selbsthosting ist für immer kostenlos unter AGPLv3; vollständige Datenaufbewahrung kostet $0,01 pro 1M Tokens.

• Wie schwierig ist die Integration?

  Es ist drop-in-kompatibel mit dem OpenAI-API-Format, sodass Sie eine Zeile ändern, Ihre Basis-URL anpassen und Ihr bestehendes SDK in jeder Sprache oder jedem Framework beibehalten können.

• Was ist die Verfügbarkeitsgarantie?

  Unternehmensinstanzen bieten eine SLA von 99,9 % Verfügbarkeit, während selbstgehostete Installationen von Ihrer eigenen Infrastruktur abhängen, und automatisches Failover reduziert die effektive Ausfallzeit.