LLM Gateway

Description

LLM Gateway est une passerelle API open-source qui se situe entre vos applications et les fournisseurs de LLM tels qu'OpenAI, Anthropic et Google. Elle vous offre une API unique, compatible avec OpenAI, pour acheminer, gérer et analyser les demandes à travers plus de 200 modèles de plus de 40 fournisseurs, vous permettant de changer de modèle ou de fournisseur en modifiant simplement une chaîne de modèle plutôt qu'en réécrivant du code. Les nouvelles versions de modèles sont généralement ajoutées dans les 48 heures.

Étant compatible avec OpenAI, la migration est aussi simple que de pointer votre SDK existant vers l'URL de base de la passerelle et de s'authentifier avec une clé API. Chaque demande est suivie avec des informations sur le coût, la latence et l'utilisation des tokens, décomposées par modèle, fournisseur, projet et clé API, et le tableau de bord affiche les taux d'erreur, les taux de réussite du cache et les tendances de fiabilité. La passerelle bascule automatiquement vers des fournisseurs sains lorsqu'un fournisseur rencontre une erreur, met en cache les demandes identiques et offre des garde-fous pour détecter les informations personnelles identifiables (PII), bloquer les injections de prompt et arrêter les demandes malveillantes. Elle prend également en charge la génération d'images et de vidéos, la recherche sur le web et les modèles de raisonnement via la même API.

LLM Gateway propose trois façons de l'exécuter, dont deux gratuites : des crédits à la demande aux tarifs des fournisseurs avec des frais de plateforme fixes de 5 %, un routage avec vos propres clés (BYOK) sans frais de plateforme, ou un auto-hébergement gratuit sous la licence AGPLv3. Les plans d'entreprise ajoutent des remises sur volume, un routage personnalisé, une conservation des données illimitée, des journaux d'audit, SSO/SAML, des politiques de conformité des fournisseurs et un SLA de disponibilité de 99,9 %. Elle est utilisée par des agents et outils de codage tels que Claude Code, Cursor, Cline et OpenCode.

Fonctionnalités principales de LLM Gateway

• Une API compatible avec OpenAI pour plus de 200 modèles de plus de 40 fournisseurs

• Migration facile en changeant uniquement l'URL de base

• Analyses en temps réel des coûts, de la latence et des tokens par modèle, fournisseur et projet

• Basculement automatique vers des fournisseurs sains

• Mise en cache des prompts pour réduire les coûts et la latence

• Garde-fous pour la détection de PII et le blocage des injections de prompt

• Génération d'images et de vidéos, recherche sur le web et raisonnement via la même API

• BYOK gratuit et auto-hébergement (AGPLv3), plus des crédits à la demande

Comment utiliser LLM Gateway ?

1. 1

   Pointez votre SDK vers la passerelle : Changez l'URL de base vers le point de terminaison de LLM Gateway et utilisez une clé API de LLM Gateway.

2. 2

   Choisissez comment payer : Utilisez des crédits à la demande, apportez vos propres clés de fournisseur gratuitement, ou auto-hébergez sous AGPLv3.

3. 3

   Acheminez les demandes : Envoyez des demandes et laissez la passerelle acheminer vers le bon fournisseur avec un basculement automatique.

4. 4

   Analysez et optimisez : Suivez les coûts, la latence et les erreurs dans le tableau de bord et acheminez vers des modèles moins chers lorsque cela est approprié.

Cas d'utilisation de LLM Gateway

• Agents et assistants de codage
• Support client AI
• Optimisation des coûts AI
• RAG et questions-réponses sur des documents
• Évitement du verrouillage fournisseur

FAQ de LLM Gateway

• Qu'est-ce que LLM Gateway ?

  C'est une passerelle API open-source, compatible avec OpenAI, qui achemine les demandes à travers plus de 200 modèles de plus de 40 fournisseurs avec suivi des coûts, mise en cache et routage intelligent.

• En quoi est-elle différente d'OpenRouter ?

  Elle offre un auto-hébergement complet sous AGPLv3, des analyses en temps réel plus approfondies des coûts et de la latence par demande, un apport de vos propres clés gratuit, et des options d'entreprise flexibles comme des shards dédiés et des SLA personnalisés.

• Quels modèles sont pris en charge ?

  Plus de 200 modèles de plus de 40 fournisseurs, y compris GPT-4o, Claude, Gemini, Llama et Mistral, avec de nouvelles versions ajoutées dans les 48 heures suivant leur lancement.

• Combien cela coûte-t-il ?

  Les crédits à la demande comportent des frais de plateforme fixes de 5 %, le routage avec vos propres clés est gratuit, et l'auto-hébergement est gratuit pour toujours sous AGPLv3 ; la conservation complète des données coûte 0,01 $ par million de tokens.

• Quelle est la difficulté d'intégration ?

  Elle est compatible avec le format API d'OpenAI, donc vous changez une ligne, votre URL de base, et conservez votre SDK existant dans n'importe quel langage ou framework.

• Quelle est la garantie de disponibilité ?

  Les instances d'entreprise bénéficient d'un SLA de disponibilité de 99,9 %, tandis que les installations auto-hébergées dépendent de votre propre infrastructure, et le basculement automatique réduit le temps d'arrêt effectif.