Description
ARBR est une passerelle AI auto-hébergée et un plan de contrôle conçu pour rationaliser la gestion des demandes AI à travers divers fournisseurs de modèles. Il agit comme un hub central pour le routage, l'observabilité, la gestion des budgets et la gouvernance, garantissant que chaque demande AI est traitée de manière efficace et rentable. En fournissant un point de terminaison compatible avec OpenAI, ARBR permet aux applications de s'intégrer sans effort avec plus de 100 fournisseurs et 3 000 modèles, offrant une vue d'ensemble complète de l'utilisation et des performances de l'AI.
Lire la suite
La plateforme permet aux utilisateurs de diriger les tâches vers le modèle le plus approprié, de surveiller l'utilisation des jetons et d'appliquer des limites budgétaires avant l'exécution. Elle fournit également des analyses et des rapports détaillés, permettant aux utilisateurs de mesurer les dépenses, les performances et la fiabilité par fournisseur, modèle, application, flux de travail, équipe et utilisateur. Les capacités de routage intelligent d'ARBR garantissent que les demandes sont automatiquement ou manuellement dirigées vers le modèle approprié, tandis que la mise en cache et les limites de jetons aident à prévenir les coûts inutiles.
Les fonctionnalités de gouvernance d'ARBR incluent des limites strictes et des commutateurs à l'échelle de l'organisation pour éviter les dépenses excessives, ainsi que des contrôles d'identité et d'accès pour gérer les autorisations des utilisateurs. La plateforme prend également en charge les déploiements canari et en ombre pour les nouveaux modèles, permettant des déploiements sûrs avec un retour en arrière instantané et des portes de régression.
Avec sa nature open-source et sa compatibilité avec l'infrastructure existante, ARBR est une solution polyvalente pour les équipes exécutant l'AI en production. Elle s'intègre avec des outils de surveillance populaires tels qu'OpenTelemetry, Datadog, Grafana et Prometheus, fournissant une vue d'ensemble complète des opérations AI. ARBR est conçu pour être fiable et facile à déployer, avec des options pour Docker et des configurations locales.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireOpen Source
- DéploiementDocker, Local
- PlateformesCompatible OpenAI
Fonctionnalités principales de ARBR
Point de terminaison compatible avec OpenAI
Routage et observabilité
Gestion des budgets et gouvernance
Sélection intelligente de modèles
Analyses et rapports détaillés
Contrôles d'identité et d'accès
Déploiements canari et en ombre
Open-source sous licence MIT
Comment utiliser ARBR ?
Déployer : Configurez ARBR dans votre environnement
Configurer : Dirigez les applications vers la passerelle ARBR
Surveiller : Utilisez des tableaux de bord pour des informations
Optimiser : Ajustez le routage et les budgets
Cas d'utilisation de ARBR
- Gestion des Coûts
- Gouvernance des Modèles
- Surveillance des Performances
- Routage Intelligent
- Déploiement Sûr de Modèles
