Description
Langfuse AI Gateway est une plateforme d'ingénierie AI open-source qui fournit une solution unifiée pour gérer et observer les appels et agents AI. Elle est construite sur OpenTelemetry, une norme de l'industrie pour les données de télémétrie, garantissant une observabilité robuste et évolutive à travers toutes les interactions AI.
Lire la suite
Les fonctionnalités clés de Langfuse AI Gateway incluent l'observabilité des agents, qui permet aux développeurs de surveiller le comportement et la performance de leurs agents AI en temps réel. Cela est crucial pour le débogage, l'optimisation et la compréhension de la manière dont les agents interagissent avec divers modèles AI et sources de données. La plateforme prend également en charge des capacités d'évaluation complètes, permettant aux utilisateurs d'évaluer la qualité et l'efficacité de leurs modèles et prompts AI.
De plus, Langfuse AI Gateway offre des fonctionnalités de gestion des prompts et des compétences, fournissant un moyen structuré d'organiser, de versionner et de déployer des prompts et des compétences AI. Cela aide à maintenir la cohérence et à améliorer la réutilisabilité des composants AI à travers différents projets. La passerelle prend en charge divers fournisseurs AI, y compris Google Vertex AI, et permet des URL de base personnalisées et des en-têtes supplémentaires pour des services comme OpenAI et Azure.
Les utilisateurs ont la flexibilité de soit auto-héberger Langfuse AI Gateway, leur donnant un contrôle total sur leurs données et leur infrastructure, soit d'utiliser Langfuse Cloud pour une expérience de service géré. La plateforme est continuellement développée, avec des mises à jour récentes axées sur l'amélioration de la communication web HTTP/2, l'ajout de nouveaux fournisseurs de passerelle, l'amélioration de l'accessibilité des paramètres et la garantie de l'exactitude des coûts. C'est une solution robuste pour les développeurs et les organisations cherchant à rationaliser leurs flux de travail d'ingénierie AI et à obtenir des informations plus approfondies sur leurs systèmes AI.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireOpen source
- DéploiementAuto-hébergé, Cloud
- PlateformesWeb
Fonctionnalités principales de Langfuse AI Gateway
Plateforme d'ingénierie AI open-source
Fonctionnalité de passerelle AI
Observabilité des agents
Évaluations des modèles AI
Gestion des prompts
Gestion des compétences
Construit sur OpenTelemetry
Prend en charge Google Vertex AI en tant que fournisseur
URLs de base personnalisées pour OpenAI et Azure
En-têtes supplémentaires pour OpenAI et Azure
Option d'auto-hébergement
Option Langfuse Cloud
Support HTTP/2 pour le Web
Mécanisme de réessai de résolution immédiate
Exactitude des coûts pour l'analytique
Premiers pas avec Langfuse AI Gateway
Cloner le dépôt : Obtenez le code source de Langfuse AI Gateway en clonant le dépôt GitHub.
Installer les dépendances : Configurez les dépendances nécessaires en Rust et autres dépendances du projet comme spécifié dans les fichiers du projet.
Configurer la passerelle : Personnalisez les paramètres de la passerelle, y compris les points de terminaison des fournisseurs AI et les détails d'authentification.
Construire le service : Compilez le service Rust en utilisant les scripts de construction fournis ou le Dockerfile.
Exécuter la passerelle : Exécutez le service de la passerelle AI, soit localement, soit déployé sur votre infrastructure.
Intégrer les appels AI : Dirigez vos appels AI à travers Langfuse AI Gateway pour activer l'observabilité et la gestion.
Cas d'utilisation de Langfuse AI Gateway
- Surveillance des agents AI
- Évaluation des modèles AI
- Gestion de l'ingénierie des prompts
- Routage centralisé des appels AI
- Intégration API AI personnalisée
- Infrastructure AI auto-hébergée
- Optimisation des coûts AI








