Description
evalship offre une solution complète de contrôle de qualité spécifiquement conçue pour les évaluations de modèles de langage de grande taille (LLM). Il s'intègre directement dans votre flux de travail GitHub, agissant comme un gardien vigilant de votre processus de développement LLM. L'objectif principal d'evalship est d'identifier et de résoudre les défauts dans vos configurations d'évaluation, garantissant que vos LLM fonctionnent comme prévu et n'introduisent pas de régressions.
Lire la suite
Lors de la configuration, evalship examine minutieusement vos évaluateurs, juges et invites existants pour repérer les faiblesses telles que des évaluations qui passent incorrectement ou des règles qui manquent de couverture de test appropriée. Il surveille ensuite chaque demande de tirage, fournissant un retour immédiat sur ce qui a échoué, pourquoi cela a échoué et la cause probable. Cela inclut le signalement des appels d'IA non testés et la séparation des régressions réelles des résultats d'évaluation instables en analysant les performances historiques sur votre branche par défaut.
La plateforme fonctionne sans problème avec divers frameworks d'évaluation, y compris ceux qui produisent JUnit XML, promptfoo JSON ou evalship JSON, tels que pytest, Vitest, Jest, RSpec, Go, Java, PHPUnit, Rust, Langfuse, Braintrust et LangSmith. Il ne lance pas directement vos évaluations ; au lieu de cela, votre flux de travail GitHub Actions ou votre agent de codage les exécute en utilisant vos clés API, et evalship traite les résultats.
Au-delà de l'identification des problèmes, evalship aide à optimiser vos invites et modèles. Grâce à votre agent de codage, il teste différents changements sur votre machine, tels que des modèles moins coûteux ou des règles plus claires, et rapporte quels changements entraînent des améliorations statistiquement significatives. Cela permet aux équipes de prendre des décisions basées sur les données pour améliorer la performance des modèles et l'efficacité des coûts. evalship fournit également des rapports hebdomadaires résumant la performance des évaluations et mettant en évidence les problèmes critiques détectés avant qu'ils n'atteignent la production.
Les tarifs incluent un niveau gratuit pour les dépôts publics et un dépôt privé avec un utilisateur, offrant 100 analyses de PR et 30 jours d'historique d'évaluation. Les plans payants (Équipe, Pro, Entreprise) offrent un nombre accru d'utilisateurs, de dépôts privés, d'analyses de PR et un historique d'évaluation plus long, avec des options de facturation mensuelle ou annuelle. Une offre de lancement propose des réductions significatives pour les premiers utilisateurs. evalship garantit la sécurité en ne stockant pas votre code source ou vos clés API, ne traitant que les différences et les résultats d'évaluation.
- CatégorieRevue de code et tests IA
- Modèle tarifaireFreemium
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de evalship
Identifie les défauts dans les évaluations de LLM lors de la configuration
Commente chaque demande de tirage avec une analyse détaillée des échecs d'évaluation
Optimise automatiquement les invites et les modèles en fonction des données de performance
Fonctionne avec tout framework d'évaluation existant (JUnit XML, promptfoo, evalship JSON)
Fournit plus de 24 contrôles de qualité pour les évaluations de LLM
Sépare les régressions des évaluations instables en utilisant des données historiques
Détecte les appels d'IA non testés dans les demandes de tirage
Bloque les fusions qui enfreignent les règles d'évaluation (configurable)
Débloque les demandes de tirage une fois les problèmes résolus
Envoie des rapports hebdomadaires d'évaluation résumant la performance et les problèmes
Prend en charge les monorepos et plusieurs flux de travail d'évaluation
S'intègre à Langfuse, Braintrust et LangSmith sans nécessiter de changement
Propose une révision gratuite des évaluations lors de la configuration
Permet aux agents de codage de vérifier les changements avant d'ouvrir des demandes de tirage
Assure la sécurité en ne stockant pas le code source ou les clés API
Comment utiliser evalship ?
Configuration : Connectez votre dépôt GitHub et demandez à votre agent de codage de configurer evalship, qui examine vos évaluations et crée une demande de tirage de configuration.
Surveillez les demandes de tirage : evalship surveille automatiquement chaque demande de tirage, commentant les changements qui enfreignent les évaluations ou introduisent des appels d'IA non testés.
Examinez les rapports : Accédez à des rapports détaillés pour chaque évaluation, y compris les entrées, les sorties et l'historique pour comprendre ce qui a échoué et pourquoi.
Optimisez : Utilisez la fonction d'optimisation d'evalship pour tester les changements d'invite et de modèle avec votre agent de codage, identifiant les améliorations au-delà du hasard.
Recevez des rapports : Recevez des rapports hebdomadaires par e-mail résumant la performance des évaluations et mettant en évidence les problèmes critiques détectés avant la fusion.
Cas d'utilisation de evalship
- Contrôle de qualité des évaluations de LLM
- Révision automatique des demandes de tirage
- Optimisation des invites et des modèles
- Prévention des régressions
- Détection des appels d'IA non testés
- Gestion des évaluations instables
- Conformité et atténuation des risques de responsabilité
- Amélioration du flux de travail des développeurs
