Description
EvalCore est conçu pour aider les développeurs à savoir quand leur IA se dégrade avant que les utilisateurs ne le remarquent. Il offre des tests instantanés pour le comportement de l'IA, permettant aux utilisateurs d'enregistrer comment leur application ou agent LLM se comporte, puis de rejouer cet enregistrement dans l'intégration continue (CI) à chaque changement. Ce processus est hors ligne, déterministe et complètement gratuit.
Lire la suite
Avec EvalCore, les développeurs peuvent facilement vérifier si des changements tels que la modification d'un prompt, l'échange d'un modèle ou la mise à jour d'une dépendance ont causé des problèmes. L'outil enregistre le comportement de l'IA et vérifie chaque changement par rapport aux données enregistrées, garantissant que toute régression est détectée tôt. La configuration est simple, nécessitant seulement un petit binaire qui fonctionne avec n'importe quel langage de programmation, éliminant le besoin d'un cadre de test ou d'un SDK.
La première exécution d'EvalCore appelle le modèle réel et enregistre chaque requête et réponse dans une cassette SQLite locale. Cette cassette est indexée sur un hachage de la requête canonique, permettant un suivi facile des tokens et des coûts. Chaque exécution subséquente dans CI rejoue la cassette, garantissant que des entrées identiques produisent des sorties identiques, bloquant ainsi efficacement les régressions. Cela signifie que les développeurs peuvent exécuter des tests sans avoir besoin d'accès réseau ou de clés API, rendant le processus plus fiable et efficace.
EvalCore est compatible avec divers modèles et API, y compris OpenAI, vLLM et Ollama, ainsi que des API REST personnalisées et des commandes shell. Cette flexibilité permet aux développeurs de livrer leur première évaluation en quelques minutes sans aucune dépendance. L'outil est open-source sous la licence Apache-2.0, le rendant accessible à quiconque cherchant à améliorer ses applications IA.
- CatégorieRevue de code et tests IA
- Modèle tarifaireGratuit
- DéploiementHors ligne
- PlateformesmacOS, Linux, CI runners
Fonctionnalités principales de EvalCore
Tests instantanés pour le comportement de l'IA
Relecture hors ligne
Résultats déterministes
Aucun SDK ou cadre de test requis
Enregistre les requêtes et les réponses
Compatible avec OpenAI et d'autres API
Stockage local de cassette SQLite
Gratuit à utiliser dans CI
Comment utiliser EvalCore ?
Configurer : Dirigez une cible vers votre application et listez le jeu de données.
Exécuter : Exécutez la commande pour enregistrer le comportement de l'IA.
Rejouer : Utilisez la cassette enregistrée dans CI pour vérifier les régressions.
Valider : Enregistrez la cassette pour de futurs tests.
Cas d'utilisation de EvalCore
- Tests de régression
- Surveillance du comportement
- Comparaison de modèles
- Tests d'intégration
- Suivi des coûts
