Description
Attest est un cadre de test complet conçu spécifiquement pour les agents IA, disponible pour les environnements Python et TypeScript. Il permet aux développeurs de tester rigoureusement le comportement de leurs agents IA, en vérifiant leurs sorties, les interactions avec les outils et les modifications qu'ils apportent aux états externes. Le cadre met l'accent sur des vérifications déterministes, permettant aux développeurs de capturer les traces des agents et les échanges de modèles, puis de les rejouer contre le code réel de l'agent dans un environnement contrôlé.
Lire la suite
Le flux de travail principal d'Attest implique trois étapes principales : capture, replay et gate. Tout d'abord, `attest capture` enregistre la trace de l'agent et les interactions avec le modèle, masque les données sensibles et rédige des contrats de comportement initiaux. Ces contrats définissent les comportements attendus, tels que des appels d'outils spécifiques ou des changements à un « état du monde ». Ensuite, le mécanisme de `replay` exécute le code réel de l'agent contre ces réponses de modèle enregistrées via un proxy local. Cela élimine la variabilité des appels de modèle en direct, rendant les tests cohérents et répétables dans les pipelines CI/CD. Enfin, l'étape `gate` impose des politiques basées sur les résultats des tests, bloquant les fusions si des contrats critiques sont violés ou si des comportements inattendus se produisent.
Attest prend en charge une approche par couches pour les tests, commençant par des vérifications déterministes gratuites et instantanées (validation de schéma, vérifications de contraintes, vérifications de traces et comportementales, correspondance de motifs de contenu) avant de passer à des évaluations basées sur des modèles plus gourmandes en ressources, comme la similarité d'incorporation et les assertions LLM-en-juge. Ce système par niveaux permet des tests efficaces, les vérifications basées sur des modèles n'étant invoquées que lorsque cela est nécessaire. Le cadre offre également des fonctionnalités avancées telles que le test multi-agents, un mode de simulation avec des outils fictifs et des défauts semés, et une évaluation continue expérimentale pour surveiller la dérive des scores.
Avec un système d'adaptateurs robuste, Attest s'intègre à des fournisseurs d'IA populaires comme OpenAI, Anthropic, Gemini et Ollama, ainsi qu'à des cadres tels que LangChain, CrewAI et LlamaIndex. Il fonctionne au sein de runners de tests unitaires standard comme pytest pour Python et Vitest pour TypeScript, facilitant son incorporation dans les flux de développement existants. La capacité du cadre à transformer des incidents synthétiques en tests de régression, couplée à des fonctionnalités telles que le test de mutation et un visualiseur HTML pour une analyse détaillée des échecs, positionne Attest comme un outil essentiel pour construire des agents IA fiables et robustes.
- CatégorieRevue de code et tests IA
- Modèle tarifaireOpen Source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Attest Framework
Cadre de test pour agents IA en Python et TypeScript
Capture des traces d'agents IA et des échanges de modèles
Relecture stricte des réponses de modèle enregistrées dans CI
Vérifications déterministes pour le comportement des agents
Contrats de comportement pour les appels d'outils et les effets sur le monde
Application des politiques CI et porte de fusion
Tests multi-agents pour les chaînes de délégation
Mode de simulation avec des outils fictifs et des défauts semés
Évaluation continue et détection de dérive (expérimental)
Évaluation des assertions par couches (déterministe à LLM-en-juge)
Adaptateurs de cadre pour LangChain, CrewAI, LlamaIndex
Adaptateurs de fournisseur pour OpenAI, Anthropic, Gemini, Ollama
Test de mutation pour l'efficacité de la suite de tests
Visualiseur HTML pour des rapports d'échec détaillés
Incorporations ONNX locales pour des vérifications sémantiques sans coût
Comment utiliser Attest Framework ?
Installer le SDK : Ajouter `attest-ai` et `pytest` pour Python, ou `@attest-ai/core` et `vitest` pour TypeScript.
Créer un agent : Définir votre agent IA, en veillant à ce qu'il enregistre les appels LLM et d'outils pour la capture de traces.
Écrire un test : Utiliser `expect()` pour enchaîner les assertions et `attest.evaluate()` pour les envoyer au moteur.
Exécuter les tests : Exécuter les tests avec `uv run pytest -v` pour Python ou `npx vitest run` pour TypeScript.
Capturer un incident : Utiliser `attest capture` pour enregistrer les traces d'agents et les échanges de modèles à partir d'incidents réels ou synthétiques.
Rejouer dans CI : Exécuter des tests contre les réponses de modèle enregistrées dans votre pipeline CI pour garantir des résultats déterministes.
Bloquer les fusions : Configurer les politiques CI pour bloquer les demandes de tirage qui violent les contrats de comportement ou les références définies.
Examiner les rapports : Utiliser `attest view` pour générer un rapport HTML pour une analyse détaillée des échecs de tests et des traces.
Cas d'utilisation de Attest Framework
- Tests de régression des agents IA
- Vérification des interactions avec les outils
- Intégration continue pour l'IA
- Évaluation des sorties des agents
- Débogage des systèmes multi-agents
- Simulation des environnements d'agents
- Surveillance des performances des agents
- Tests rentables
- Assurer les invariants commerciaux




