Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Attest Framework

Attest est un cadre de test pour les agents IA en Python et TypeScript. Il aide les développeurs à tester ce que leur agent IA dit, quels outils il appelle et quels changements il apporte aux systèmes externes. En rejouant les réponses du modèle enregistrées, Attest permet des vérifications déterministes dans CI, garantissant la fiabilité de l'agent et prévenant les régressions sans appels de modèle en direct.

Visiter l'URL
Partager
Capture d’écran de Attest Framework
Capture d’écran de Attest Framework

Attest est un cadre de test complet conçu spécifiquement pour les agents IA, disponible pour les environnements Python et TypeScript. Il permet aux développeurs de tester rigoureusement le comportement de leurs agents IA, en vérifiant leurs sorties, les interactions avec les outils et les modifications qu'ils apportent aux états externes. Le cadre met l'accent sur des vérifications déterministes, permettant aux développeurs de capturer les traces des agents et les échanges de modèles, puis de les rejouer contre le code réel de l'agent dans un environnement contrôlé.

Lire la suite

Le flux de travail principal d'Attest implique trois étapes principales : capture, replay et gate. Tout d'abord, `attest capture` enregistre la trace de l'agent et les interactions avec le modèle, masque les données sensibles et rédige des contrats de comportement initiaux. Ces contrats définissent les comportements attendus, tels que des appels d'outils spécifiques ou des changements à un « état du monde ». Ensuite, le mécanisme de `replay` exécute le code réel de l'agent contre ces réponses de modèle enregistrées via un proxy local. Cela élimine la variabilité des appels de modèle en direct, rendant les tests cohérents et répétables dans les pipelines CI/CD. Enfin, l'étape `gate` impose des politiques basées sur les résultats des tests, bloquant les fusions si des contrats critiques sont violés ou si des comportements inattendus se produisent.

Attest prend en charge une approche par couches pour les tests, commençant par des vérifications déterministes gratuites et instantanées (validation de schéma, vérifications de contraintes, vérifications de traces et comportementales, correspondance de motifs de contenu) avant de passer à des évaluations basées sur des modèles plus gourmandes en ressources, comme la similarité d'incorporation et les assertions LLM-en-juge. Ce système par niveaux permet des tests efficaces, les vérifications basées sur des modèles n'étant invoquées que lorsque cela est nécessaire. Le cadre offre également des fonctionnalités avancées telles que le test multi-agents, un mode de simulation avec des outils fictifs et des défauts semés, et une évaluation continue expérimentale pour surveiller la dérive des scores.

Avec un système d'adaptateurs robuste, Attest s'intègre à des fournisseurs d'IA populaires comme OpenAI, Anthropic, Gemini et Ollama, ainsi qu'à des cadres tels que LangChain, CrewAI et LlamaIndex. Il fonctionne au sein de runners de tests unitaires standard comme pytest pour Python et Vitest pour TypeScript, facilitant son incorporation dans les flux de développement existants. La capacité du cadre à transformer des incidents synthétiques en tests de régression, couplée à des fonctionnalités telles que le test de mutation et un visualiseur HTML pour une analyse détaillée des échecs, positionne Attest comme un outil essentiel pour construire des agents IA fiables et robustes.

  • CatégorieRevue de code et tests IA
  • Modèle tarifaireOpen Source
  • DéploiementCloud
  • PlateformesWeb

  • Cadre de test pour agents IA en Python et TypeScript

  • Capture des traces d'agents IA et des échanges de modèles

  • Relecture stricte des réponses de modèle enregistrées dans CI

  • Vérifications déterministes pour le comportement des agents

  • Contrats de comportement pour les appels d'outils et les effets sur le monde

  • Application des politiques CI et porte de fusion

  • Tests multi-agents pour les chaînes de délégation

  • Mode de simulation avec des outils fictifs et des défauts semés

  • Évaluation continue et détection de dérive (expérimental)

  • Évaluation des assertions par couches (déterministe à LLM-en-juge)

  • Adaptateurs de cadre pour LangChain, CrewAI, LlamaIndex

  • Adaptateurs de fournisseur pour OpenAI, Anthropic, Gemini, Ollama

  • Test de mutation pour l'efficacité de la suite de tests

  • Visualiseur HTML pour des rapports d'échec détaillés

  • Incorporations ONNX locales pour des vérifications sémantiques sans coût

  1. Installer le SDK : Ajouter `attest-ai` et `pytest` pour Python, ou `@attest-ai/core` et `vitest` pour TypeScript.

  2. Créer un agent : Définir votre agent IA, en veillant à ce qu'il enregistre les appels LLM et d'outils pour la capture de traces.

  3. Écrire un test : Utiliser `expect()` pour enchaîner les assertions et `attest.evaluate()` pour les envoyer au moteur.

  4. Exécuter les tests : Exécuter les tests avec `uv run pytest -v` pour Python ou `npx vitest run` pour TypeScript.

  5. Capturer un incident : Utiliser `attest capture` pour enregistrer les traces d'agents et les échanges de modèles à partir d'incidents réels ou synthétiques.

  6. Rejouer dans CI : Exécuter des tests contre les réponses de modèle enregistrées dans votre pipeline CI pour garantir des résultats déterministes.

  7. Bloquer les fusions : Configurer les politiques CI pour bloquer les demandes de tirage qui violent les contrats de comportement ou les références définies.

  8. Examiner les rapports : Utiliser `attest view` pour générer un rapport HTML pour une analyse détaillée des échecs de tests et des traces.

  • Tests de régression des agents IA
  • Vérification des interactions avec les outils
  • Intégration continue pour l'IA
  • Évaluation des sorties des agents
  • Débogage des systèmes multi-agents
  • Simulation des environnements d'agents
  • Surveillance des performances des agents
  • Tests rentables
  • Assurer les invariants commerciaux

Avis sur Attest Framework

Chargement...

Outils IA populaires comme Attest Framework

LangWatch

Applications IA

LangWatch est une plateforme de test d'agents IA, d'évaluation de LLM et d'observabilité. Elle permet aux développeurs de simuler des scénarios réels, de prévenir les régressions…

MLOps et déploiement de modèles

N°14 en Outils d'ingénierie de prompts

Voir l'outil

Applications IA

Plateforme de test d'agents IA, d'évaluation de LLM et d'observabilité. Elle permet aux développeurs de simuler des scénarios réels, de prévenir les régressions…LangWatch est une plateforme de test d'agents IA, d'évaluation de LLM et d'observabilité. Elle permet aux développeurs de simuler des scénarios réels, de prévenir les régressions…

En vedetteMLOps et déploiement de modèles
N°14 en Outils d'ingénierie de prompts

TestSprite AI Testing

Applications IA

TestSprite est une plateforme alimentée par l'IA qui automatise les tests logiciels. Elle crée des plans de test, écrit du code, exécute des tests et débogue avec un minimum…

Revue de code et tests IA

N°37 en Revue de code et tests IA

Voir l'outil

Applications IA

Plateforme alimentée par l'IA qui automatise les tests logiciels. Elle crée des plans de test, écrit du code, exécute des tests et débogue avec un minimum…TestSprite est une plateforme alimentée par l'IA qui automatise les tests logiciels. Elle crée des plans de test, écrit du code, exécute des tests et débogue avec un minimum…

En vedetteRevue de code et tests IA
N°37 en Revue de code et tests IA

Functionize Studio

Applications IA

Functionize Studio est un agent de test AI qui vérifie les applications web, y compris le code écrit par des agents de codage AI. Il combine une couche qui interprète l'intention…

Revue de code et tests IASanté et sciences de la vie

N°33 en Revue de code et tests IA

Voir l'outil

Applications IA

Agent de test AI qui vérifie les applications web, y compris le code écrit par des agents de codage AI. Il combine une couche qui interprète l'intention…Functionize Studio est un agent de test AI qui vérifie les applications web, y compris le code écrit par des agents de codage AI. Il combine une couche qui interprète l'intention…

Revue de code et tests IASanté et sciences de la vie
N°33 en Revue de code et tests IA

ContextQA

Applications IA

ContextQA est une plateforme d'automatisation des tests basée sur l'IA pour les applications d'entreprise et les agents IA. Elle génère automatiquement des cas de test, répare les…

Revue de code et tests IA

N°74 en Revue de code et tests IA

Voir l'outil

Applications IA

Plateforme d'automatisation des tests basée sur l'IA pour les applications d'entreprise et les agents IA. Elle génère automatiquement des cas de test, répare les…ContextQA est une plateforme d'automatisation des tests basée sur l'IA pour les applications d'entreprise et les agents IA. Elle génère automatiquement des cas de test, répare les…

Revue de code et tests IA
N°74 en Revue de code et tests IA

TestMu AI

Applications IA

TestMu AI, anciennement LambdaTest, est une plateforme cloud native IA pour l'ingénierie de la qualité. Elle optimise les tests logiciels avec des agents IA autonomes pour la…

Revue de code et tests IA

N°138 en Applications IA

Voir l'outil

Applications IA

Anciennement LambdaTest, est une plateforme cloud native IA pour l'ingénierie de la qualité. Elle optimise les tests logiciels avec des agents IA autonomes pour la…TestMu AI, anciennement LambdaTest, est une plateforme cloud native IA pour l'ingénierie de la qualité. Elle optimise les tests logiciels avec des agents IA autonomes pour la…

Revue de code et tests IA
N°138 en Applications IA

Maestro

Applications IA

Maestro est un outil de test UI de bout en bout, natif de l'IA et open-source, pour les applications mobiles et web. Les équipes écrivent des tests en YAML lisible par l'homme,…

Revue de code et tests IA

N°18 en Revue de code et tests IA

Voir l'outil

Applications IA

Outil de test UI de bout en bout, natif de l'IA et open-source, pour les applications mobiles et web. Les équipes écrivent des tests en YAML lisible par l'homme,…Maestro est un outil de test UI de bout en bout, natif de l'IA et open-source, pour les applications mobiles et web. Les équipes écrivent des tests en YAML lisible par l'homme,…

Revue de code et tests IA
N°18 en Revue de code et tests IA

EvalCore

Applications IA

EvalCore fournit des tests instantanés pour le comportement de l'IA, vous permettant d'enregistrer le comportement de votre application LLM et de le rejouer dans CI à chaque…

Revue de code et tests IA
Voir l'outil

Applications IA

Fournit des tests instantanés pour le comportement de l'IA, vous permettant d'enregistrer le comportement de votre application LLM et de le rejouer dans CI à chaque…EvalCore fournit des tests instantanés pour le comportement de l'IA, vous permettant d'enregistrer le comportement de votre application LLM et de le rejouer dans CI à chaque…

Revue de code et tests IA
Voir le Top 250 Applications IA

Testers.ai

Applications IA

Testers.ai crée CARBON, un cadre de QA IA qui s'intègre aux agents de codage comme Claude, Codex, Cursor et Antigravity via MCP. CARBON exécute des tests basés sur les risques,…

Revue de code et tests IA

N°84 en Revue de code et tests IA

Voir l'outil

Applications IA

Crée CARBON, un cadre de QA IA qui s'intègre aux agents de codage comme Claude, Codex, Cursor et Antigravity via MCP. CARBON exécute des tests basés sur les risques,…Testers.ai crée CARBON, un cadre de QA IA qui s'intègre aux agents de codage comme Claude, Codex, Cursor et Antigravity via MCP. CARBON exécute des tests basés sur les risques,…

Revue de code et tests IA
N°84 en Revue de code et tests IA
1 sur 8