Descripción
Attest es un marco de pruebas integral diseñado específicamente para agentes de IA, disponible para entornos de Python y TypeScript. Permite a los desarrolladores probar rigurosamente el comportamiento de sus agentes de IA, verificando sus salidas, interacciones con herramientas y cualquier modificación que realicen en estados externos. El marco enfatiza las verificaciones determinísticas, permitiendo a los desarrolladores capturar trazas de agentes e intercambios de modelos, y luego reproducirlos contra el código real del agente en un entorno controlado.
Leer más
El flujo de trabajo central de Attest implica tres pasos principales: captura, reproducción y control. Primero, `attest capture` graba la traza del agente y las interacciones del modelo, redacta datos sensibles y redacta contratos de comportamiento iniciales. Estos contratos definen comportamientos esperados, como llamadas a herramientas específicas o cambios en un 'estado del mundo'. A continuación, el mecanismo de `replay` ejecuta el código real del agente contra estas respuestas de modelo grabadas a través de un proxy local. Esto elimina la variabilidad de las llamadas a modelos en vivo, haciendo que las pruebas sean consistentes y repetibles en las canalizaciones de CI/CD. Finalmente, el paso de `gate` aplica políticas basadas en los resultados de las pruebas, bloqueando fusiones si se violan contratos críticos o ocurren comportamientos inesperados.
Attest admite un enfoque por capas para las pruebas, comenzando con verificaciones determinísticas gratuitas e instantáneas (validación de esquemas, verificaciones de restricciones, verificaciones de trazas y comportamientos, coincidencia de patrones de contenido) antes de pasar a evaluaciones más intensivas en recursos, basadas en modelos, como similitud de incrustaciones y afirmaciones de LLM-como-juez. Este sistema escalonado permite pruebas eficientes, con verificaciones basadas en modelos solo invocadas cuando es necesario. El marco también ofrece características avanzadas como pruebas multi-agente, modo de simulación con herramientas simuladas y fallos sembrados, y evaluación continua experimental para monitorear el desvío de puntuaciones.
Con un robusto sistema de adaptadores, Attest se integra con proveedores de IA populares como OpenAI, Anthropic, Gemini y Ollama, así como con marcos como LangChain, CrewAI y LlamaIndex. Se ejecuta dentro de los corredores de pruebas unitarias estándar como pytest para Python y Vitest para TypeScript, facilitando su incorporación en flujos de trabajo de desarrollo existentes. La capacidad del marco para convertir incidentes sintéticos en pruebas de regresión, junto con características como pruebas de mutación y un visor HTML para análisis detallados de fallos, posiciona a Attest como una herramienta crítica para construir agentes de IA fiables y robustos.
- CategoríaRevisión de código y pruebas con IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Características principales de Attest Framework
Marco de Pruebas para Agentes de IA en Python y TypeScript
Captura de Trazas de Agentes de IA e Intercambios de Modelos
Reproducción Estricta de Respuestas de Modelos Grabadas en CI
Verificaciones Determinísticas para el Comportamiento del Agente
Contratos de Comportamiento para Llamadas a Herramientas y Efectos en el Mundo
Aplicación de Políticas en CI y Control de Fusiones
Pruebas Multi-Agente para Cadenas de Delegación
Modo de Simulación con Herramientas Simuladas y Fallos Sembrados
Evaluación Continua y Detección de Desvíos (Experimental)
Evaluación de Afirmaciones por Capas (Determinística a LLM-como-Juez)
Adaptadores de Marco para LangChain, CrewAI, LlamaIndex
Adaptadores de Proveedor para OpenAI, Anthropic, Gemini, Ollama
Pruebas de Mutación para la Efectividad del Conjunto de Pruebas
Visor HTML para Informes Detallados de Fallos
Incrustaciones ONNX Locales para Verificaciones Semánticas Sin Costo
¿Cómo usar Attest Framework?
Instalar SDK: Agregar `attest-ai` y `pytest` para Python, o `@attest-ai/core` y `vitest` para TypeScript.
Crear Agente: Definir su agente de IA, asegurándose de que grabe llamadas a LLM y herramientas para la captura de trazas.
Escribir Prueba: Usar `expect()` para encadenar afirmaciones y `attest.evaluate()` para enviarlas al motor.
Ejecutar Pruebas: Ejecutar pruebas con `uv run pytest -v` para Python o `npx vitest run` para TypeScript.
Capturar Incidente: Usar `attest capture` para grabar trazas de agentes e intercambios de modelos de incidentes reales o sintéticos.
Reproducir en CI: Ejecutar pruebas contra respuestas de modelos grabadas en su canalización de CI para asegurar resultados determinísticos.
Controlar Fusiones: Configurar políticas de CI para bloquear solicitudes de extracción que violen contratos de comportamiento o líneas base definidas.
Revisar Informes: Usar `attest view` para generar un informe HTML para un análisis detallado de fallos de pruebas y trazas.
Casos de uso de Attest Framework
- Pruebas de Regresión de Agentes de IA
- Verificación de Interacciones con Herramientas
- Integración Continua para IA
- Evaluación de Salidas de Agentes
- Depuración de Sistemas Multi-Agente
- Simulación de Entornos de Agentes
- Monitoreo del Rendimiento del Agente
- Pruebas Rentables
- Asegurando Invariantes Empresariales




