Descrição
Attest é um framework de testes abrangente projetado especificamente para agentes de IA, disponível para ambientes Python e TypeScript. Ele permite que os desenvolvedores testem rigorosamente o comportamento de seus agentes de IA, verificando suas saídas, interações com ferramentas e quaisquer modificações que eles façam em estados externos. O framework enfatiza verificações determinísticas, permitindo que os desenvolvedores capturem rastros de agentes e trocas de modelos, e depois os reproduzam contra o código real do agente em um ambiente controlado.
Ler mais
O fluxo de trabalho central do Attest envolve três etapas principais: captura, reprodução e controle. Primeiro, `attest capture` grava o rastro do agente e as interações do modelo, redige dados sensíveis e elabora contratos de comportamento iniciais. Esses contratos definem comportamentos esperados, como chamadas específicas de ferramentas ou mudanças em um 'estado do mundo'. Em seguida, o mecanismo de `replay` executa o código real do agente contra essas respostas de modelo gravadas através de um proxy local. Isso elimina a variabilidade das chamadas de modelo ao vivo, tornando os testes consistentes e repetíveis em pipelines de CI/CD. Finalmente, a etapa de `gate` impõe políticas com base nos resultados dos testes, bloqueando fusões se contratos críticos forem violados ou comportamentos inesperados ocorrerem.
O Attest suporta uma abordagem em camadas para testes, começando com verificações determinísticas gratuitas e instantâneas (validação de esquema, verificações de restrições, verificações de rastros e comportamentais, correspondência de padrões de conteúdo) antes de passar para avaliações baseadas em modelo mais intensivas em recursos, como similaridade de embeddings e afirmações de LLM como juiz. Este sistema em camadas permite testes eficientes, com verificações baseadas em modelo sendo invocadas apenas quando necessário. O framework também oferece recursos avançados, como testes multi-agente, modo de simulação com ferramentas simuladas e falhas semeadas, e avaliação contínua experimental para monitoramento de desvios de pontuação.
Com um robusto sistema de adaptadores, o Attest se integra a provedores de IA populares como OpenAI, Anthropic, Gemini e Ollama, bem como a frameworks como LangChain, CrewAI e LlamaIndex. Ele é executado dentro de runners de testes unitários padrão como pytest para Python e Vitest para TypeScript, facilitando a incorporação em fluxos de trabalho de desenvolvimento existentes. A capacidade do framework de transformar incidentes sintéticos em testes de regressão, juntamente com recursos como testes de mutação e um visualizador HTML para análise detalhada de falhas, posiciona o Attest como uma ferramenta crítica para construir agentes de IA confiáveis e robustos.
- CategoriaRevisão de código e testes com IA
- Modelo de preçosCódigo Aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de Attest Framework
Framework de Testes para Agentes de IA em Python e TypeScript
Captura de Rastros de Agentes de IA e Trocas de Modelos
Reprodução Estrita de Respostas de Modelos Gravadas em CI
Verificações Determinísticas para Comportamento de Agentes
Contratos de Comportamento para Chamadas de Ferramentas e Efeitos no Mundo
Imposição de Políticas de CI e Controle de Fusões
Testes Multi-Agente para Cadeias de Delegação
Modo de Simulação com Ferramentas Simuladas e Falhas Semeadas
Avaliação Contínua e Detecção de Desvios (Experimental)
Avaliação em Camadas de Afirmativas (Determinística a LLM como Juiz)
Adaptadores de Framework para LangChain, CrewAI, LlamaIndex
Adaptadores de Provedor para OpenAI, Anthropic, Gemini, Ollama
Testes de Mutação para Eficácia do Conjunto de Testes
Visualizador HTML para Relatórios Detalhados de Falhas
Embeddings ONNX Locais para Verificações Semânticas Sem Custo
Como usar Attest Framework?
Instalar SDK: Adicione `attest-ai` e `pytest` para Python, ou `@attest-ai/core` e `vitest` para TypeScript.
Criar Agente: Defina seu agente de IA, garantindo que ele registre chamadas de LLM e ferramentas para captura de rastros.
Escrever Teste: Use `expect()` para encadear afirmações e `attest.evaluate()` para enviá-las ao motor.
Executar Testes: Execute os testes com `uv run pytest -v` para Python ou `npx vitest run` para TypeScript.
Capturar Incidente: Use `attest capture` para gravar rastros de agentes e trocas de modelos de incidentes reais ou sintéticos.
Reproduzir em CI: Execute testes contra respostas de modelos gravadas em seu pipeline de CI para garantir resultados determinísticos.
Controlar Fusões: Configure políticas de CI para bloquear pull requests que violem contratos de comportamento ou linhas de base definidos.
Revisar Relatórios: Use `attest view` para gerar um relatório HTML para análise detalhada de falhas de testes e rastros.
Casos de uso de Attest Framework
- Testes de Regressão para Agentes de IA
- Verificação de Interações com Ferramentas
- Integração Contínua para IA
- Avaliação de Saídas de Agentes
- Depuração de Sistemas Multi-Agente
- Simulação de Ambientes de Agentes
- Monitoramento de Desempenho de Agentes
- Testes Econômicos
- Garantindo Invariantes de Negócio




