描述
Attest是一个专为AI代理设计的综合测试框架,适用于Python和TypeScript环境。它允许开发者严格测试他们的AI代理的行为,验证其输出、工具交互以及对外部状态的任何修改。该框架强调确定性检查,使开发者能够捕获代理的痕迹和模型交换,然后在受控环境中将其重放到代理的真实代码上。
阅读更多
Attest的核心工作流程包括三个主要步骤:捕获、重放和门控。首先,`attest capture`记录代理的痕迹和模型交互,删除敏感数据,并起草初步行为合同。这些合同定义了预期的行为,例如特定的工具调用或对“世界状态”的更改。接下来,`replay`机制通过本地代理运行代理的实际代码与这些记录的模型响应。这消除了实时模型调用的可变性,使测试在CI/CD管道中保持一致和可重复。最后,`gate`步骤根据测试结果执行策略,如果关键合同被违反或发生意外行为,则阻止合并。
Attest支持分层测试方法,从免费的即时确定性检查(模式验证、约束检查、痕迹和行为检查、内容模式匹配)开始,然后转向更资源密集的基于模型的评估,如嵌入相似性和LLM作为评判。这个分层系统允许高效测试,仅在必要时调用基于模型的检查。该框架还提供了高级功能,如多代理测试、带有模拟工具和种子故障的模拟模式,以及用于监控分数漂移的实验性持续评估。
通过强大的适配器系统,Attest与流行的AI提供商(如OpenAI、Anthropic、Gemini和Ollama)以及框架(如LangChain、CrewAI和LlamaIndex)集成。它在标准单元测试运行器中运行,如Python的pytest和TypeScript的Vitest,使其易于融入现有的开发工作流程。该框架能够将合成事件转化为回归测试,加上突变测试和用于详细故障分析的HTML查看器等功能,使Attest成为构建可靠和强大AI代理的关键工具。
- 类别AI 代码审查与测试
- 定价模式开源
- 部署云端
- 平台网页版
Attest Framework的核心功能
用于Python和TypeScript的AI代理测试框架
捕获AI代理痕迹和模型交换
在CI中严格重放记录的模型响应
代理行为的确定性检查
工具调用和世界效应的行为合同
CI政策执行和合并门控
多代理测试以支持委托链
带有模拟工具和种子故障的模拟模式
持续评估和漂移检测(实验性)
分层断言评估(从确定性到LLM作为评判)
用于LangChain、CrewAI、LlamaIndex的框架适配器
用于OpenAI、Anthropic、Gemini、Ollama的提供者适配器
用于测试套件有效性的突变测试
用于详细故障报告的HTML查看器
本地ONNX嵌入用于无成本的语义检查
如何使用 Attest Framework?
安装SDK:为Python添加`attest-ai`和`pytest`,或为TypeScript添加`@attest-ai/core`和`vitest`。
创建代理:定义您的AI代理,确保它记录LLM和工具调用以进行痕迹捕获。
编写测试:使用`expect()`链接断言,并使用`attest.evaluate()`将其发送到引擎。
运行测试:使用`uv run pytest -v`执行Python测试,或使用`npx vitest run`执行TypeScript测试。
捕获事件:使用`attest capture`记录来自真实或合成事件的代理痕迹和模型交换。
在CI中重放:在您的CI管道中针对记录的模型响应运行测试,以确保确定性结果。
门控合并:配置CI政策以阻止违反定义的行为合同或基线的拉取请求。
查看报告:使用`attest view`生成HTML报告,以详细分析测试失败和痕迹。
Attest Framework的使用案例
- 回归测试AI代理
- 验证工具交互
- AI的持续集成
- 评估代理输出
- 调试多代理系统
- 模拟代理环境
- 监控代理性能
- 成本有效的测试
- 确保业务不变性




