跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Attest Framework

Attest是一个用于Python和TypeScript的AI代理测试框架。它帮助开发者测试他们的AI代理所说的话、调用的工具以及对外部系统所做的更改。通过重放记录的模型响应,Attest在CI中实现确定性检查,确保代理的可靠性并防止回归,而无需实时模型调用。

访问URL
分享
Attest Framework 截图
Attest Framework 截图

Attest是一个专为AI代理设计的综合测试框架,适用于Python和TypeScript环境。它允许开发者严格测试他们的AI代理的行为,验证其输出、工具交互以及对外部状态的任何修改。该框架强调确定性检查,使开发者能够捕获代理的痕迹和模型交换,然后在受控环境中将其重放到代理的真实代码上。

阅读更多

Attest的核心工作流程包括三个主要步骤:捕获、重放和门控。首先,`attest capture`记录代理的痕迹和模型交互,删除敏感数据,并起草初步行为合同。这些合同定义了预期的行为,例如特定的工具调用或对“世界状态”的更改。接下来,`replay`机制通过本地代理运行代理的实际代码与这些记录的模型响应。这消除了实时模型调用的可变性,使测试在CI/CD管道中保持一致和可重复。最后,`gate`步骤根据测试结果执行策略,如果关键合同被违反或发生意外行为,则阻止合并。

Attest支持分层测试方法,从免费的即时确定性检查(模式验证、约束检查、痕迹和行为检查、内容模式匹配)开始,然后转向更资源密集的基于模型的评估,如嵌入相似性和LLM作为评判。这个分层系统允许高效测试,仅在必要时调用基于模型的检查。该框架还提供了高级功能,如多代理测试、带有模拟工具和种子故障的模拟模式,以及用于监控分数漂移的实验性持续评估。

通过强大的适配器系统,Attest与流行的AI提供商(如OpenAI、Anthropic、Gemini和Ollama)以及框架(如LangChain、CrewAI和LlamaIndex)集成。它在标准单元测试运行器中运行,如Python的pytest和TypeScript的Vitest,使其易于融入现有的开发工作流程。该框架能够将合成事件转化为回归测试,加上突变测试和用于详细故障分析的HTML查看器等功能,使Attest成为构建可靠和强大AI代理的关键工具。

  • 类别AI 代码审查与测试
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 用于Python和TypeScript的AI代理测试框架

  • 捕获AI代理痕迹和模型交换

  • 在CI中严格重放记录的模型响应

  • 代理行为的确定性检查

  • 工具调用和世界效应的行为合同

  • CI政策执行和合并门控

  • 多代理测试以支持委托链

  • 带有模拟工具和种子故障的模拟模式

  • 持续评估和漂移检测(实验性)

  • 分层断言评估(从确定性到LLM作为评判)

  • 用于LangChain、CrewAI、LlamaIndex的框架适配器

  • 用于OpenAI、Anthropic、Gemini、Ollama的提供者适配器

  • 用于测试套件有效性的突变测试

  • 用于详细故障报告的HTML查看器

  • 本地ONNX嵌入用于无成本的语义检查

  1. 安装SDK:为Python添加`attest-ai`和`pytest`,或为TypeScript添加`@attest-ai/core`和`vitest`。

  2. 创建代理:定义您的AI代理,确保它记录LLM和工具调用以进行痕迹捕获。

  3. 编写测试:使用`expect()`链接断言,并使用`attest.evaluate()`将其发送到引擎。

  4. 运行测试:使用`uv run pytest -v`执行Python测试,或使用`npx vitest run`执行TypeScript测试。

  5. 捕获事件:使用`attest capture`记录来自真实或合成事件的代理痕迹和模型交换。

  6. 在CI中重放:在您的CI管道中针对记录的模型响应运行测试,以确保确定性结果。

  7. 门控合并:配置CI政策以阻止违反定义的行为合同或基线的拉取请求。

  8. 查看报告:使用`attest view`生成HTML报告,以详细分析测试失败和痕迹。

  • 回归测试AI代理
  • 验证工具交互
  • AI的持续集成
  • 评估代理输出
  • 调试多代理系统
  • 模拟代理环境
  • 监控代理性能
  • 成本有效的测试
  • 确保业务不变性

Attest Framework 评价

加载中...

与 Attest Framework 类似的热门AI工具

LangWatch

AI 应用

LangWatch 是一个 AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。

MLOps 与模型部署

提示词工程工具 排名第 14 位

查看工具

AI 应用

AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。LangWatch 是一个 AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。

精选MLOps 与模型部署
提示词工程工具 排名第 14 位

TestSprite 是一个人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。

AI 代码审查与测试

AI 代码审查与测试 排名第 37 位

查看工具

人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。TestSprite 是一个人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。

精选AI 代码审查与测试
AI 代码审查与测试 排名第 37 位

Functionize Studio 是一个 AI 测试代理,验证网络应用程序,包括由 AI 编码代理编写的代码。它结合了一个解释测试意图的层和一个专门的机器学习核心,检查应用程序的实际行为,旨在为需要测试覆盖的 QA 团队、开发人员和工程领导提供支持,以跟上 AI 生成的代码。

AI 代码审查与测试医疗健康与生命科学

AI 代码审查与测试 排名第 33 位

查看工具

AI 测试代理,验证网络应用程序,包括由 AI 编码代理编写的代码。它结合了一个解释测试意图的层和一个专门的机器学习核心,检查应用程序的实际行为,旨在为需要测试覆盖的 QA 团队、开发人员和工程领导提供支持,以跟上 AI 生成的代码。Functionize Studio 是一个 AI 测试代理,验证网络应用程序,包括由 AI 编码代理编写的代码。它结合了一个解释测试意图的层和一个专门的机器学习核心,检查应用程序的实际行为,旨在为需要测试覆盖的 QA 团队、开发人员和工程领导提供支持,以跟上 AI 生成的代码。

AI 代码审查与测试医疗健康与生命科学
AI 代码审查与测试 排名第 33 位

ContextQA

AI 应用

ContextQA 是一个面向企业级应用和 AI 代理的 AI 驱动的测试自动化平台。它能自动生成测试用例,修复损坏的选择器,并验证 AI 代理的行为,将 QA 时间最多缩短 70%,从而实现更快、更自信的发布。

AI 代码审查与测试

AI 代码审查与测试 排名第 74 位

查看工具

AI 应用

面向企业级应用和 AI 代理的 AI 驱动的测试自动化平台。它能自动生成测试用例,修复损坏的选择器,并验证 AI 代理的行为,将 QA 时间最多缩短 70%,从而实现更快、更自信的发布。ContextQA 是一个面向企业级应用和 AI 代理的 AI 驱动的测试自动化平台。它能自动生成测试用例,修复损坏的选择器,并验证 AI 代理的行为,将 QA 时间最多缩短 70%,从而实现更快、更自信的发布。

AI 代码审查与测试
AI 代码审查与测试 排名第 74 位

TestMu AI

AI 应用

TestMu AI,前身为 LambdaTest,是一个面向质量工程的原生 AI 云平台。它通过用于 Web、移动和 AI 应用程序规划、编写和执行的自主 AI 代理,为软件测试注入强大动力。通过统一的测试和高级分析,智能测试并加速交付。

AI 代码审查与测试

AI 应用 排名第 138 位

查看工具

AI 应用

TestMu AI,前身为 LambdaTest,是一个面向质量工程的原生 AI 云平台。它通过用于 Web、移动和 AI 应用程序规划、编写和执行的自主 AI 代理,为软件测试注入强大动力。通过统一的测试和高级分析,智能测试并加速交付。

AI 代码审查与测试
AI 应用 排名第 138 位

Maestro

AI 应用

Maestro 是一个开源的、AI 原生的端到端 UI 测试工具,适用于移动和 Web 应用。团队可以编写人类可读的 YAML 测试,在 CLI 或 Studio 上免费运行,并在 Maestro Cloud 上扩展。

AI 代码审查与测试

AI 代码审查与测试 排名第 18 位

查看工具

AI 应用

开源的、AI 原生的端到端 UI 测试工具,适用于移动和 Web 应用。团队可以编写人类可读的 YAML 测试,在 CLI 或 Studio 上免费运行,并在 Maestro Cloud 上扩展。Maestro 是一个开源的、AI 原生的端到端 UI 测试工具,适用于移动和 Web 应用。团队可以编写人类可读的 YAML 测试,在 CLI 或 Studio 上免费运行,并在 Maestro Cloud 上扩展。

AI 代码审查与测试
AI 代码审查与测试 排名第 18 位

EvalCore

AI 应用

EvalCore 提供 AI 行为的快照测试,允许您记录 LLM 应用的行为并在每次更改时在 CI 中重放。它确保任何修改不会对性能产生负面影响,同时离线且免费。

AI 代码审查与测试
查看工具

AI 应用

提供 AI 行为的快照测试,允许您记录 LLM 应用的行为并在每次更改时在 CI 中重放。它确保任何修改不会对性能产生负面影响,同时离线且免费。EvalCore 提供 AI 行为的快照测试,允许您记录 LLM 应用的行为并在每次更改时在 CI 中重放。它确保任何修改不会对性能产生负面影响,同时离线且免费。

AI 代码审查与测试
查看 AI 应用 Top 250

Testers.ai

AI 应用

Testers.ai 构建了 CARBON,这是一个 AI QA 工具,能够通过 MCP 插入到 Claude、Codex、Cursor 和 Antigravity 等编码代理中。CARBON 进行基于风险的测试,从分析代码和规划覆盖范围到生成和运行测试以及评分发布信心,使用专门的 AI 子代理处理安全性、可访问性和性能等领域。云版本直接测试实时 URL。

AI 代码审查与测试

AI 代码审查与测试 排名第 84 位

查看工具

AI 应用

Testers.ai 构建了 CARBON,这是一个 AI QA 工具,能够通过 MCP 插入到 Claude、Codex、Cursor 和 Antigravity 等编码代理中。CARBON 进行基于风险的测试,从分析代码和规划覆盖范围到生成和运行测试以及评分发布信心,使用专门的 AI 子代理处理安全性、可访问性和性能等领域。云版本直接测试实时 URL。

AI 代码审查与测试
AI 代码审查与测试 排名第 84 位
1/8