描述
three.dev 是一个专门的平台,旨在帮助开发团队检测和修复其 AI 代理中的故障。它通过记录 AI 功能的 大型语言模型(LLM)流量,评分单个请求,然后将识别到的故障分组为命名的失败模式来运作。这些失败模式按严重性排名,使团队能够优先处理和解决最具影响力的问题。
阅读更多
该平台无缝集成到现有的开发工作流程中。用户只需通过一个提示设置 three.dev,这使他们的编码代理能够安装必要的技能并通过 three.dev 代理路由 LLM 调用。该代理将请求转发给 AI 提供商,同时将响应发送给 three.dev 的评估器,确保评分不会对应用程序的性能造成延迟。一旦积累了足够的故障,three.dev 会自动将其分组,提供对常见问题的清晰洞察,例如不正确的退款窗口或被忽视的语言请求。
three.dev 的一个关键能力是提供基于证据的问题。每个识别的问题都准确指出了出错的地方,甚至到系统提示中的特定行或对话中的消息。这种精确性使得编码代理(通常通过 MCP(托管代码平台)集成)能够自动修复这些问题。例如,如果代理给出了错误的退款窗口,three.dev 可以精确定位冲突的代码并建议修复,正如一个示例所示,其中硬编码的 14 天窗口被更新以符合 30 天的政策。
three.dev 还支持强大的实验。团队可以重放过去的流量,以在不影响实时用户的情况下测试新代理版本(v4)与记录的请求,观察故障率的变化。对于更高级的测试,它允许拆分真实会话,让一部分实时用户与新版本互动,从而比较质量和业务指标。这种方法帮助团队基于证据发布更改,确保在全面部署之前进行改进。该平台还支持开发针对特定流量训练的专用语言模型(SLM),这些模型在特定用例的质量、延迟和成本方面可以超越前沿模型。
three.dev 的定价包括免费计划、79 美元/月的入门计划和 249 美元/月的专业计划,并提供定制需求的企业选项。所有计划均包括评分和无限席位。免费计划提供每月 0.1 GB 的处理数据和 5,000 个评分请求。入门计划将此增加到 5 GB 的数据和 10,000 个评分请求,而专业计划提供 20 GB 的数据和 25,000 个评分请求。额外使用按每 GB 数据和每 1,000 个评分请求收费。该平台确保超出计划限制不会阻止流量;它只是停止记录或评分请求,直到下一个计费周期。数据存储在美国,传输中加密,提供商密钥在静态时加密。three.dev 不会对客户流量进行训练,确保数据隐私和安全。
- 类别AI 代码审查与测试
- 定价模式免费增值
- 部署云端
- 平台网页版
three.dev的核心功能
LLM 流量记录:记录来自 AI 功能的实时 LLM 流量。
请求评分:对单个 LLM 请求进行性能和准确性评分。
失败模式分组:将识别到的故障分组为按严重性排名的命名类别。
基于证据的问题:精确指出错误的确切来源,甚至到特定提示行。
编码代理集成:通过 MCP 集成促进编码代理的自动修复。
实时对话分析:分析实时对话以识别代理故障。
前后比较:比较修复前后的代理性能。
流量重放:允许在记录的过去流量上测试新代理版本。
实时会话实验:在一部分实时用户上进行代理更改的 A/B 测试。
专用语言模型(SLM)训练:支持构建针对特定流量训练的自定义模型。
聊天界面:允许以自然语言询问流量和故障。
无限席位:所有计划均包括无限用户席位以便团队协作。
数据加密:使用 TLS 1.2+ 加密传输中的流量,并使用 AES-256-GCM 加密静态时的提供商密钥。
不对客户数据进行训练:确保客户流量不用于一般模型训练。
可定制的失败模式:允许重塑失败模式以匹配团队的思维模型。
如何使用 three.dev?
设置:将单个提示粘贴到您的代理(Claude Code、Codex 或 Cursor)中,以安装 three.dev 技能并将其集成到您的代码中。
路由流量:您应用的 LLM 请求通过 three.dev 代理传递到您的 AI 提供商,同时将响应同时发送给评估器。
监控故障:three.dev 记录和评分请求,将故障分组为排名的失败模式。
分析问题:阅读详细的失败模式及其证据,显示代理出错的地方和原因。
修复故障:使用 MCP 集成将最重要的失败模式交给您的编码代理进行自动修复。
安全实验:在记录的流量或一部分实时会话上测试更改,以验证改进在全面部署之前的效果。
优化性能:利用故障分析和实验的洞察不断提高代理质量和业务指标。
three.dev的使用案例
- AI 代理质量保证
- 自动化错误修复
- LLM 性能监控
- 基于证据的 AI 开发
- 自定义 LLM 训练
- 主动故障检测
- 对话分析
- A/B 测试 AI 代理
- 开发者工作流程集成







