跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

EvalCore

AI 应用AI 代码审查与测试免费 · macOS、Linux、CI 运行器

EvalCore 提供 AI 行为的快照测试,允许您记录 LLM 应用的行为并在每次更改时在 CI 中重放。它确保任何修改不会对性能产生负面影响,同时离线且免费。

访问URL
分享
EvalCore 截图
EvalCore 截图

EvalCore 旨在帮助开发者在用户注意到之前了解他们的 AI 变得更糟。它提供 AI 行为的快照测试,允许用户记录他们的 LLM 应用或代理的行为,然后在每次更改时在持续集成 (CI) 中重放该记录。这个过程是离线的、确定性的,并且完全免费。

阅读更多

通过 EvalCore,开发者可以轻松检查修改提示、交换模型或更新依赖项等更改是否导致任何问题。该工具记录 AI 行为,并将每个更改与记录的数据进行比较,确保任何回归都能及早发现。设置非常简单,只需一个小的二进制文件即可与任何编程语言配合使用,消除了对测试工具或 SDK 的需求。

EvalCore 的第一次运行调用真实模型,并将每个请求和响应记录到本地 SQLite 磁带中。该磁带以规范请求的哈希为键,便于跟踪令牌和成本。CI 中的每次后续运行重放该磁带,确保相同的输入产生相同的输出,从而有效阻止回归。这意味着开发者可以在不需要网络访问或 API 密钥的情况下运行测试,使过程更加可靠和高效。

EvalCore 兼容多种模型和 API,包括 OpenAI、vLLM 和 Ollama,以及自定义 REST API 和 shell 命令。这种灵活性使开发者能够在几分钟内交付他们的第一次评估,而无需任何依赖。该工具在 Apache-2.0 许可证下开源,任何希望改善其 AI 应用程序的人都可以使用。

  • 类别AI 代码审查与测试
  • 定价模式免费
  • 部署离线
  • 平台macOS、Linux、CI 运行器

  • AI 行为的快照测试

  • 离线重放

  • 确定性结果

  • 无需 SDK 或测试工具

  • 记录请求和响应

  • 与 OpenAI 和其他 API 兼容

  • 本地 SQLite 磁带存储

  • 在 CI 中免费使用

  1. 配置:将目标指向您的应用并列出数据集。

  2. 运行:执行命令以记录 AI 行为。

  3. 重放:在 CI 中使用记录的磁带检查回归。

  4. 提交:保存磁带以供未来测试。

  • 回归测试
  • 行为监控
  • 模型比较
  • 集成测试
  • 成本跟踪

EvalCore 评价

加载中...

与 EvalCore 类似的热门AI工具

LangWatch

AI 应用

LangWatch 是一个 AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。

MLOps 与模型部署

提示词工程工具 排名第 14 位

查看工具

AI 应用

AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。LangWatch 是一个 AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景,防止回归,并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。

精选MLOps 与模型部署
提示词工程工具 排名第 14 位

mabl

AI 应用

mabl 是一个自动化软件测试平台,帮助团队加速发布并确保软件质量。它利用机器学习和自愈测试提供可靠的应用验证,提升网页、移动和 API 的用户体验。

AI 代码审查与测试

AI 代码审查与测试 排名第 30 位

查看工具

AI 应用

自动化软件测试平台,帮助团队加速发布并确保软件质量。它利用机器学习和自愈测试提供可靠的应用验证,提升网页、移动和 API 的用户体验。mabl 是一个自动化软件测试平台,帮助团队加速发布并确保软件质量。它利用机器学习和自愈测试提供可靠的应用验证,提升网页、移动和 API 的用户体验。

AI 代码审查与测试
AI 代码审查与测试 排名第 30 位

TestSprite 是一个人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。

AI 代码审查与测试

AI 代码审查与测试 排名第 36 位

查看工具

人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。TestSprite 是一个人工智能驱动的平台,可实现软件测试自动化。它能以最少的输入构建测试计划、编写代码、执行测试和调试。该平台非常适合寻求跨多种场景进行自助测试的开发团队,通过消除手动瓶颈,将 CI/CD 转变为高速引擎。

精选AI 代码审查与测试
AI 代码审查与测试 排名第 36 位

Relyable

AI 应用

Relyable 是一个用于 AI 语音代理的模拟和监控平台。它生成数百个真实的测试对话,根据您自己的评分标准对每个通话进行评分,并实时监控生产通话。

AI 语音助手

AI 语音助手 排名第 134 位

查看工具

AI 应用

用于 AI 语音代理的模拟和监控平台。它生成数百个真实的测试对话,根据您自己的评分标准对每个通话进行评分,并实时监控生产通话。Relyable 是一个用于 AI 语音代理的模拟和监控平台。它生成数百个真实的测试对话,根据您自己的评分标准对每个通话进行评分,并实时监控生产通话。

AI 语音助手
AI 语音助手 排名第 134 位

Bugster

AI 应用

Bugster 是一个由人工智能驱动的端到端测试平台,能够在每个拉取请求中在真实浏览器中运行自动化测试。AI 代理根据普通英语描述生成和维护零维护的 E2E 测试。

AI 代码审查与测试

AI 代码审查与测试 排名第 72 位

查看工具

AI 应用

由人工智能驱动的端到端测试平台,能够在每个拉取请求中在真实浏览器中运行自动化测试。AI 代理根据普通英语描述生成和维护零维护的 E2E 测试。Bugster 是一个由人工智能驱动的端到端测试平台,能够在每个拉取请求中在真实浏览器中运行自动化测试。AI 代理根据普通英语描述生成和维护零维护的 E2E 测试。

AI 代码审查与测试
AI 代码审查与测试 排名第 72 位

Autonoma

AI 应用

Autonoma 是一个开源的、由 AI 驱动的测试平台,可自动执行 Web 和移动应用程序的端到端测试。它使用 AI 代理在真实浏览器和设备中导航应用程序,在每次拉取请求时自动捕获回归,无需手动编写测试脚本。

AI 代码审查与测试

AI 代码审查与测试 排名第 71 位

查看工具

AI 应用

开源的、由 AI 驱动的测试平台,可自动执行 Web 和移动应用程序的端到端测试。它使用 AI 代理在真实浏览器和设备中导航应用程序,在每次拉取请求时自动捕获回归,无需手动编写测试脚本。Autonoma 是一个开源的、由 AI 驱动的测试平台,可自动执行 Web 和移动应用程序的端到端测试。它使用 AI 代理在真实浏览器和设备中导航应用程序,在每次拉取请求时自动捕获回归,无需手动编写测试脚本。

AI 代码审查与测试
AI 代码审查与测试 排名第 71 位

OpenLIT

AI 应用

OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署

提示工程师 排名第 38 位

查看工具

AI 应用

开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署
提示工程师 排名第 38 位

QA.tech 是一个用于端到端 (E2E)、回归、探索性和 PR 测试的 AI 测试平台。它使用 QA 代理来验证 Web 和移动版本,从而实现更快的交付。该工具专注于动态、可视化测试,并无缝集成到 SDLC 中以实现持续验证。

AI 代码审查与测试

AI 代码审查与测试 排名第 34 位

查看工具

用于端到端 (E2E)、回归、探索性和 PR 测试的 AI 测试平台。它使用 QA 代理来验证 Web 和移动版本,从而实现更快的交付。该工具专注于动态、可视化测试,并无缝集成到 SDLC 中以实现持续验证。QA.tech 是一个用于端到端 (E2E)、回归、探索性和 PR 测试的 AI 测试平台。它使用 QA 代理来验证 Web 和移动版本,从而实现更快的交付。该工具专注于动态、可视化测试,并无缝集成到 SDLC 中以实现持续验证。

精选AI 代码审查与测试
AI 代码审查与测试 排名第 34 位
1/8