Sprix AI 基准

Giskard OSS

AI GitHub 仓库

#97

开源评估和测试库，专为 LLM 代理设计。它提供工具来评估和提高语言模型的性能，确保 AI 应用程序的稳健性和可靠性。Giskard OSS 是一个开源评估和测试库，专为 LLM 代理设计。它提供工具来评估和提高语言模型的性能，确保 AI 应用程序的稳健性和可靠性。

Folkbench

AI GitHub 仓库

#100

开源工具，用于基准测试和切换 AI API，专注于实际可用性、延迟和定价。它为 Claude Code 和 Codex API 提供排名，帮助开发者选择最适合他们需求的选项。Folkbench 是一个开源工具，用于基准测试和切换 AI API，专注于实际可用性、延迟和定价。它为 Claude Code 和 Codex API 提供排名，帮助开发者选择最适合他们需求的选项。

harness-lab

AI GitHub 仓库

访问网站提供了一个专为 DeepSeek Harness 设计的评估工具，使用户能够在可重复的离线任务上基准测试代理循环、压缩、技能和工具配置。旨在增强开发人员使用 DeepSeek Harness 的评估过程。

Ragas LLM 评估工具

AI GitHub 仓库

旨在增强 LLM 应用评估的工具。它为开发者提供了一个平台，以贡献和改进他们的应用，促进 AI 开发中的协作和创新。Ragas 是一个旨在增强 LLM 应用评估的工具。它为开发者提供了一个平台，以贡献和改进他们的应用，促进 AI 开发中的协作和创新。

goose

AI GitHub 仓库

#31

开源、可扩展的AI代理，通过允许用户安装、执行、编辑和测试任何大型语言模型（LLM），增强编码体验，为寻求高级代码建议的开发者提供了一个多功能工具。Goose是一个开源、可扩展的AI代理，通过允许用户安装、执行、编辑和测试任何大型语言模型（LLM），增强编码体验，为寻求高级代码建议的开发者提供了一个多功能工具。

Pi Agent Harness

AI GitHub 仓库

pi是一个AI代理工具包，提供统一的LLM API、代理循环、文本用户界面（TUI）和编码代理CLI。它旨在简化AI代理的开发和部署，使开发人员更容易将AI功能集成到他们的应用程序中。

TruLens 评估工具

AI GitHub 仓库

GitHub 项目，旨在评估和跟踪大型语言模型（LLMs）和 AI 代理的实验。它提供工具以有效评估性能并管理 AI 实验。TruLens 是一个 GitHub 项目，旨在评估和跟踪大型语言模型（LLMs）和 AI 代理的实验。它提供工具以有效评估性能并管理 AI 实验。

OpenAI Evals 框架

AI GitHub 仓库

用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。OpenAI Evals 是一个用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。