AGI-Eval

OpenAI Evals 框架

AI GitHub 仓库

用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。OpenAI Evals 是一个用于评估大型语言模型（LLMs）和 LLM 系统的框架。它作为一个开源基准注册库，促进了对 AI 模型性能和能力的评估。

语言模型的整体评估

AI 框架

HELM是一个全面的语言模型评估基准，专注于透明性和可重复性。它提供多指标测量和广泛覆盖，所有数据均可免费访问以供研究和探索。

H2O Eval Studio

AI 应用

#77

模块化平台，旨在评估增强检索生成和大型语言模型应用的性能、可靠性和安全性。它提供高管仪表板、可定制的评估工具和高级洞察，以增强人工智能的可靠性和准确性。H2O Eval Studio 是一个模块化平台，旨在评估增强检索生成和大型语言模型应用的性能、可靠性和安全性。它提供高管仪表板、可定制的评估工具和高级洞察，以增强人工智能的可靠性和准确性。

Arena AI

AI 应用

#5

平台，用户可以在这里聊天、比较和投票选出世界上最优秀的 AI 模型。它提供了一个公共排行榜，用于 LLM、图像和代码模型，通过真实场景进行评估。Arena AI 是一个平台，用户可以在这里聊天、比较和投票选出世界上最优秀的 AI 模型。它提供了一个公共排行榜，用于 LLM、图像和代码模型，通过真实场景进行评估。

Evidently AI - 开源AI评估

AI 应用

#24

提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。Evidently AI提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

人工分析

AI 应用

#108

提供对AI模型和API托管提供商的独立基准测试。它评估关键性能指标，如质量、价格、输出速度和延迟，帮助开发者优化他们的AI堆栈。人工分析提供对AI模型和API托管提供商的独立基准测试。它评估关键性能指标，如质量、价格、输出速度和延迟，帮助开发者优化他们的AI堆栈。

SuperCLUE

AI 应用

全面的基准，用于评估中文通用大模型。它从多个维度评估模型，以确定其与国际标准和人类表现的有效性。SuperCLUE 是一个全面的基准，用于评估中文通用大模型。它从多个维度评估模型，以确定其与国际标准和人类表现的有效性。

Langtrace

AI 应用

#102

开源的可观测性和评估平台，旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察，支持主流框架和 LLM 提供商，实现无缝集成和迭代。Langtrace 是一个开源的可观测性和评估平台，旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察，支持主流框架和 LLM 提供商，实现无缝集成和迭代。