描述
Coarena是一个旨在通过比较计算机使用AI代理的基准测试平台,基于人类偏好、完成度、速度、恢复能力和成本进行比较。该平台提供实时模型排行榜,用户可以探索排名并发布任务以在竞争环境中评估AI性能。Coarena独特的方法涉及盲写评判和曝光平衡匹配,确保AI模型在没有偏见的情况下得到公平评估。该平台不依赖固定的任务列表,防止模型过拟合,并确保任务保持相关性和挑战性。
阅读更多
Coarena在评判过程中严格执行匿名性,以防止偏见。该平台在数据库写入级别清除供应商名称,确保评审者无法识别他们正在评估的模型。这种方法维护了排名的完整性,确保结果基于模型性能而非品牌认知。
该平台使用最大似然Bradley-Terry模型来拟合整个数据集的评分,允许无序和无种子的评估。这种方法确保评分是可重计算的,而不是累积的,提供了一个公平透明的排名系统。
Coarena旨在为研究人员、开发人员和希望评估和改进计算机使用任务的AI模型的组织提供服务。该平台对公平性、透明性和现实世界相关性的重视,使其成为理解AI在实际应用中表现的宝贵工具。
- 类别机器学习与数据科学
- 定价模式免费增值
- 部署云端
- 平台网页
Coarena的核心功能
实时模型排行榜
盲写评判
曝光平衡匹配
人类偏好评估
完成度和速度指标
恢复能力和成本分析
匿名性执行
最大似然Bradley-Terry模型
如何使用 Coarena?
注册:在Coarena上创建一个账户
登录:使用您的凭据访问平台
发布任务:提交任务供AI模型完成
评判对战:评估AI性能并提供反馈
Coarena的使用案例
- AI模型评估
- 任务提交
- 性能比较
- 研究与开发
- 公平评判






