跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

LLMEval

LLMEval是复旦大学自然语言处理实验室的一个研究项目,专注于为各个学科的大型语言模型开发全面的评估框架。它提供开源工具和数据集,用于逻辑推理、公平性和医疗人工智能评估。

访问URL
分享
LLMEval 截图
LLMEval 截图

LLMEval是复旦大学自然语言处理实验室的一系列研究,致力于为大型语言模型(LLMs)创建全面、公平和稳健的评估框架。它涵盖了13个学术学科、医疗人工智能,并包括超过220,000个生成性问题。该项目旨在为LLMs提供严格和公平的评估框架,确保其在不同领域的表现得到准确评估。

阅读更多

LLMEval的一个关键组成部分是LLMEval-Logic,这是一个用于LLMs逻辑推理的开源基准。该基准包括196个公共基础项目和154个对抗性强化项目,配有Z3验证的答案和专家评分标准。评估流程是可重复的,允许研究人员测试和改进LLMs的逻辑推理能力。

LLMEval-Fair是该项目的另一个重要部分,专注于LLM评估中的稳健性和公平性。它涉及一项为期30个月的纵向研究,使用一个包含220,000个研究生水平问题的专有库。自动化流程通过抗污染的策划和新颖的反作弊架构确保数据完整性。这项研究揭示了近60个领先模型的性能上限和数据污染脆弱性。

此外,LLMEval-Med提供了一个用于评估医疗LLMs的真实临床基准。它涵盖五个核心医疗领域,并包括来自电子健康记录和专家设计场景的2,996个问题。评估流程通过人机一致性分析进行验证,确保医疗人工智能评估的高准确性。

LLMEval向公众开放,代码和数据可在GitHub上获取。鼓励研究人员和开发者探索并合作改进LLM评估框架。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 全面的评估框架

  • 开源逻辑推理基准

  • 公平性和稳健性评估

  • 医疗人工智能基准

  • 超过220,000个生成性问题

  • Z3验证的答案

  • 抗污染的数据策划

  • 人机一致性分析

  1. 探索:访问LLMEval网站

  2. 获取:从GitHub下载数据集

  3. 评估:使用基准进行LLM测试

  4. 合作:联系以进行研究合作

  • 学术研究
  • 医疗人工智能评估
  • 逻辑推理测试
  • 公平性评估
  • 合作研究

LLMEval 评价

加载中...

与 LLMEval 类似的热门AI工具

Evidently AI提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

MLOps 与模型部署

MLOps 与模型部署 排名第 24 位

查看工具

提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。Evidently AI提供开源工具,用于评估和监控AI应用程序。它通过测试大型语言模型(LLMs)和监控各种工作流程中的性能,帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

MLOps 与模型部署
MLOps 与模型部署 排名第 24 位

AGI-Eval

AI 应用

AGI-Eval是一个社区平台,提供基于全面评估方案的大型语言模型的排名和评估。它提供透明和权威的数据,帮助用户了解每个模型的优缺点,从而做出明智的决策。

机器学习与数据科学

监控AI模型 排名第 132 位

查看工具

AI 应用

社区平台,提供基于全面评估方案的大型语言模型的排名和评估。它提供透明和权威的数据,帮助用户了解每个模型的优缺点,从而做出明智的决策。AGI-Eval是一个社区平台,提供基于全面评估方案的大型语言模型的排名和评估。它提供透明和权威的数据,帮助用户了解每个模型的优缺点,从而做出明智的决策。

机器学习与数据科学
监控AI模型 排名第 132 位

DeepSeek-v3 提供即时 AI 解决方案,由先进的 MoE 架构和最先进的语言模型驱动。通过这款稳定、免费且无限制的模型体验尖端 AI 功能,该模型专为各种硬件部署的高效推理和多语言支持而设计。

AI 模型与大语言模型
查看工具

提供即时 AI 解决方案,由先进的 MoE 架构和最先进的语言模型驱动。通过这款稳定、免费且无限制的模型体验尖端 AI 功能,该模型专为各种硬件部署的高效推理和多语言支持而设计。DeepSeek-v3 提供即时 AI 解决方案,由先进的 MoE 架构和最先进的语言模型驱动。通过这款稳定、免费且无限制的模型体验尖端 AI 功能,该模型专为各种硬件部署的高效推理和多语言支持而设计。

AI 模型与大语言模型
查看 AI 应用 Top 250

LLM价格查询提供领先的大型语言模型API定价的即时比较和计算。轻松找到来自OpenAI、Anthropic和Google等提供商的经济高效的解决方案。高效优化您的AI预算,立即发现满足您LLM需求的最佳交易。

AI 模型与大语言模型

AI 模型与大语言模型 排名第 23 位

查看工具

提供领先的大型语言模型API定价的即时比较和计算。轻松找到来自OpenAI、Anthropic和Google等提供商的经济高效的解决方案。高效优化您的AI预算,立即发现满足您LLM需求的最佳交易。LLM价格查询提供领先的大型语言模型API定价的即时比较和计算。轻松找到来自OpenAI、Anthropic和Google等提供商的经济高效的解决方案。高效优化您的AI预算,立即发现满足您LLM需求的最佳交易。

AI 模型与大语言模型
AI 模型与大语言模型 排名第 23 位

Deepchecks LLM 评估是一个企业级的人工智能测试、可观察性和监控平台。它提供了对生产中人工智能系统的可见性、控制和信任,确保人工智能部署的准确性和一致性。

MLOps 与模型部署医疗健康与生命科学

MLOps 与模型部署 排名第 90 位

查看工具

企业级的人工智能测试、可观察性和监控平台。它提供了对生产中人工智能系统的可见性、控制和信任,确保人工智能部署的准确性和一致性。Deepchecks LLM 评估是一个企业级的人工智能测试、可观察性和监控平台。它提供了对生产中人工智能系统的可见性、控制和信任,确保人工智能部署的准确性和一致性。

MLOps 与模型部署医疗健康与生命科学
MLOps 与模型部署 排名第 90 位

Gopher

AI 模型

Gopher 是来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。

AI 模型与大语言模型
查看工具

AI 模型

来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。Gopher 是来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。

AI 模型与大语言模型
查看 AI 模型 Top 5

AI 公平性 360 是一个开源工具包,旨在帮助用户检查、报告和减轻机器学习模型中的偏见。它支持 Python 和 R,提供算法和指标以解决各个领域的歧视问题。

机器学习平台

机器学习平台 排名第 129 位

查看工具

开源工具包,旨在帮助用户检查、报告和减轻机器学习模型中的偏见。它支持 Python 和 R,提供算法和指标以解决各个领域的歧视问题。AI 公平性 360 是一个开源工具包,旨在帮助用户检查、报告和减轻机器学习模型中的偏见。它支持 Python 和 R,提供算法和指标以解决各个领域的歧视问题。

机器学习平台
机器学习平台 排名第 129 位

DeepSeek-V3-0324 是一个先进的 AI 模型,提供了在推理能力、网页开发和中文写作能力方面的显著提升。它增强了多轮互动重写和翻译质量,使其成为开发者和研究人员的多功能工具。

AI 模型与大语言模型
查看工具

先进的 AI 模型,提供了在推理能力、网页开发和中文写作能力方面的显著提升。它增强了多轮互动重写和翻译质量,使其成为开发者和研究人员的多功能工具。DeepSeek-V3-0324 是一个先进的 AI 模型,提供了在推理能力、网页开发和中文写作能力方面的显著提升。它增强了多轮互动重写和翻译质量,使其成为开发者和研究人员的多功能工具。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8