描述
LLMEval是复旦大学自然语言处理实验室的一系列研究,致力于为大型语言模型(LLMs)创建全面、公平和稳健的评估框架。它涵盖了13个学术学科、医疗人工智能,并包括超过220,000个生成性问题。该项目旨在为LLMs提供严格和公平的评估框架,确保其在不同领域的表现得到准确评估。
阅读更多
LLMEval的一个关键组成部分是LLMEval-Logic,这是一个用于LLMs逻辑推理的开源基准。该基准包括196个公共基础项目和154个对抗性强化项目,配有Z3验证的答案和专家评分标准。评估流程是可重复的,允许研究人员测试和改进LLMs的逻辑推理能力。
LLMEval-Fair是该项目的另一个重要部分,专注于LLM评估中的稳健性和公平性。它涉及一项为期30个月的纵向研究,使用一个包含220,000个研究生水平问题的专有库。自动化流程通过抗污染的策划和新颖的反作弊架构确保数据完整性。这项研究揭示了近60个领先模型的性能上限和数据污染脆弱性。
此外,LLMEval-Med提供了一个用于评估医疗LLMs的真实临床基准。它涵盖五个核心医疗领域,并包括来自电子健康记录和专家设计场景的2,996个问题。评估流程通过人机一致性分析进行验证,确保医疗人工智能评估的高准确性。
LLMEval向公众开放,代码和数据可在GitHub上获取。鼓励研究人员和开发者探索并合作改进LLM评估框架。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
LLMEval的核心功能
全面的评估框架
开源逻辑推理基准
公平性和稳健性评估
医疗人工智能基准
超过220,000个生成性问题
Z3验证的答案
抗污染的数据策划
人机一致性分析
如何使用 LLMEval?
探索:访问LLMEval网站
获取:从GitHub下载数据集
评估:使用基准进行LLM测试
合作:联系以进行研究合作
LLMEval的使用案例
- 学术研究
- 医疗人工智能评估
- 逻辑推理测试
- 公平性评估
- 合作研究







