説明
LLMEvalは、Fudan NLP Labによる研究シリーズであり、大規模言語モデル(LLM)のための包括的で公平かつ堅牢な評価フレームワークの作成に専念しています。これは、13の学術分野、医療AIを網羅し、22万以上の生成質問を含んでいます。このイニシアチブは、LLMのパフォーマンスがさまざまな領域で正確に評価されることを保証するために、厳密で公平な評価フレームワークを提供することを目指しています。
続きを読む
LLMEvalの主要なコンポーネントの1つは、LLMEval-Logicであり、LLMにおける論理的推論のためのオープンソースベンチマークです。このベンチマークには、196の公開ベースアイテムと154の敵対的に強化されたアイテムが含まれており、Z3によって検証された回答と専門家のルーブリックがあります。評価パイプラインは再現可能であり、研究者がLLMの論理的推論能力をテストし、改善することを可能にします。
LLMEval-Fairは、このイニシアチブのもう1つの重要な部分であり、LLM評価における堅牢性と公平性に焦点を当てています。これは、22万の大学院レベルの質問を使用した30か月の縦断研究を含みます。自動化されたパイプラインは、汚染に強いキュレーションと新しい不正防止アーキテクチャを通じてデータの完全性を保証します。この研究は、ほぼ60の主要モデルにおけるパフォーマンスの限界とデータ汚染の脆弱性を明らかにしました。
さらに、LLMEval-Medは、医療LLMを評価するための実世界の臨床ベンチマークを提供します。これは、5つの主要な医療分野をカバーし、電子健康記録や専門家が設計したシナリオからの2,996の質問を含んでいます。評価パイプラインは、人間と機械の合意分析を通じて検証されており、医療AI評価における高い精度を保証します。
LLMEvalは一般に公開されており、コードとデータはGitHubで入手可能です。研究者や開発者は、LLM評価フレームワークの改善に向けて探求し、協力することが奨励されています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
LLMEvalの主要機能
包括的な評価フレームワーク
オープンソースの論理的推論ベンチマーク
公平性と堅牢性の評価
医療AIベンチマーク
22万以上の生成質問
Z3によって検証された回答
汚染に強いデータキュレーション
人間と機械の合意分析
LLMEvalの使い方は?
探求: LLMEvalのウェブサイトを訪問する
アクセス: GitHubからデータセットをダウンロードする
評価: LLMテストのためにベンチマークを使用する
協力: 研究パートナーシップのために連絡する
LLMEvalの使用例
- 学術研究
- 医療AI評価
- 論理的推論テスト
- 公平性評価
- 共同研究







