Beschreibung
LLMEval ist eine Forschungsreihe des Fudan NLP Lab, die sich der Schaffung umfassender, fairer und robuster Bewertungsrahmen für große Sprachmodelle (LLMs) widmet. Sie umfasst über 13 akademische Disziplinen, medizinische KI und beinhaltet mehr als 220.000 generative Fragen. Die Initiative zielt darauf ab, rigorose und faire Bewertungsrahmen für LLMs bereitzustellen, um sicherzustellen, dass ihre Leistung in verschiedenen Bereichen genau bewertet wird.
Weiterlesen
Ein zentrales Element von LLMEval ist LLMEval-Logic, ein Open-Source-Benchmark für logisches Denken in LLMs. Dieses Benchmark umfasst 196 öffentliche Basisartikel und 154 adversarial gehärtete Artikel, mit Z3-verifizierten Antworten und Expertenrubriken. Die Bewertungs-Pipeline ist reproduzierbar, sodass Forscher die logischen Denkfähigkeiten von LLMs testen und verbessern können.
LLMEval-Fair ist ein weiterer bedeutender Teil der Initiative, der sich auf Robustheit und Fairness in der LLM-Bewertung konzentriert. Es handelt sich um eine 30-monatige longitudinale Studie, die eine proprietäre Bank von 220.000 Fragen auf Graduierten-Niveau verwendet. Die automatisierte Pipeline gewährleistet die Datenintegrität durch kontaminationsresistente Kuratierung und eine neuartige Anti-Betrugs-Architektur. Diese Studie hat Leistungsgrenzen und Datenkontaminationsanfälligkeiten in nahezu 60 führenden Modellen aufgezeigt.
Darüber hinaus bietet LLMEval-Med einen realen klinischen Benchmark zur Bewertung medizinischer LLMs. Es deckt fünf zentrale medizinische Bereiche ab und umfasst 2.996 Fragen aus elektronischen Gesundheitsakten und von Experten gestalteten Szenarien. Die Bewertungs-Pipeline wird durch eine Analyse der Übereinstimmung zwischen Mensch und Maschine validiert, um eine hohe Genauigkeit in der medizinischen KI-Bewertung sicherzustellen.
LLMEval ist öffentlich zugänglich, mit Code und Daten auf GitHub. Forscher und Entwickler sind eingeladen, die LLM-Bewertungsrahmen zu erkunden und zusammenzuarbeiten, um diese zu verbessern.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
LLMEval's Kernfunktionen
Umfassende Bewertungsrahmen
Open-Source-Benchmark für logisches Denken
Bewertung von Fairness und Robustheit
Medizinischer KI-Benchmark
Über 220.000 generative Fragen
Z3-verifizierte Antworten
Kontaminationsresistente Datenkuratierung
Analyse der Übereinstimmung zwischen Mensch und Maschine
Wie verwendet man LLMEval?
Erforschen: Besuchen Sie die LLMEval-Website
Zugreifen: Laden Sie Datensätze von GitHub herunter
Bewerten: Verwenden Sie Benchmarks für LLM-Tests
Zusammenarbeiten: Kontaktieren Sie uns für Forschungspartnerschaften
LLMEval's Anwendungsfälle
- Akademische Forschung
- Bewertung medizinischer KI
- Testen des logischen Denkens
- Bewertung der Fairness
- Kollaborative Forschung
