Description
LLMEval est une série de recherches du Fudan NLP Lab dédiée à la création de cadres d'évaluation complets, équitables et robustes pour les grands modèles de langage (LLMs). Elle couvre plus de 13 disciplines académiques, l'IA médicale, et comprend plus de 220 000 questions génératives. L'initiative vise à fournir des cadres d'évaluation rigoureux et équitables pour les LLMs, garantissant que leur performance soit évaluée avec précision dans différents domaines.
Lire la suite
Un des composants clés de LLMEval est LLMEval-Logic, un benchmark open-source pour le raisonnement logique dans les LLMs. Ce benchmark comprend 196 éléments de base publics et 154 éléments renforcés de manière adversariale, avec des réponses vérifiées par Z3 et des rubriques d'experts. Le pipeline d'évaluation est reproductible, permettant aux chercheurs de tester et d'améliorer les capacités de raisonnement logique des LLMs.
LLMEval-Fair est une autre partie significative de l'initiative, axée sur la robustesse et l'équité dans l'évaluation des LLMs. Elle implique une étude longitudinale de 30 mois utilisant une banque propriétaire de 220 000 questions de niveau diplômé. Le pipeline automatisé garantit l'intégrité des données grâce à une curation résistante à la contamination et une architecture anti-triche novatrice. Cette étude a révélé des plafonds de performance et des vulnérabilités de contamination des données dans près de 60 modèles de premier plan.
De plus, LLMEval-Med fournit un benchmark clinique réel pour l'évaluation des LLMs médicaux. Il couvre cinq domaines médicaux essentiels et comprend 2 996 questions provenant de dossiers de santé électroniques et de scénarios conçus par des experts. Le pipeline d'évaluation est validé par une analyse d'accord homme-machine, garantissant une grande précision dans l'évaluation de l'IA médicale.
LLMEval est ouvert au public, avec du code et des données disponibles sur GitHub. Les chercheurs et les développeurs sont encouragés à explorer et à collaborer pour améliorer les cadres d'évaluation des LLMs.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de LLMEval
Cadres d'évaluation complets
Benchmark open-source pour le raisonnement logique
Évaluation de l'équité et de la robustesse
Benchmark pour l'IA médicale
Plus de 220 000 questions génératives
Réponses vérifiées par Z3
Curation de données résistante à la contamination
Analyse d'accord homme-machine
Comment utiliser LLMEval ?
Explorer : Visitez le site web de LLMEval
Accéder : Téléchargez des ensembles de données depuis GitHub
Évaluer : Utilisez des benchmarks pour tester les LLMs
Collaborer : Contactez pour des partenariats de recherche
Cas d'utilisation de LLMEval
- Recherche Académique
- Évaluation de l'IA Médicale
- Test de Raisonnement Logique
- Évaluation de l'Équité
- Recherche Collaborative
