Descripción
LLMEval es una serie de investigación del Laboratorio de NLP de Fudan dedicada a crear marcos de evaluación completos, justos y robustos para modelos de lenguaje grandes (LLMs). Abarca más de 13 disciplinas académicas, inteligencia artificial médica e incluye más de 220,000 preguntas generativas. La iniciativa tiene como objetivo proporcionar marcos de evaluación rigurosos y justos para los LLMs, asegurando que su rendimiento se evalúe con precisión en diferentes dominios.
Leer más
Uno de los componentes clave de LLMEval es LLMEval-Logic, un punto de referencia de código abierto para el razonamiento lógico en LLMs. Este punto de referencia incluye 196 elementos base públicos y 154 elementos endurecidos de manera adversarial, con respuestas verificadas por Z3 y rúbricas de expertos. El pipeline de evaluación es reproducible, lo que permite a los investigadores probar y mejorar las capacidades de razonamiento lógico de los LLMs.
LLMEval-Fair es otra parte significativa de la iniciativa, centrada en la robustez y la equidad en la evaluación de LLMs. Implica un estudio longitudinal de 30 meses utilizando un banco propietario de 220,000 preguntas de nivel de posgrado. El pipeline automatizado asegura la integridad de los datos a través de una curaduría resistente a la contaminación y una nueva arquitectura anti-trampa. Este estudio ha revelado techos de rendimiento y vulnerabilidades de contaminación de datos en casi 60 modelos líderes.
Además, LLMEval-Med proporciona un punto de referencia clínico del mundo real para evaluar LLMs médicos. Cubre cinco áreas médicas fundamentales e incluye 2,996 preguntas de registros de salud electrónicos y escenarios diseñados por expertos. El pipeline de evaluación se valida a través de un análisis de acuerdo humano-máquina, asegurando una alta precisión en la evaluación de la inteligencia artificial médica.
LLMEval está abierto al público, con código y datos disponibles en GitHub. Se anima a investigadores y desarrolladores a explorar y colaborar en la mejora de los marcos de evaluación de LLMs.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Características principales de LLMEval
Marcos de evaluación completos
Punto de referencia de razonamiento lógico de código abierto
Evaluación de equidad y robustez
Punto de referencia de inteligencia artificial médica
Más de 220,000 preguntas generativas
Respuestas verificadas por Z3
Curaduría de datos resistente a la contaminación
Análisis de acuerdo humano-máquina
¿Cómo usar LLMEval?
Explorar: Visita el sitio web de LLMEval
Acceder: Descarga conjuntos de datos desde GitHub
Evaluar: Utiliza puntos de referencia para pruebas de LLM
Colaborar: Contacta para asociaciones de investigación
Casos de uso de LLMEval
- Investigación Académica
- Evaluación de IA Médica
- Pruebas de Razonamiento Lógico
- Evaluación de Equidad
- Investigación Colaborativa
