Descrição
LLMEval é uma série de pesquisas do Fudan NLP Lab dedicada à criação de estruturas de avaliação abrangentes, justas e robustas para grandes modelos de linguagem (LLMs). Abrange mais de 13 disciplinas acadêmicas, IA médica, e inclui mais de 220.000 perguntas gerativas. A iniciativa visa fornecer estruturas de avaliação rigorosas e justas para LLMs, garantindo que seu desempenho seja avaliado com precisão em diferentes domínios.
Ler mais
Um dos componentes-chave do LLMEval é o LLMEval-Logic, um benchmark de código aberto para raciocínio lógico em LLMs. Este benchmark inclui 196 itens base públicos e 154 itens endurecidos adversarialmente, com respostas verificadas pelo Z3 e rubricas de especialistas. O pipeline de avaliação é reproduzível, permitindo que pesquisadores testem e melhorem as capacidades de raciocínio lógico dos LLMs.
LLMEval-Fair é outra parte significativa da iniciativa, focando na robustez e equidade na avaliação de LLMs. Envolve um estudo longitudinal de 30 meses utilizando um banco proprietário de 220.000 perguntas de nível de pós-graduação. O pipeline automatizado garante a integridade dos dados por meio de curadoria resistente à contaminação e uma nova arquitetura anti-trapaça. Este estudo revelou tetos de desempenho e vulnerabilidades de contaminação de dados em quase 60 modelos líderes.
Além disso, o LLMEval-Med fornece um benchmark clínico do mundo real para avaliar LLMs médicos. Abrange cinco áreas médicas principais e inclui 2.996 perguntas de registros eletrônicos de saúde e cenários projetados por especialistas. O pipeline de avaliação é validado por meio de análise de concordância humano-máquina, garantindo alta precisão na avaliação de IA médica.
O LLMEval é aberto ao público, com código e dados disponíveis no GitHub. Pesquisadores e desenvolvedores são incentivados a explorar e colaborar na melhoria das estruturas de avaliação de LLM.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de LLMEval
Estruturas de avaliação abrangentes
Benchmark de raciocínio lógico de código aberto
Avaliação de equidade e robustez
Benchmark de IA médica
Mais de 220.000 perguntas gerativas
Respostas verificadas pelo Z3
Curadoria de dados resistente à contaminação
Análise de concordância humano-máquina
Como usar LLMEval?
Explorar: Visite o site do LLMEval
Acessar: Baixe conjuntos de dados do GitHub
Avaliar: Use benchmarks para testes de LLM
Colaborar: Entre em contato para parcerias de pesquisa
Casos de uso de LLMEval
- Pesquisa Acadêmica
- Avaliação de IA Médica
- Teste de Raciocínio Lógico
- Avaliação de Equidade
- Pesquisa Colaborativa
