Описание
LLMEval — это серия исследований лаборатории NLP Фудань, посвященная созданию комплексных, справедливых и надежных оценочных рамок для больших языковых моделей (LLMs). Она охватывает более 13 академических дисциплин, медицинский ИИ и включает более 220 000 генеративных вопросов. Инициатива направлена на предоставление строгих и справедливых оценочных рамок для LLM, обеспечивая точную оценку их производительности в различных областях.
Читать далее
Одним из ключевых компонентов LLMEval является LLMEval-Logic, открытый бенчмарк для логического мышления в LLM. Этот бенчмарк включает 196 публичных базовых элементов и 154 предмета, подвергнутых противодействию, с ответами, проверенными с помощью Z3, и экспертными рубриками. Оценочный процесс воспроизводим, что позволяет исследователям тестировать и улучшать способности LLM в области логического мышления.
LLMEval-Fair — это еще одна важная часть инициативы, сосредоточенная на надежности и справедливости в оценке LLM. Она включает 30-месячное лонгитюдное исследование с использованием проприетарного банка из 220 000 вопросов уровня магистратуры. Автоматизированный процесс обеспечивает целостность данных благодаря устойчивой к загрязнению кураторской работе и новой архитектуре противодействия мошенничеству. Это исследование выявило потолки производительности и уязвимости к загрязнению данных в почти 60 ведущих моделях.
Кроме того, LLMEval-Med предоставляет реальный клинический бенчмарк для оценки медицинских LLM. Он охватывает пять основных медицинских областей и включает 2 996 вопросов из электронных медицинских записей и сценариев, разработанных экспертами. Оценочный процесс проверяется через анализ согласия человека и машины, что обеспечивает высокую точность в оценке медицинского ИИ.
LLMEval доступен для общественности, код и данные доступны на GitHub. Исследователи и разработчики приглашаются исследовать и сотрудничать в улучшении оценочных рамок для LLM.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции LLMEval
Комплексные оценочные рамки
Бенчмарк логического мышления с открытым исходным кодом
Оценка справедливости и надежности
Бенчмарк медицинского ИИ
Более 220 000 генеративных вопросов
Ответы, проверенные Z3
Кураторская работа с устойчивостью к загрязнению данных
Анализ согласия человека и машины
Как использовать LLMEval?
Изучите: посетите сайт LLMEval
Получите доступ: скачайте наборы данных с GitHub
Оцените: используйте бенчмарки для тестирования LLM
Сотрудничайте: свяжитесь для научных партнерств
Варианты использования LLMEval
- Академические исследования
- Оценка медицинского ИИ
- Тестирование логического мышления
- Оценка справедливости
- Совместные исследования
