Описание
MPNet, разработанный Microsoft, расшифровывается как Masked and Permuted Pre-training for Language Understanding (Предварительное обучение с маскированием и перестановкой для понимания языка). Этот инновационный метод предварительного обучения решает проблемы, существующие в таких моделях, как Masked Language Modeling (MLM) в BERT и Permuted Language Modeling (PLM) в XLNet, достигая превосходной точности на бенчмарках понимания языка.
Читать далее
Проект предоставляет унифицированный взгляд и реализацию нескольких моделей предварительного обучения, включая BERT, XLNet и сам MPNet. Он включает комплексный код как для предварительного обучения новых моделей, так и для тонкой настройки существующих для широкого спектра задач понимания языка. Поддерживаемые задачи включают популярные бенчмарки, такие как GLUE, SQuAD и RACE, что делает его универсальным инструментом для исследователей и разработчиков в области NLP.
Установка проста и основана на кодовой базе fairseq. Пользователи могут установить необходимые компоненты через pip. Инструментарий требует PyTorch Transformers, SciPy и Scikit-learn. Процесс предварительного обучения включает предварительную обработку данных, включая токенизацию и бинаризацию, за которой следует фактическое предварительное обучение модели MPNet с использованием предоставленных скриптов и конфигураций.
MPNet предлагает гибкость в подходе к предварительному обучению. Пользователи могут указывать входные режимы, такие как MLM или PLM, для обучения моделей маскированного языка или моделей перестановки языка соответственно. Расширенные параметры включают использование относительных позиционных вложений и маскирование целых слов путем настройки архитектуры модели и аргументов командной строки. Проект также предоставляет обновленные предварительно обученные модели MPNet для прямой тонкой настройки на последующих задачах.
Проект построен на основе fairseq-0.8.0, что является признанием его вклада. Для тех, кто находит инструментарий полезным, предоставляются сведения для цитирования статьи о MPNet. Также перечислены связанные работы и альтернативные фреймворки предварительного обучения, предлагая более широкий контекст в области исследований NLP. Этот репозиторий служит ценным ресурсом для развития возможностей понимания языка.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыLinux, macOS, Windows
Основные функции MPNet
Метод предварительного обучения с маскированием и перестановкой
Повышает точность по сравнению с BERT и XLNet
Унифицированная реализация моделей предварительного обучения (BERT, XLNet, MPNet)
Код для предварительного обучения и тонкой настройки
Поддерживает бенчмарки GLUE, SQuAD, RACE
Основан на кодовой базе fairseq
Предоставляет обновленные предварительно обученные модели
Поддерживает входные режимы MLM и PLM
Опция для относительного позиционного вложения
Опция для маскирования целых слов
Начало работы с MPNet
Установите зависимости: pip install fairseq pytorch_transformers==1.0.0 transformers scipy sklearn
Предварительно обработайте данные: Токенизируйте корпус с помощью encode.py и бинаризуйте с помощью fairseq-preprocess
Предварительно обучите MPNet: Запустите fairseq-train с указанными параметрами для общего числа обновлений, скорости обучения, размера пакета и т. д.
Загрузите предварительно обученную модель: Используйте MPNet.from_pretrained из fairseq.models.masked_permutation_net
Тонкая настройка на последующих задачах: Адаптируйте предварительно обученную модель для конкретных задач NLP, таких как GLUE или SQuAD
Варианты использования MPNet
- Понимание языка
- Предварительное обучение моделей
- Тонкая настройка NLP-моделей
- Производительность на бенчмарках
- Исследования в области NLP
