Многоязычные модели BERT

В настоящее время доступны две основные многоязычные модели: BERT-Base, Multilingual Cased (новая, рекомендуется) и BERT-Base, Multilingual Uncased (оригинальная, не рекомендуется).

Модель BERT-Base, Multilingual Cased поддерживает 104 языка и имеет 12-слойную архитектуру с 768 скрытыми единицами, 12 головами внимания и 110 миллионами параметров. Эта модель рекомендуется из-за улучшенной нормализации для многих языков, особенно для тех, которые используют нелатинские алфавиты. При использовании этой модели крайне важно установить `--do_lower_case=false` в скриптах запуска. Многоязычная модель Uncased, хотя и поддерживает 102 языка с той же архитектурой, не рекомендуется для новых проектов.

Для задач, связанных с китайским языком, также доступна специализированная модель BERT-Base, Chinese, поддерживающая упрощенный и традиционный китайский. Хотя многоязычные модели включают китайский язык, модель, ориентированная только на китайский, может дать лучшие результаты для специфического дообучения на китайском языке. Производительность этих моделей была оценена на наборе данных XNLI — задаче межъязыкового вывода естественного языка. Результаты показывают, что, хотя одноязычные модели могут превосходить многоязычные для языков с высоким объемом данных, последние предлагают практическое решение для широкого языкового охвата без необходимости поддерживать множество одноязычных моделей.

Дообучение многоязычных моделей BERT не требует значительных изменений в API. Однако могут потребоваться обновления `BasicTokenizer` для токенизации китайских символов. Модели могут быть интегрированы в рабочие процессы с использованием предоставленных скриптов, таких как `run_classifier.py`, который был обновлен для поддержки наборов данных, таких как XNLI. Стратегия выборки данных для предварительного обучения включала экспоненциально сглаженное взвешивание данных из Википедии для балансировки языков с высоким и низким объемом данных, обеспечивая лучшее представление для всех. Токенизация использует общий словарь WordPiece со специальной обработкой для языков CJK для решения проблемы отсутствия пробелов. Многоязычная модель намеренно исключает языковые маркеры для обеспечения возможностей обучения без примеров (zero-shot learning).