Modèles Multilingues BERT

Le modèle BERT-Base, Multilingual Cased prend en charge 104 langues et présente une architecture à 12 couches avec 768 unités cachées, 12 têtes d'attention et 110 millions de paramètres. Ce modèle est recommandé en raison de sa normalisation améliorée pour de nombreuses langues, en particulier celles avec des alphabets non latins. Lors de l'utilisation de ce modèle, il est crucial de définir `--do_lower_case=false` dans les scripts d'exécution. Le modèle Multilingual Uncased, bien qu'il prenne en charge 102 langues avec la même architecture, n'est pas recommandé pour les nouveaux projets.

Pour les tâches en langue chinoise, un modèle BERT-Base, Chinese dédié est également disponible, prenant en charge le chinois simplifié et traditionnel. Bien que les modèles multilingues incluent le chinois, un modèle uniquement chinois peut donner de meilleurs résultats pour l'affinage spécifique au chinois. Les performances de ces modèles ont été évaluées sur le jeu de données XNLI, une tâche d'inférence en langage naturel interlingue. Les résultats indiquent que si les modèles à langue unique peuvent surpasser les modèles multilingues pour les langues à haute ressource, ces derniers offrent une solution pratique pour une couverture linguistique étendue sans avoir à maintenir de nombreux modèles à langue unique.

L'affinage des modèles BERT multilingues ne nécessite pas de changements d'API significatifs. Cependant, des mises à jour du `BasicTokenizer` peuvent être nécessaires pour la tokenisation des caractères chinois. Les modèles peuvent être intégrés dans des flux de travail à l'aide de scripts fournis comme `run_classifier.py`, qui a été mis à jour pour prendre en charge des jeux de données comme XNLI. La stratégie d'échantillonnage des données pour le pré-entraînement impliquait une pondération lissée exponentiellement des données de Wikipedia pour équilibrer les langues à haute et basse ressource, assurant une meilleure représentation pour tous. La tokenisation utilise un vocabulaire WordPiece partagé, avec une gestion spécifique pour les langues CJK afin de pallier l'absence d'espaces. Le modèle multilingue omet intentionnellement les marqueurs de langue pour faciliter les capacités d'apprentissage zero-shot.