Modelos Multilingües BERT

El modelo BERT-Base, Multilingual Cased soporta 104 idiomas y presenta una arquitectura de 12 capas con 768 unidades ocultas, 12 cabezas de atención y 110 millones de parámetros. Este modelo es recomendado debido a su normalización mejorada para muchos idiomas, particularmente aquellos con alfabetos no latinos. Al usar este modelo, es crucial establecer `--do_lower_case=false` en los scripts de ejecución. El modelo Multilingual Uncased, aunque soporta 102 idiomas con la misma arquitectura, no se recomienda para nuevos proyectos.

Para tareas de idioma chino, también está disponible un modelo dedicado BERT-Base, Chinese, que soporta chino simplificado y tradicional. Si bien los modelos multilingües incluyen el chino, un modelo solo para chino puede ofrecer mejores resultados para el ajuste fino específico del chino. El rendimiento de estos modelos se ha evaluado en el conjunto de datos XNLI, una tarea de inferencia del lenguaje natural interlingüística. Los resultados indican que, si bien los modelos de un solo idioma pueden superar a los modelos multilingües para idiomas de altos recursos, estos últimos ofrecen una solución práctica para una amplia cobertura de idiomas sin la necesidad de mantener numerosos modelos de un solo idioma.

El ajuste fino de los modelos BERT multilingües no requiere cambios significativos en la API. Sin embargo, pueden ser necesarias actualizaciones en el `BasicTokenizer` para la tokenización de caracteres chinos. Los modelos se pueden integrar en flujos de trabajo utilizando scripts proporcionados como `run_classifier.py`, que se ha actualizado para soportar conjuntos de datos como XNLI. La estrategia de muestreo de datos para el pre-entrenamiento implicó una ponderación suavizada exponencialmente de los datos de Wikipedia para equilibrar idiomas de altos y bajos recursos, asegurando una mejor representación para todos. La tokenización utiliza un vocabulario compartido de WordPiece, con un manejo específico para idiomas CJK para abordar la ausencia de espacios en blanco. El modelo multilingüe omite intencionalmente marcadores de idioma para facilitar las capacidades de aprendizaje zero-shot.