Descripción
LIDstral Arabic es un clasificador de lenguas y dialectos sofisticado diseñado para textos escritos en guion árabe. Es capaz de identificar el árabe estándar moderno, una amplia gama de dialectos árabes y lenguas no árabes que utilizan el mismo guion. Esta capacidad es crucial para distinguir lenguas que comparten un guion, evitando la clasificación errónea basada únicamente en la apariencia del guion.
Leer más
El modelo emplea una combinación de un clasificador fastText one-vs-all (OVA), un apilador MLP y calibración isotónica por clase. El clasificador fastText OVA genera puntuaciones independientes para cada clase, manteniendo evidencia para lenguas y dialectos en competencia. El apilador MLP, un MLP de 64 unidades con LayerNorm, mapea estas puntuaciones a probabilidades a través de las clases, utilizando 144 características derivadas de puntuaciones brutas, correcciones previas, márgenes de confianza, entropía y resúmenes regionales.
Los regresores isotónicos por clase se ajustan a las predicciones de desarrollo para calibrar las probabilidades del MLP, que luego se renormalizan a través de las clases. Este proceso de calibración puede alterar tanto la confianza como la etiqueta predicha. El pipeline completo requiere tres archivos: lid_ova_full.bin, mlp_stacker_ln.pt e isotonic_calibration.pkl. El script classify.py ejecuta el pipeline en CPU, incluyendo preprocesamiento y extracción de características, proporcionando una etiqueta predicha y probabilidades calibradas sobre las 51 clases para cada entrada.
LIDstral Arabic ha sido evaluado en 84,870 ejemplos árabes de varios benchmarks, logrando un puntaje F1 del 88.67% en el darija marroquí, superando significativamente a otros modelos como LahjatBERT ALDi CL y GlotLID v3. Sin embargo, el modelo siempre asigna una de sus 51 clases soportadas, lo que puede llevar a la clasificación errónea de lenguas no soportadas o textos en lenguas mixtas.
El modelo está licenciado bajo la Licencia Apache 2.0, y los usuarios deben asegurarse de que su uso no infrinja los derechos de terceros.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de LIDstral Arabic
Clasificación de lenguas y dialectos
Identificación del árabe estándar moderno
Identificación de dialectos árabes
Distinción de lenguas no árabes
Clasificador fastText OVA
Apilador MLP con LayerNorm
Calibración isotónica por clase
51 clases soportadas
Primeros pasos con LIDstral Arabic
Acceder al modelo: Descargar el repositorio
Autenticarse: Configurar el entorno
Configurar el entorno: Instalar dependencias
Integrar a través de API: Usar el script classify.py
Optimizar: Calibrar probabilidades
Casos de uso de LIDstral Arabic
- Clasificación de Texto Árabe
- Identificación de Dialectos
- Detección de Lenguas No Árabes
- Análisis de Texto Multilingüe
- Distinción Lingüística
