Description
LIDstral Arabic est un classificateur de langues et de dialectes sophistiqué conçu pour le texte écrit en script arabe. Il est capable d'identifier l'arabe standard moderne, une large gamme de dialectes arabes et des langues non arabes qui utilisent le même script. Cette capacité est cruciale pour distinguer les langues partageant un script, évitant ainsi la mauvaise classification basée uniquement sur l'apparence du script.
Lire la suite
Le modèle utilise une combinaison d'un classificateur fastText one-vs-all (OVA), d'un empileur MLP et d'une calibration isotone par classe. Le classificateur fastText OVA génère des scores indépendants pour chaque classe, maintenant des preuves pour les langues et dialectes concurrents. L'empileur MLP, un MLP LayerNorm de 64 unités, mappe ces scores en probabilités à travers les classes, utilisant 144 caractéristiques dérivées des scores bruts, des corrections antérieures, des marges de confiance, de l'entropie et des résumés régionaux.
Des régressions isotones par classe sont ajustées sur les prédictions de développement pour calibrer les probabilités MLP, qui sont ensuite renormalisées à travers les classes. Ce processus de calibration peut modifier à la fois la confiance et l'étiquette prédite. L'ensemble du pipeline nécessite trois fichiers : lid_ova_full.bin, mlp_stacker_ln.pt et isotonic_calibration.pkl. Le script classify.py exécute le pipeline sur CPU, y compris le prétraitement et l'extraction de caractéristiques, fournissant une étiquette prédite et des probabilités calibrées sur les 51 classes pour chaque entrée.
LIDstral Arabic a été évalué sur 84 870 exemples arabes provenant de divers benchmarks, atteignant un score F1 de 88,67 % sur le Darija marocain, surpassant significativement d'autres modèles comme LahjatBERT ALDi CL et GlotLID v3. Cependant, le modèle attribue toujours l'une de ses 51 classes prises en charge, ce qui peut entraîner une mauvaise classification des langues non prises en charge ou des textes en langues mixtes.
Le modèle est sous licence Apache 2.0, et les utilisateurs doivent s'assurer que leur utilisation ne porte pas atteinte aux droits des tiers.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de LIDstral Arabic
Classification des langues et des dialectes
Identification de l'arabe standard moderne
Identification des dialectes arabes
Distinction des langues non arabes
Classificateur fastText OVA
Empileur MLP avec LayerNorm
Calibration isotone par classe
51 classes prises en charge
Premiers pas avec LIDstral Arabic
Accéder au modèle : Télécharger le dépôt
S'authentifier : Configurer l'environnement
Configurer l'environnement : Installer les dépendances
Intégrer via API : Utiliser le script classify.py
Optimiser : Calibrer les probabilités
Cas d'utilisation de LIDstral Arabic
- Classification de texte arabe
- Identification de dialecte
- Détection de langues non arabes
- Analyse de texte multilingue
- Distinction linguistique
