Beschreibung
LIDstral Arabic ist ein ausgeklügelter Klassifikator für Sprachen und Dialekte, der für Texte in arabischer Schrift konzipiert wurde. Er ist in der Lage, modernes Standardarabisch, eine Vielzahl von arabischen Dialekten und nicht-arabische Sprachen, die dieselbe Schrift nutzen, zu identifizieren. Diese Fähigkeit ist entscheidend, um Sprachen zu unterscheiden, die sich eine Schrift teilen, und um Fehlklassifizierungen zu vermeiden, die ausschließlich auf dem Erscheinungsbild der Schrift basieren.
Weiterlesen
Das Modell verwendet eine Kombination aus einem fastText One-vs-All (OVA) Klassifikator, einem MLP-Stacker und einer isotonicen Kalibrierung pro Klasse. Der fastText OVA Klassifikator erzeugt unabhängige Werte für jede Klasse und hält Beweise für konkurrierende Sprachen und Dialekte bereit. Der MLP-Stacker, ein 64-Einheiten LayerNorm MLP, ordnet diese Werte Wahrscheinlichkeiten über die Klassen zu und nutzt dabei 144 Merkmale, die aus Rohwerten, vorherigen Korrekturen, Vertrauensmargen, Entropie und regionalen Zusammenfassungen abgeleitet sind.
Isotonische Regressoren pro Klasse werden auf Entwicklungsprognosen angepasst, um die MLP-Wahrscheinlichkeiten zu kalibrieren, die dann über die Klassen hinweg neu normalisiert werden. Dieser Kalibrierungsprozess kann sowohl das Vertrauen als auch das vorhergesagte Label verändern. Die gesamte Pipeline benötigt drei Dateien: lid_ova_full.bin, mlp_stacker_ln.pt und isotonic_calibration.pkl. Das Skript classify.py führt die Pipeline auf der CPU aus, einschließlich der Vorverarbeitung und Merkmalsextraktion, und liefert ein vorhergesagtes Label sowie kalibrierte Wahrscheinlichkeiten für alle 51 Klassen für jede Eingabe.
LIDstral Arabic wurde an 84.870 arabischen Beispielen aus verschiedenen Benchmarks evaluiert und erzielte einen F1-Score von 88,67 % auf marokkanischem Darija, was andere Modelle wie LahjatBERT ALDi CL und GlotLID v3 erheblich übertrifft. Das Modell weist jedoch immer eine seiner 51 unterstützten Klassen zu, was zu Fehlklassifizierungen von nicht unterstützten Sprachen oder mehrsprachigen Texten führen kann.
Das Modell ist unter der Apache 2.0 Lizenz lizenziert, und die Benutzer müssen sicherstellen, dass ihre Nutzung keine Rechte Dritter verletzt.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
LIDstral Arabic im Überblick
Klassifikation von Sprachen und Dialekten
Identifikation von modernem Standardarabisch
Identifikation von arabischen Dialekten
Unterscheidung nicht-arabischer Sprachen
fastText OVA Klassifikator
MLP-Stacker mit LayerNorm
Isotonische Kalibrierung pro Klasse
51 unterstützte Klassen
Erste Schritte mit LIDstral Arabic
Modell zugreifen: Repository herunterladen
Authentifizieren: Umgebung einrichten
Umgebung einrichten: Abhängigkeiten installieren
Über API integrieren: classify.py Skript verwenden
Optimieren: Wahrscheinlichkeiten kalibrieren
LIDstral Arabic's Anwendungsfälle
- Klassifikation arabischer Texte
- Dialektidentifikation
- Erkennung nicht-arabischer Sprachen
- Analyse mehrsprachiger Texte
- Sprachunterscheidung
