الوصف
LIDstral Arabic هو مصنف متقدم للغات واللهجات مصمم للنصوص المكتوبة باللغة العربية. لديه القدرة على تحديد العربية الفصحى الحديثة، ومجموعة واسعة من اللهجات العربية، واللغات غير العربية التي تستخدم نفس الكتابة. هذه القدرة ضرورية لتمييز اللغات التي تشترك في الكتابة، مما يمنع التصنيف الخاطئ بناءً فقط على مظهر الكتابة.
قراءة المزيد
يستخدم النموذج مزيجًا من مصنف fastText OVA، ومكدس MLP، ومعايرة إيزوتونية لكل فئة. يقوم مصنف fastText OVA بتوليد درجات مستقلة لكل فئة، مع الحفاظ على الأدلة للغات واللهجات المتنافسة. يقوم مكدس MLP، وهو MLP مكون من 64 وحدة مع LayerNorm، بتحويل هذه الدرجات إلى احتمالات عبر الفئات، باستخدام 144 ميزة مستمدة من الدرجات الخام، والتصحيحات السابقة، وهوامش الثقة، والانتروبيا، والملخصات الإقليمية.
تُركب الانحدارات الإيزوتونية لكل فئة على التوقعات التطويرية لمعايرة احتمالات MLP، والتي يتم إعادة تطبيعها عبر الفئات. يمكن أن تؤثر هذه العملية على كل من الثقة والتسمية المتوقعة. تتطلب سلسلة العمليات ثلاثة ملفات: lid_ova_full.bin، mlp_stacker_ln.pt، وisotonic_calibration.pkl. يقوم سكربت classify.py بتشغيل السلسلة على وحدة المعالجة المركزية، بما في ذلك المعالجة المسبقة واستخراج الميزات، مما يوفر تسمية متوقعة واحتمالات معايرة عبر جميع الفئات الـ 51 لكل إدخال.
تم تقييم LIDstral Arabic على 84,870 مثالًا عربيًا من معايير مختلفة، محققًا درجة F1 تبلغ 88.67% على الدارجة المغربية، متفوقًا بشكل كبير على نماذج أخرى مثل LahjatBERT ALDi CL وGlotLID v3. ومع ذلك، يقوم النموذج دائمًا بتعيين واحدة من فئاته الـ 51 المدعومة، مما قد يؤدي إلى تصنيف خاطئ للغات غير المدعومة أو النصوص متعددة اللغات.
النموذج مرخص بموجب رخصة Apache 2.0، ويجب على المستخدمين التأكد من أن استخدامهم لا ينتهك حقوق الأطراف الثالثة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح LIDstral Arabic
تصنيف اللغات واللهجات
تحديد العربية الفصحى الحديثة
تحديد اللهجات العربية
تمييز اللغات غير العربية
مصنف fastText OVA
مكدس MLP مع LayerNorm
معايرة إيزوتونية لكل فئة
51 فئة مدعومة
البدء مع LIDstral Arabic
الوصول إلى النموذج: تحميل المستودع
المصادقة: إعداد البيئة
إعداد البيئة: تثبيت التبعيات
التكامل عبر API: استخدام سكربت classify.py
تحسين: معايرة الاحتمالات
حالات استخدام LIDstral Arabic
- تصنيف النصوص العربية
- تحديد اللهجات
- كشف اللغات غير العربية
- تحليل النصوص متعددة اللغات
- تمييز اللغات
