الوصف
يقدم مشروع BERT (Bidirectional Encoder Representations from Transformers) نماذج مُدربة مسبقًا لمهام معالجة اللغة الطبيعية. من بين عروضه نماذج متعددة اللغات مصممة للتعامل مع مجموعة واسعة من اللغات، مما يتيح الفهم والتطبيقات عبر اللغات. حاليًا، يتوفر نموذجان رئيسيان متعددَي اللغات: BERT-Base, Multilingual Cased (جديد، موصى به) و BERT-Base, Multilingual Uncased (أصلي، غير موصى به).
قراءة المزيد
يدعم نموذج BERT-Base, Multilingual Cased 104 لغات ويتميز ببنية من 12 طبقة مع 768 وحدة مخفية، و 12 رأس انتباه، و 110 مليون معامل. يُوصى بهذا النموذج نظرًا لتحسين تطبيعه للعديد من اللغات، خاصة تلك التي تحتوي على أبجديات غير لاتينية. عند استخدام هذا النموذج، من الضروري تعيين `--do_lower_case=false` في نصوص التشغيل. نموذج Multilingual Uncased، على الرغم من دعمه لـ 102 لغة بنفس البنية، إلا أنه غير موصى به للمشاريع الجديدة.
بالنسبة لمهام اللغة الصينية، يتوفر أيضًا نموذج BERT-Base, Chinese مخصص، يدعم الصينية المبسطة والتقليدية. بينما تتضمن النماذج متعددة اللغات اللغة الصينية، قد يوفر نموذج صيني فقط نتائج أفضل للضبط الدقيق الخاص باللغة الصينية. تم تقييم أداء هذه النماذج على مجموعة بيانات XNLI، وهي مهمة استدلال لغوي طبيعي عبر اللغات. تشير النتائج إلى أنه بينما قد تتفوق النماذج أحادية اللغة على النماذج متعددة اللغات للغات ذات الموارد العالية، فإن الأخيرة توفر حلاً عمليًا لتغطية لغوية واسعة دون الحاجة إلى صيانة العديد من النماذج أحادية اللغة.
لا يتطلب ضبط نماذج BERT متعددة اللغات تغييرات كبيرة في واجهة برمجة التطبيقات (API). ومع ذلك، قد تكون التحديثات على `BasicTokenizer` ضرورية لترميز الأحرف الصينية. يمكن دمج النماذج في سير العمل باستخدام النصوص البرمجية المتوفرة مثل `run_classifier.py`، والتي تم تحديثها لدعم مجموعات بيانات مثل XNLI. تضمنت استراتيجية أخذ عينات البيانات للتدريب المسبق ترجيحًا مُخففًا أسيًا لبيانات ويكيبيديا لموازنة اللغات ذات الموارد العالية والمنخفضة، مما يضمن تمثيلاً أفضل للجميع. يستخدم الترميز مفردات WordPiece مشتركة، مع معالجة محددة للغات CJK لمعالجة غياب المسافات البيضاء. يتجنب النموذج متعدد اللغات عمدًا علامات اللغة لتسهيل قدرات التعلم الصفري (zero-shot learning).
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح نماذج BERT متعددة اللغات
يدعم 104 لغات (Multilingual Cased)
يدعم 102 لغة (Multilingual Uncased)
بنية Transformer من 12 طبقة
768 وحدة مخفية
12 رأس انتباه
110 مليون معامل
نموذج Multilingual Cased موصى به لتحسين التطبيع
قدرة التعلم الصفري (Zero-shot learning)
دعم الضبط الدقيق للمهام المحددة
مُدرب مسبقًا على بيانات ويكيبيديا
مفردات WordPiece مشتركة
يعالج لغات CJK بترميز الأحرف
كود TensorFlow مفتوح المصدر متاح
البدء مع نماذج BERT متعددة اللغات
الوصول إلى النموذج: قم بتنزيل نماذج BERT متعددة اللغات المُدربة مسبقًا.
إعداد البيئة: قم بتثبيت TensorFlow والتبعيات اللازمة.
الدمج عبر API: قم بتحميل النماذج والمُرمّزات باستخدام المكتبات المتوفرة.
إعداد البيانات: قم بتنسيق بيانات النص متعددة اللغات للتدريب أو الاستدلال.
الضبط الدقيق: قم بتكييف النموذج لمهام المصب المحددة مثل التصنيف أو الإجابة على الأسئلة.
تشغيل الاستدلال: استخدم النموذج المضبوط بدقة لمعالجة بيانات نصية جديدة.
تقييم الأداء: قم بتقييم دقة النموذج على معايير قياسية متعددة اللغات ذات الصلة.
حالات استخدام نماذج BERT متعددة اللغات
- التصنيف عبر اللغات
- تحليل المشاعر متعدد اللغات
- نقل التعلم الصفري عبر اللغات
- تقييم الترجمة الآلية
- الإجابة على الأسئلة متعددة اللغات
- استرجاع المعلومات عبر اللغات
- الاستدلال اللغوي الطبيعي
