الوصف
MPNet، الذي طورته Microsoft، يرمز إلى التدريب المسبق المقنع والمتبادل لفهم اللغة (Masked and Permuted Pre-training for Language Understanding). تعالج طريقة التدريب المسبق المبتكرة هذه القيود الموجودة في النماذج الحالية مثل نمذجة اللغة المقنعة (MLM) في BERT ونمذجة اللغة المتبادلة (PLM) في XLNet، مما يحقق دقة فائقة في معايير فهم اللغة.
قراءة المزيد
يوفر المشروع رؤية موحدة وتطبيقًا للعديد من نماذج التدريب المسبق، بما في ذلك BERT و XLNet و MPNet نفسه. يتضمن تعليمات برمجية شاملة لكل من التدريب المسبق لنماذج جديدة والضبط الدقيق للنماذج الحالية لمجموعة واسعة من مهام فهم اللغة. تشمل المهام المدعومة المعايير الشائعة مثل GLUE و SQuAD و RACE، مما يجعلها أداة متعددة الاستخدامات لباحثي ومطوري معالجة اللغة الطبيعية.
التثبيت مباشر، بالاستفادة من قاعدة تعليمات fairseq البرمجية. يمكن للمستخدمين تثبيت المكونات الضرورية عبر pip. تتطلب مجموعة الأدوات PyTorch Transformers و SciPy و Scikit-learn. تتضمن عملية التدريب المسبق معالجة البيانات المسبقة، بما في ذلك الترميز والتحويل الثنائي، تليها عملية التدريب المسبق الفعلية لنموذج MPNet باستخدام البرامج النصية والتكوينات المقدمة.
يوفر MPNet مرونة في نهج التدريب المسبق الخاص به. يمكن للمستخدمين تحديد أوضاع الإدخال مثل MLM أو PLM لتدريب نماذج اللغة المقنعة أو نماذج اللغة المتبادلة، على التوالي. تشمل الخيارات المتقدمة استخدام تضمينات الموضع النسبي والترميز الكامل للكلمة عن طريق ضبط بنية النموذج وحجج سطر الأوامر. كما يوفر المشروع نماذج MPNet مدربة مسبقًا محدثة للضبط الدقيق المباشر على المهام اللاحقة.
يعتمد المشروع على fairseq-0.8.0، مع الاعتراف بمساهمته. بالنسبة لأولئك الذين يجدون مجموعة الأدوات مفيدة، يتم توفير تفاصيل الاستشهاد لورقة MPNet. يتم أيضًا سرد الأعمال ذات الصلة وأطر التدريب المسبق البديلة، مما يوفر سياقًا أوسع ضمن مشهد أبحاث معالجة اللغة الطبيعية. يعمل هذا المستودع كمورد قيم لتعزيز قدرات فهم اللغة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتLinux, macOS, Windows
الميزات الأساسية لـ MPNet
طريقة التدريب المسبق المقنع والمتبادل
يحسن الدقة مقارنة بـ BERT و XLNet
تطبيق موحد لنماذج التدريب المسبق (BERT، XLNet، MPNet)
تعليمات برمجية للتدريب المسبق والضبط الدقيق
يدعم معايير GLUE و SQuAD و RACE
مبني على قاعدة تعليمات fairseq البرمجية
يوفر نماذج مدربة مسبقًا محدثة
يدعم أوضاع الإدخال MLM و PLM
خيار لتضمين الموضع النسبي
خيار للترميز الكامل للكلمة
البدء مع MPNet
تثبيت التبعيات: pip install fairseq pytorch_transformers==1.0.0 transformers scipy sklearn
معالجة البيانات مسبقًا: ترميز المجموعة باستخدام encode.py وتحويلها إلى ثنائي باستخدام fairseq-preprocess
التدريب المسبق لـ MPNet: تشغيل fairseq-train مع معلمات محددة للتحديثات الإجمالية، ومعدل التعلم، وحجم الدفعة، وما إلى ذلك.
تحميل النموذج المدرب مسبقًا: استخدام MPNet.from_pretrained من fairseq.models.masked_permutation_net
الضبط الدقيق على المهام اللاحقة: تكييف النموذج المدرب مسبقًا لمهام معالجة اللغة الطبيعية المحددة مثل GLUE أو SQuAD
حالات استخدام MPNet
- فهم اللغة
- نماذج التدريب المسبق
- الضبط الدقيق لنماذج معالجة اللغة الطبيعية
- أداء المعايير
- أبحاث معالجة اللغة الطبيعية
