الوصف
ConvBERT هي بنية نموذج لغة للتدريب المسبق تعزز نماذج BERT التقليدية من خلال دمج الالتفاف الديناميكي القائم على الامتداد. يهدف هذا النهج إلى تحسين كفاءة النموذج وأدائه في فهم اللغة البشرية وتوليدها. التنفيذ الرسمي وقاعدة الكود لـ ConvBERT متاحان للجمهور على GitHub، وتديره منظمة yitu-opensource.
قراءة المزيد
يقدم المستودع موارد شاملة للباحثين والمطورين المهتمين بالاستفادة من ConvBERT أو المساهمة فيه. يتضمن تعليمات مفصلة لكل من التدريب المسبق لنموذج ConvBERT من الصفر وضبط نموذج مدرب مسبقًا لمهام محددة لاحقة، مثل تلك الموجودة في معيار GLUE. تم تطوير الكود واختباره باستخدام TensorFlow الإصدار 1.15 وهو متوافق مع بيئات Python 3.
للتدريب المسبق، يحدد المستودع خطوات لبناء نموذج ConvBERT متوسط الصغر (حوالي 17 مليون معلمة) باستخدام مجموعة بيانات OpenWebText. تتضمن هذه العملية إعداد البيانات باستخدام البرامج النصية المقدمة مثل `build_data.sh` و `build_openwebtext_pretraining_dataset.py`، تليها تدريب النموذج عبر `pretrain.sh`. يوجه قسم الضبط الدقيق المستخدمين حول تكييف نموذج ConvBERT مدرب مسبقًا لمهام مثل GLUE، ويوفر برامج نصية مثل `download_glue_data.py` و `finetune.sh`. تسمح ملفات التكوين مثل `configure_pretraining.py` و `configure_finetuning.py` بتخصيص المعلمات الفائقة.
يعتمد المشروع على قاعدة كود ELECTRA ويتضمن تطبيقات التفاف ديناميكي. تم تفصيل بنية ConvBERT في ورقة NeurIPS 2020 بعنوان "ConvBERT: Improving BERT with Span-based Dynamic Convolution". يسرد المستودع أيضًا التبعيات، بما في ذلك TensorFlow و NumPy و scikit-learn، ويوفر روابط لنماذج مدربة مسبقًا للراحة. تعزز هذه المبادرة مفتوحة المصدر التعاون والتقدم في مجال معالجة اللغات الطبيعية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ ConvBERT
بنية التفاف ديناميكي قائم على الامتداد
تدريب نماذج اللغة مسبقًا
الضبط الدقيق للمهام اللاحقة (مثل GLUE)
التوافق مع TensorFlow 1.15
دعم Python 3
كود مفتوح المصدر متاح على GitHub
يتضمن برامج نصية لبناء البيانات وتدريب النموذج
تعليمات مفصلة للتدريب المسبق والضبط الدقيق
تم اختبار النموذج على وحدة معالجة رسومات V100
يشير إلى ورقة NeurIPS 2020 لوصف مفصل
قاعدة كود مبنية على ELECTRA
يوفر روابط لنماذج مدربة مسبقًا
البدء مع ConvBERT
الوصول إلى الكود: استنسخ مستودع ConvBERT من GitHub.
إعداد البيئة: قم بتثبيت Python 3 و TensorFlow 1.15 و NumPy و scikit-learn.
تدريب النموذج مسبقًا: قم بتنزيل مجموعة بيانات OpenWebText، وقم بتشغيل `build_data.sh` و `pretrain.sh`.
ضبط النموذج بدقة: قم بتنزيل بيانات GLUE، وقم بتشغيل `download_glue_data.py` و `finetune.sh`.
تكوين المعلمات الفائقة: قم بتعديل الإعدادات في `configure_pretraining.py` أو `configure_finetuning.py`.
دمج النموذج: استخدم البرامج النصية المقدمة والأوزان المدربة مسبقًا لمهام معالجة اللغات الطبيعية الخاصة بك.
حالات استخدام ConvBERT
- التدريب المسبق لنماذج اللغة
- تصنيف النصوص
- فهم اللغة الطبيعية
- تسمية التسلسلات
- الإجابة على الأسئلة
- توليد النصوص
- البحث والتطوير
