الوصف
SpanBERT هو نموذج ذكاء اصطناعي متقدم طورته Facebook Research، وهو مصمم لتعزيز تقنيات التدريب المسبق من خلال التركيز على تمثيل وتنبؤ المقاطع النصية. يوفر هذا المستودع التعليمات البرمجية والنماذج اللازمة للباحثين والمطورين لاستخدام وتقييم قدرات SpanBERT.
قراءة المزيد
يقدم المشروع نماذج مُدربة مسبقًا في نسختين أساسية وكبيرة مع مراعاة حالة الأحرف. تشترك هذه النماذج في نفس تكوين BERT ولكنها تتضمن مخططات إخفاء وأهداف تدريب مميزة، كما هو مفصل في الورقة البحثية المصاحبة. يتميز نموذج SpanBERT (الأساسي والحالة) ببنية من 12 طبقة مع 768 وحدة مخفية و 12 رأسًا، بإجمالي 110 مليون معامل. يمتلك نموذج SpanBERT الأكبر (الكبير والحالة) بنية من 24 طبقة، و 1024 وحدة مخفية، و 16 رأسًا، و 340 مليون معامل. تم تصميم هذه النماذج للتكامل السلس، حيث تتبنى تنسيق نماذج HuggingFace BERT، مما يسمح بالاستبدال السهل.
يتضمن هذا المستودع تعليمات برمجية شاملة لضبط SpanBERT بدقة لمجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP). يتم توفير نصوص برمجية محددة للضبط الدقيق على مجموعات بيانات الإجابة على الأسئلة SQuAD 1.1 و SQuAD 2.0، و TACRED لاستخراج العلاقات، ومعايير MRQA التي تشمل مجموعات بيانات مثل NewsQA، و TriviaQA، و SearchQA، و HotpotQA، و NaturalQuestions. بالإضافة إلى ذلك، تتوفر تعليمات برمجية للضبط الدقيق على مهام GLUE، مثل RTE. بالنسبة لمهام حل الإسناد المتماثل، يتم ربط تطبيق TensorFlow منفصل.
يتم عرض معايير الأداء، مما يوضح النتائج المتفوقة لـ SpanBERT مقارنة بـ BERT على مجموعات بيانات SQuAD 1.1، و SQuAD 2.0، و Coref، و TACRED. على سبيل المثال، يحقق SpanBERT (الكبير) درجة F1 تبلغ 94.6 على SQuAD 1.1 و 88.7 على SQuAD 2.0، متفوقًا على BERT (الكبير). يسهل المشروع أيضًا تنزيل النماذج المضبوطة بدقة للمهام اللاحقة، مما يبسط عملية التبني للمستخدمين.
تم إصدار SpanBERT بموجب ترخيص CC-BY-NC 4.0، والذي ينطبق على كل من التعليمات البرمجية والنماذج المُدربة مسبقًا. هذا يجعله متاحًا للبحث والتطوير غير التجاري. يشجع المستودع على المساهمات ويوفر معلومات الاتصال للاستفسارات والدعم.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ SpanBERT
نماذج SpanBERT مُدربة مسبقًا (أساسية وكبيرة، مع مراعاة حالة الأحرف)
تعليمات برمجية لاستخدام وتقييم SpanBERT
نصوص برمجية للضبط الدقيق لـ SQuAD 1.1 و SQuAD 2.0
نصوص برمجية للضبط الدقيق لاستخراج العلاقات TACRED
نصوص برمجية للضبط الدقيق لمجموعات بيانات MRQA (NewsQA، TriviaQA، إلخ.)
نصوص برمجية للضبط الدقيق لمهام GLUE (RTE)
التوافق مع تنسيقات نماذج HuggingFace BERT
تعليمات برمجية متاحة للضبط الدقيق لحل الإسناد المتماثل
معايير أداء مقارنة بـ BERT
نماذج مضبوطة بدقة قابلة للتنزيل للمهام اللاحقة
تنفيذ ورقة SpanBERT: تحسين التدريب المسبق عن طريق تمثيل وتنبؤ المقاطع
البدء مع SpanBERT
الوصول إلى التعليمات البرمجية: استنساخ مستودع SpanBERT على GitHub.
إعداد البيئة: تثبيت التبعيات المطلوبة، بما في ذلك Apex (يوصى بإصدار محدد).
تحميل النماذج المُدربة مسبقًا: استخدام النصوص البرمجية المقدمة لتحميل نماذج SpanBERT الأساسية أو الكبيرة مع مراعاة حالة الأحرف.
ضبط النماذج بدقة: تشغيل النصوص البرمجية Python المقدمة لمهام مثل SQuAD، و TACRED، و MRQA، أو GLUE.
التكامل عبر API: تكييف استخدام النموذج للتطبيقات المخصصة، والاستفادة من التوافق مع HuggingFace.
تقييم الأداء: تشغيل نصوص التقييم لتقييم أداء النموذج على مهام معالجة اللغة الطبيعية المحددة.
تنزيل النماذج المضبوطة بدقة: استخدام النصوص البرمجية المقدمة للحصول على النماذج المُدربة مسبقًا للمهام اللاحقة.
حالات استخدام SpanBERT
- الإجابة على الأسئلة
- استخراج العلاقات
- حل الإسناد المتماثل
- فهم اللغة الطبيعية
- تنبؤ المقاطع النصية
- البحث والتطوير
- تقييم المعايير
