الوصف
نموذج google/bigbird-roberta-base هو بنية محول متقدمة مصممة للتغلب على قيود طول التسلسل لنماذج BERT التقليدية. يحقق ذلك من خلال آلية انتباه متقطع مبتكرة (block sparse attention)، والتي تسمح له بمعالجة تسلسلات أطول بكثير، تصل إلى 4096 رمزًا، بتكلفة حسابية مخفضة بشكل كبير مقارنة بآليات الانتباه القياسية.
قراءة المزيد
تم تدريب هذا النموذج مسبقًا على مجموعة متنوعة من النصوص باللغة الإنجليزية، بما في ذلك الكتب، CC-News، القصص، ويكيبيديا، باستخدام هدف نمذجة اللغة المقنعة (MLM). يستفيد من نفس مفردات sentencepiece مثل RoBERTa، والتي تم استعارتها في الأصل من GPT2. تضمنت عملية التدريب تقسيم المستندات التي يزيد طولها عن 4096 رمزًا وربط المستندات الأصغر، مع إخفاء 15٪ من الرموز للتنبؤ، وتم بدء تشغيل النموذج من نقطة فحص RoBERTa.
يُفهم نظريًا أن الانتباه المتقطع لـ BigBird يتعامل مع قدرات المحول الكامل مع كونه أكثر كفاءة. هذا يجعله فعالًا بشكل خاص للمهام التي تتضمن سياقات طويلة جدًا، مثل تلخيص المستندات الطويلة والإجابة على الأسئلة بمدخلات نصية واسعة. قدم فريق Hugging Face بطاقة نموذج لهذا النموذج، حيث لم يقم الفريق الأصلي الذي أصدره بذلك.
يمكن للمستخدمين دمج هذا النموذج في سير عمل PyTorch الخاص بهم باستخدام مكتبة Hugging Face transformers. يمكن تهيئة النموذج في وضعه الافتراضي المتقطع (block-sparse) أو تكوينه بانتباه كامل. تتوفر أيضًا خيارات تخصيص لحجم الكتلة (block size) وعدد الكتل العشوائية، مما يسمح بالضبط الدقيق لآلية الانتباه لتلبية احتياجات الحوسبة والأداء المحددة. تجعل بنية النموذج وقدراته أداة قوية للباحثين والمطورين الذين يعملون مع بيانات نصية طويلة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح google/bigbird-roberta-base
بنية محول موسعة لتسلسلات أطول
آلية انتباه متقطع (block sparse attention)
يتعامل مع تسلسلات تصل إلى 4096 رمزًا
تم تدريبه مسبقًا على بيانات اللغة الإنجليزية
هدف نمذجة اللغة المقنعة (MLM)
يحقق نتائج متطورة في مهام التسلسلات الطويلة
حوسبة فعالة مقارنة بالانتباه القياسي
بدء التشغيل من نقطة فحص RoBERTa
أنواع انتباه قابلة للتخصيص (متقطع، كامل)
حجم كتلة قابل للتعديل وعدد الكتل العشوائية
البدء مع google/bigbird-roberta-base
الوصول إلى النموذج: استيراد BigBirdModel من مكتبة transformers.
إعداد البيئة: تأكد من تثبيت PyTorch.
تهيئة النموذج: تحميل نقطة فحص 'google/bigbird-roberta-base'.
تكوين الانتباه: اختياريًا، حدد 'attention_type' و 'block_size' و 'num_random_blocks'.
ترميز النص: استخدم مُرمّزًا لإعداد النص المدخل.
إنشاء المخرجات: مرر المدخلات المشفرة إلى النموذج لاستخراج الميزات.
حالات استخدام google/bigbird-roberta-base
- تلخيص المستندات الطويلة
- الإجابة على الأسئلة بسياق موسع
- تحليل النصوص
- استخراج المعلومات
- فهم المستندات
