الوصف
Funnel-Transformer هو نموذج انتباه ذاتي مبتكر مصمم لتعزيز الكفاءة في معالجة اللغة عن طريق ضغط تسلسل الحالات المخفية بشكل تدريجي. هذا الضغط يقلل بشكل كبير من التكاليف الحسابية مع تمكين بناء نماذج ذات سعة أعلى، سواء كانت أعمق أو أوسع، لميزانية حسابية معينة. يكمن الابتكار الأساسي في قدرته على إعادة استثمار العمليات الحسابية (FLOPs) المحفوظة في تعقيد النموذج.
قراءة المزيد
علاوة على ذلك، يشتمل Funnel-Transformer على آلية فك تشفير تعيد بناء تمثيلات عميقة على مستوى الرموز من التسلسل المخفي المضغوط. هذه القدرة حاسمة لتمكين منهجيات التدريب المسبق القياسية، مما يجعل النموذج أكثر تنوعًا وقابلية للتطبيق على نطاق أوسع من مهام معالجة اللغة الطبيعية. يتم تقديم التفاصيل الفنية للنموذج والتحقق التجريبي في ورقة بحثية.
يوفر المشروع تطبيقات في كل من TensorFlow و PyTorch. تم تطوير إصدار TensorFlow خصيصًا للتدريب المسبق والضبط الدقيق على وحدات TPU، ويدعم مهام مثل الضبط الدقيق لمعيار GLUE، وتصنيف النصوص، و SQuAD، و RACE. يمثل تطبيق PyTorch مثالًا، ويدعم بشكل أساسي الضبط الدقيق على وحدات GPU لمعيار GLUE وتصنيف النصوص.
نماذج مدربة مسبقًا متاحة بأحجام وتكوينات مختلفة، بما في ذلك أعماق طبقات مختلفة وعدد وحدات مخفية. تتضمن كل حزمة نموذج نقطة تحقق TensorFlow أو PyTorch، وملف مفردات Word Piece للترميز، وملف تكوين يوضح المعلمات الفائقة للنموذج. يتم أيضًا توفير برنامج نصي لتنزيل جميع نقاط التحقق المتاحة. يتم تفصيل التعليمات الخاصة باستخدام النماذج المدربة مسبقًا والضبط الدقيق في ملفات README ذات الصلة داخل مجلدات TensorFlow و PyTorch.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ Funnel-Transformer
ضغط تدريجي للحالات المخفية
تقليل التكلفة الحسابية
زيادة سعة النموذج (العمق/العرض)
استعادة تمثيل على مستوى الرموز (token-level)
تمكين التدريب المسبق القياسي
تطبيق TensorFlow لوحدات TPU
تطبيق PyTorch لوحدات GPU
يدعم معيار GLUE، وتصنيف النصوص، و SQuAD، و RACE
توفر أحجام متعددة للنماذج المدربة مسبقًا
يشمل نقاط تحقق النموذج، والمفردات، وملفات التكوين
البدء مع Funnel-Transformer
الوصول إلى النموذج: احصل على كود Funnel-Transformer والنماذج المدربة مسبقًا من مستودع GitHub.
إعداد البيئة: قم بتثبيت التبعيات اللازمة إما لـ TensorFlow أو PyTorch.
التكامل عبر الكود: قم بتحميل نقاط تحقق النموذج وملفات التكوين في إطار العمل الذي اخترته.
ضبط النموذج بدقة: قم بتكييف النموذج لمهام محددة لاحقة باستخدام نصوص الضبط الدقيق المقدمة.
استخدام الأوزان المدربة مسبقًا: قم بتطبيق نقاط التحقق التي تم تنزيلها للاستدلال أو لمزيد من التدريب.
ترميز البيانات: استخدم مفردات Word Piece المقدمة لمعالجة النصوص المسبقة.
حالات استخدام Funnel-Transformer
- نمذجة لغوية فعالة
- تصنيف النصوص
- الإجابة على الأسئلة
- ضغط التسلسل
- التدريب المسبق القياسي
- البحث والتطوير
