UL2 20B

الوصف

يمثل UL2 20B تقدمًا كبيرًا في التدريب المسبق لنماذج اللغة، حيث يقدم إطارًا موحدًا يعزز الأداء عبر مهام وإعدادات متنوعة. تم تطوير هذا النموذج مفتوح المصدر بواسطة Google Research، ويعالج قيود النماذج الحالية، التي غالبًا ما تتفوق في الضبط الدقيق أو التعلم في السياق بالقليل من الأمثلة ولكنها تكافح مع الآخر.

عادةً ما تقع نماذج اللغة التقليدية ضمن فئتين: معماريات فك التشفير ذاتية الانحدار فقط (مثل GPT-3) التي تتنبأ بالكلمة التالية، ومعماريات فك التشفير المشفرة المستندة إلى تلف النطاق (مثل T5) التي تستعيد النص المقنع. في حين أن نماذج ذاتية الانحدار بارعة في التوليد المفتوح والتعلم المستند إلى المطالبات، إلا أنها قد يكون أداؤها أقل في مهام الضبط الدقيق. على العكس من ذلك، فإن نماذج مثل T5 تعمل بشكل جيد في الضبط الدقيق المراقب ولكنها أقل فعالية في سيناريوهات القليل من الأمثلة. يسد UL2 هذه الفجوة من خلال توحيد هذه الأساليب.

الابتكار الأساسي لـ UL2 يكمن في نموذجه الجديد للتدريب المسبق، وهو متعلم اللغة الموحد (UL2). يؤطر هذا الإطار أهداف التدريب المختلفة كمهام إزالة التشويش، حيث يتعلم النموذج إعادة بناء التسلسلات الفرعية المفقودة من نص الإدخال. أثناء التدريب المسبق، يستخدم UL2 مزيجًا فريدًا من مزيلات التشويش، ويأخذ عينات من مجموعة متنوعة من الأهداف بتكوينات مختلفة. يسمح هذا النهج للنموذج بالاستفادة من نقاط القوة في استراتيجيات التدريب المتعددة في وقت واحد، مما يخفف من نقاط الضعف الفردية.

يشمل مزيج مزيلات التشويش في UL2 ثلاث مهام رئيسية: إزالة التشويش R (تلف النطاق القياسي)، إزالة التشويش X (تلف النطاق المتطرف)، وإزالة التشويش S (PrefixLM المتسلسل). من خلال أخذ عينات من هذه المهام بناءً على نسب يحددها المستخدم وإلحاق رمز النموذج (مثل [R]، [X]، [S]) للإشارة إلى المهمة، يقوم UL2 بتدريب نموذج لغة أكثر تنوعًا وقوة. يؤدي هذا النهج الموحد إلى تحسين الأداء في التوليد، وفهم اللغة، والاسترجاع، وفهم النصوص الطويلة، والإجابة على الأسئلة.

يُظهر نموذج UL2 20B، بـ 20 مليار معامل له، قدرات استثنائية في المطالبات بالقليل من الأمثلة والتفكير المتسلسل (CoT). إنه يتفوق على النماذج الأخرى المتطورة مثل PaLM و T5 في مهام مثل التلخيص بأمثلة قليلة (XSUM)، محققًا درجات ROUGE فائقة. علاوة على ذلك، يتيح UL2 20B المطالبات والتفكير المتسلسل على نطاق متاح، مما يجعل تقنيات التفكير المتقدمة متاحة لمجتمع بحثي أوسع. يهدف الإصدار العام لنقاط فحص UL2 20B إلى تسريع التقدم في تطوير نماذج لغة أفضل داخل مجتمع التعلم الآلي.

أبرز ملامح UL2 20B

• نموذج تعلم لغوي موحد

• هدف التدريب المسبق بمزيج من مزيلات التشويش

• يدعم مهام إزالة التشويش R و X و S

• يحسن الأداء في مهام الضبط الدقيق

• يعزز قدرات التعلم في السياق بالقليل من الأمثلة

• يتفوق في التوليد المفتوح

• أداء قوي في فهم اللغة

• فعال لمهام الاسترجاع

• قادر على فهم النصوص الطويلة

• يساعد في مهام الإجابة على الأسئلة

• نقاط فحص نموذج 20 مليار معامل تم إصدارها علنًا

• يتيح المطالبات المتسلسلة (CoT)

• يسهل التفكير على نطاق متاح

البدء مع UL2 20B

1. 1

   الوصول إلى النموذج: الحصول على نقاط فحص نموذج UL2 20B.

2. 2

   إعداد البيئة: تكوين المكتبات والبنية التحتية اللازمة.

3. 3

   التكامل عبر API: تحميل النموذج وإعداد بيانات الإدخال.

4. 4

   تحديد المهمة: تحديد مهمة اللغة المطلوبة (مثل التلخيص، الإجابة على الأسئلة).

5. 5

   تشغيل الاستدلال: معالجة بيانات الإدخال عبر النموذج.

6. 6

   تقييم النتائج: تحليل مخرجات النموذج للأداء.

حالات استخدام UL2 20B

• التعلم بالقليل من الأمثلة
• توليد النصوص
• فهم اللغة
• الإجابة على الأسئلة
• التلخيص
• مهام التفكير
• استرجاع المعلومات

الأسئلة الشائعة من UL2 20B

• ما هو UL2 20B؟

  UL2 20B هو نموذج تعلم لغوي موحد مفتوح المصدر طورته Google Research يوحد نماذج لغوية مختلفة لتحسين الأداء عبر مهام مختلفة.

• كيف يوحد UL2 20B نماذج التعلم اللغوي؟

  يؤطر UL2 20B أهداف التدريب المختلفة كمهام إزالة التشويش ويستخدم مزيجًا من مزيلات التشويش أثناء التدريب المسبق، مما يسمح له بالاستفادة من نقاط القوة من أساليب متعددة.

• ما هي فوائد UL2 20B مقارنة بالنماذج التقليدية؟

  يقدم UL2 20B أداءً متوازنًا عبر مهام الضبط الدقيق والتعلم في السياق بالقليل من الأمثلة، على عكس النماذج التقليدية التي غالبًا ما تتفوق في واحدة فقط.

• ما هي أنواع مهام إزالة التشويش التي يستخدمها UL2 20B؟

  يستخدم UL2 20B إزالة التشويش R (تلف النطاق العادي)، وإزالة التشويش X (تلف النطاق المتطرف)، وإزالة التشويش S (PrefixLM المتسلسل).

• ما هي المهام التي يؤديها UL2 20B بشكل جيد؟

  يتفوق UL2 20B في التوليد، وفهم اللغة، والاسترجاع، وفهم النصوص الطويلة، والإجابة على الأسئلة، ومهام الضبط الدقيق، والتعلم بالقليل من الأمثلة.

• هل UL2 20B متاح للجمهور؟

  نعم، أصدرت Google Research علنًا نقاط فحص نموذج UL2 ذي الـ 20 مليار معامل.

• هل يمكن استخدام UL2 20B للمطالبات المتسلسلة؟

  نعم، يُظهر UL2 20B قدرات رائعة في المطالبات والتفكير المتسلسل (CoT)، مما يتيح هذه التقنيات على نطاق متاح.

• ما هو عدد المعاملات في نموذج UL2 الذي تم إصداره؟

  يحتوي نموذج UL2 الذي تم إصداره علنًا على 20 مليار معامل.

• ما هي القيمة المقترحة لـ UL2 20B للباحثين؟

  يوفر UL2 20B نموذجًا قويًا ومتاحًا للجمهور يمكّن البحث في تقنيات نمذجة اللغة المتقدمة مثل المطالبات المتسلسلة على نطاق أكثر سهولة.

• ما هي المعماريات التي يمكن تدريبها باستخدام إطار عمل UL2؟

  يسمح إطار عمل UL2 بفصل بنية النموذج ووظيفة الهدف، مما يتيح تدريب معماريات مختلفة مثل نماذج فك التشفير فقط ونماذج فك التشفير المشفرة.