الوصف
تشينشيلا هو نموذج لغوي يحتوي على 70 مليار معلمة من جوجل ديب مايند، تم تقديمه في ورقة بحثية في أبريل 2022 بعنوان "تحليل تجريبي لتدريب نماذج اللغة الكبيرة المثلى من حيث الحوسبة." تم بناؤه لاختبار اكتشاف محدد: أن العديد من نماذج اللغة الكبيرة في ذلك الوقت كانت أكبر من اللازم بالنسبة لميزانية الحوسبة الخاصة بها وكانت تحت التدريب على البيانات.
قراءة المزيد
قامت ديب مايند بتدريب نماذج بأحجام مختلفة وعدد توكنات متنوع لتقدير التوازن الأمثل بين حجم النموذج وبيانات التدريب لميزانية حوسبة ثابتة. وجدت الأبحاث أنه بالنسبة للموارد المستخدمة لتدريب نموذج جوجل ديب مايند (280 مليار معلمة)، كان نموذج أصغر بأربعة أضعاف تم تدريبه على بيانات أكثر بأربعة أضعاف سيؤدي بشكل أفضل. تشينشيلا، الذي يحتوي على 70 مليار معلمة تم تدريبه على 1.3 تريليون توكن، يختبر هذا مباشرة: يستخدم نفس موارد التدريب مثل نموذج جوجل ديب مايند ولكن بعدد معلمات أقل بكثير.
أظهرت النتائج أن تشينشيلا يتفوق على نموذج جوجل ديب مايند وGPT-3 وMegatron-Turing NLG في كل معيار تم قياسه تقريبًا، بما في ذلك TriviaQA للإجابة على الأسئلة، HellaSwag، PIQA، Winogrande وBoolQ للمنطق السليم، LAMBADA لفهم القراءة، وMMLU للمعرفة العامة، على الرغم من أن عدد معلمات تشينشيلا هو 70 مليار مقابل 280 مليار لنموذج جوجل ديب مايند. نظرًا لأن تشينشيلا أصغر، فإنه أيضًا أرخص وأسرع في التشغيل في وقت الاستدلال مقارنة بنموذج جوجل ديب مايند، على الرغم من أن كلا النموذجين يكلفان نفس الشيء للتدريب. لاحظت ديب مايند لاحقًا أن طريقة التوسع الخاصة بها تتنبأ بنموذج مثالي يحتوي على 140 مليار معلمة تم تدريبه على 3 تريليون توكن لميزانية الحوسبة المستخدمة لتدريب PaLM، وهو نموذج يحتوي على 540 مليار معلمة تم إصداره بعد تشينشيلا.
تؤطر الورقة هذا كدرس أوسع للمجال: كانت الطريقة السائدة في ذلك الوقت هي الحفاظ على بيانات التدريب ثابتة تقريبًا عند حوالي 300 مليار توكن مع زيادة عدد المعلمات، وهو اتجاه واضح في نماذج مثل نموذج جوجل ديب مايند وMegatron-Turing NLG الذي يحتوي على 530 مليار معلمة. تجادل نتائج ديب مايند بأن موارد التدريب يجب أن تُقسم بدلاً من ذلك بشكل أكثر توازنًا بين حجم النموذج وحجم البيانات، حيث إن تكلفة التدريب للنماذج التحويلية مدفوعة بكلا العاملين معًا، وليس بعدد المعلمات فقط.
تشينشيلا موجه للباحثين والممارسين في مجال الذكاء الاصطناعي الذين يخططون لتدريبات نماذج اللغة الكبيرة والذين يحتاجون إلى موازنة حجم النموذج مقابل حجم بيانات التدريب لميزانية حوسبة معينة، بدلاً من المستخدمين النهائيين الذين يبحثون عن منتج دردشة. يتم توثيقه من خلال منشور إصدار ديب مايند والورقة بدلاً من تقديمه كمنتج مع واجهة برمجة تطبيقات عامة أو أوزان قابلة للتنزيل، وقد أبلغت طريقة توسيع البيانات الخاصة به كيف توازن نماذج اللغة الكبيرة اللاحقة بين الحجم وبيانات التدريب.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
أبرز ملامح تشينشيلا
نموذج تحويل يحتوي على 70 مليار معلمة تم تدريبه على 1.3 تريليون توكن
تم تدريبه بنفس ميزانية الحوسبة مثل نموذج جوجل ديب مايند الأكبر، الذي يحتوي على 280 مليار معلمة
يتفوق على نموذج جوجل ديب مايند وGPT-3 وMegatron-Turing NLG في معظم المعايير المختبرة
تم تقييمه في الإجابة على الأسئلة (TriviaQA)، المنطق السليم (HellaSwag، PIQA، Winogrande، BoolQ)، فهم القراءة (LAMBADA) والمعرفة العامة (MMLU)
وقت استدلال وتكلفة ذاكرة أقل من نموذج أكبر تم تدريبه بنفس موارد الحوسبة
يقدم طريقة تجريبية للتنبؤ بحجم النموذج وعدد التوكنات المثلى من حيث الحوسبة
البدء مع تشينشيلا
اقرأ منشور الإصدار: ابدأ بقراءة ورقة ديب مايند حول تدريب نماذج اللغة الكبيرة المثلى من حيث الحوسبة.
راجع طريقة التوسع: ادرس كيف قدرت ديب مايند التوازن الأمثل بين حجم النموذج وعدد التوكنات.
قارن نتائج المعايير: تحقق من درجات تشينشيلا مقابل نموذج جوجل ديب مايند وGPT-3 وMegatron-Turing NLG.
طبق قانون التوسع: استخدم الطريقة المثلى من حيث الحوسبة لتقدير حجم النموذج وعدد التوكنات لميزانية تدريب معينة.
حالات استخدام تشينشيلا
- تدريب مثالي من حيث الحوسبة
- تقييم النموذج
- استدلال فعال
