الوصف
Gopher هو نموذج لغة تحويلية يحتوي على 280 مليار معلمة من Google DeepMind، وهو الأكبر في عائلة من النماذج التي دربها الفريق والتي تتراوح من 44 مليون إلى 280 مليار معلمة. تم تقديمه في ديسمبر 2021 جنبًا إلى جنب مع ورقتين مصاحبتين: واحدة تتناول المخاطر الأخلاقية والاجتماعية لنماذج اللغة، والأخرى تقترح RETRO، وهي بنية تدريب معززة بالاسترجاع.
قراءة المزيد
دربت DeepMind عائلة النماذج لدراسة أين يساعد زيادة الحجم في تحسين أداء نماذج اللغة وأين لا يساعد. حقق Gopher تقدمًا كبيرًا نحو أداء الخبراء البشريين على معيار فهم اللغة متعدد المهام (MMLU) مقارنة بالأعمال السابقة، وأظهرت الأبحاث مكاسب من الحجم في مهام مثل فهم القراءة، والتحقق من الحقائق، وتحديد اللغة السامة. ومع ذلك، لم يحسن الحجم بشكل ملحوظ الأداء في مهام التفكير المنطقي ومهام الفطرة السليمة.
بعيدًا عن درجات المعايير، استكشفت DeepMind Gopher من خلال التفاعل المباشر. عندما تم تحفيزه في شكل حوار، كان النموذج قادرًا أحيانًا على مناقشة مواضيع مثل علم الأحياء الخلوي بتماسك مفاجئ واستشهاد صحيح، على الرغم من عدم وجود ضبط دقيق خاص بالحوار. كما وثقت الأبحاث أنماط الفشل التي استمرت عبر أحجام النماذج: ميل للتكرار، وعكس التحيزات النمطية، وذكر معلومات غير صحيحة بثقة غير مبررة.
بنت الورقة المصاحبة للإصدار تصنيفًا للمخاطر الأخلاقية والاجتماعية من نماذج اللغة، تغطي ستة مجالات موضوعية و21 خطرًا بعمق، وتهدف إلى أن تكون أساسًا لتقييم هذه القضايا والتخفيف منها. قدمت الورقة المصاحبة الثانية RETRO، التي تستعلم عن مقاطع النص أثناء التوليد، مما يقلل من تكلفة الطاقة التدريبية ويسمح بتتبع المخرجات إلى مقاطع المصدر، مع مطابقة أداء محول قياسي أكبر بكثير مع عدد أقل بكثير من المعلمات.
يستهدف Gopher الباحثين في الذكاء الاصطناعي الذين يدرسون توسيع نماذج اللغة، والتقييم، والسلامة. إنه إصدار بحثي موثق من خلال منشور مدونة DeepMind والأوراق بدلاً من كونه منتجًا يحتوي على واجهة برمجة تطبيقات عامة أو أوزان قابلة للتنزيل، واستخدمت DeepMind لاحقًا تكلفة حساب تدريب Gopher كنقطة مرجعية لتطوير خليفته الأكثر كفاءة في استخدام البيانات، Chinchilla.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح Gopher
نموذج لغة تحويلية يحتوي على 280 مليار معلمة، جزء من عائلة تتراوح من 44 مليون إلى 280 مليار معلمة
تحسين الأداء على معيار فهم اللغة متعدد المهام (MMLU)
تم تقييمه عبر المعايير بما في ذلك فهم القراءة، والتحقق من الحقائق، وتحديد اللغة السامة
يمكنه الحفاظ على حوار متماسك ومقتبس حول مواضيع تقنية دون ضبط دقيق خاص بالحوار
وثقت أنماط الفشل عبر أحجام النماذج: التكرار، والتحيز النمطي، وذكر معلومات مضللة بثقة
صدر مع تصنيف للمخاطر الأخلاقية والاجتماعية في نماذج اللغة، يغطي 21 خطرًا في ستة مواضيع
رفيق لـ RETRO، بنية معززة بالاسترجاع بتكلفة طاقة تدريب أقل
البدء مع Gopher
اقرأ منشور الإصدار: ابدأ بمنشور مدونة DeepMind الذي يقدم Gopher وورقتيه المصاحبتين.
راجع نتائج المعايير: تحقق من درجات Gopher على MMLU، وفهم القراءة، ومهام اللغة السامة مقارنة بالنماذج الأصغر في العائلة.
اقرأ تصنيف المخاطر: راجع الورقة المصاحبة حول المخاطر الأخلاقية والاجتماعية لفهم أنماط الفشل الموثقة.
قارن مع RETRO: اقرأ عن بنية الاسترجاع المعززة التي صدرت جنبًا إلى جنب مع Gopher.
حالات استخدام Gopher
- بحث في حجم النموذج
- تقييم مخاطر نموذج اللغة
- النمذجة المعززة بالاسترجاع
