الوصف
تقوم Meta AI بإضفاء الطابع الديمقراطي على الوصول إلى النماذج اللغوية واسعة النطاق من خلال إصدار OPT-175B، وهو نموذج بـ 175 مليار معامل تم تدريبه على مجموعات بيانات متاحة للجمهور. تهدف هذه المبادرة إلى تعزيز مشاركة أوسع للمجتمع في فهم التقنيات الجديدة الأساسية للذكاء الاصطناعي، متجاوزةً الوصول المحدود الذي كان مقتصرًا سابقًا على المختبرات ذات الموارد العالية. من خلال توفير كل من النماذج المدربة مسبقًا ورمز التدريب اللازم، يمكّن OPT-175B الباحثين الأكاديميين والمجتمع المدني وصانعي السياسات ومختبرات الأبحاث الصناعية في جميع أنحاء العالم من إجراء أبحاث قابلة للتكرار والتقدم في هذا المجال بشكل جماعي.
يستند الإصدار إلى الالتزام بالعلم المفتوح والتطوير المسؤول للذكاء الاصطناعي. تشارك Meta AI وثائق مفصلة لعملية التطوير، بما في ذلك سجل كامل للتدريب اليومي، واستخدام الحوسبة، والنفقات البشرية. يسمح هذا الشفافية للباحثين الآخرين بالبناء على عملهم وتحليل الأضرار المحتملة باستخدام مقاييس قابلة للقياس على نموذج مشترك. تم تدريب OPT-175B باستخدام واجهة برمجة تطبيقات التوازي الموزع بالكامل (FSDP) مفتوحة المصدر من Meta وتجريد التوازي الموتر من NVIDIA ضمن Megatron-LM، مما حقق كفاءة طاقة كبيرة مع بصمة كربونية تبلغ 1/7 من بصمة GPT-3.
بالإضافة إلى OPT-175B، تقوم Meta AI بإصدار مجموعة من النماذج الأساسية الأصغر حجمًا، والتي تم تدريبها على نفس البيانات وباستخدام إعدادات مماثلة، لتسهيل دراسة تأثيرات الحجم. تشمل هذه النماذج عدد معاملات يتراوح من 125 مليون إلى 30 مليار. يخضع الإصدار لترخيص غير تجاري، مع إعطاء الأولوية لحالات الاستخدام البحثي ويهدف إلى منع سوء الاستخدام. من خلال زيادة تنوع الأصوات المشاركة في تحديد الاعتبارات الأخلاقية، تأمل Meta AI في دفع التقدم في التطوير المسؤول للذكاء الاصطناعي ووضع مبادئ توجيهية واضحة للنماذج اللغوية الكبيرة.
يعد هذا التعاون المفتوح أمرًا بالغ الأهمية لأبحاث الذكاء الاصطناعي للتقدم، مما يسمح للمجتمع العلمي باستكشاف إمكانات النماذج المتطورة مع فحص نقاط الضعف في نفس الوقت. يهدف إصدار OPT-175B والموارد المرتبطة به إلى جلب المزيد من وجهات النظر إلى طليعة إنشاء النماذج اللغوية الكبيرة، والمساعدة في تصميم استراتيجيات إصدار مسؤولة، وتقديم مستوى غير مسبوق من الشفافية للمجال.
أبرز ملامح OPT-175B
175 مليار معامل
تم التدريب على مجموعات بيانات متاحة للجمهور
يشمل نماذج مدربة مسبقًا ورمز التدريب
ترخيص غير تجاري للاستخدام البحثي
تم منح الوصول للباحثين الأكاديميين والمنظمات التابعة
وثائق مفصلة لعملية التطوير
سجل كامل لعملية التدريب
مقاييس قابلة للقياس لتحليل الضرر
منهجية تدريب فعالة من حيث الطاقة
مجموعة من النماذج الأساسية الأصغر حجمًا تم إصدارها
يسهل الأبحاث القابلة للتكرار
يعزز التطوير المسؤول للذكاء الاصطناعي
يعزز الشفافية في تطوير نماذج اللغة الكبيرة (LLM)
البدء مع OPT-175B
طلب الوصول: قدم طلبًا للوصول إلى OPT-175B.
تنزيل الرمز: الوصول إلى الرمز مفتوح المصدر للتدريب والنشر.
الحصول على النماذج: تنزيل النماذج الأساسية الأصغر حجمًا.
إعداد البيئة: جهز بيئة البحث الخاصة بك بالمكتبات اللازمة.
دمج النموذج: تحميل واستخدام نموذج OPT-175B لمهام البحث.
تحليل النتائج: إجراء التجارب وتحليل سلوك النموذج ومخرجاته.
المساهمة في البحث: شارك النتائج وساهم في مجتمع الذكاء الاصطناعي الأوسع.
حالات استخدام OPT-175B
- أبحاث معالجة اللغة الطبيعية (NLP)
- تخفيف التحيز
- قابلية تفسير النموذج
- الذكاء الاصطناعي المسؤول
- العلم القابل للتكرار
- توليد النصوص
- أخلاقيات الذكاء الاصطناعي
