الوصف
يمثل OpenELM تقدمًا كبيرًا في نمذجة اللغة المفتوحة، والذي طورته Apple Machine Learning Research. تهدف هذه المبادرة إلى تعزيز قابلية التكرار والشفافية في مجال نماذج اللغة الكبيرة (LLMs)، والتي تعد ضرورية لتعزيز البحث المفتوح، وضمان الموثوقية، والتحقيق في التحيزات والمخاطر المحتملة.
قراءة المزيد
في جوهره، يستخدم OpenELM استراتيجية قياس جديدة على مستوى الطبقة. تخصص هذه الطريقة المعلمات بكفاءة داخل كل طبقة من بنية المحولات، مما يؤدي إلى تحسين ملحوظ في الدقة. على سبيل المثال، بميزانية معلمات تبلغ حوالي مليار، يحقق OpenELM تحسنًا بنسبة 2.36% في الدقة مقارنة بـ OLMo، مع الحاجة إلى نصف عدد رموز التدريب المسبق. هذه الكفاءة هي ميزة رئيسية، مما يجعل نماذج اللغة المتقدمة أكثر سهولة واستدامة للتدريب.
بالإضافة إلى مجرد إصدار أوزان النموذج ورمز الاستدلال، يوفر مشروع OpenELM نظامًا بيئيًا شاملاً للباحثين. يتضمن ذلك الإطار الكامل للتدريب والتقييم باستخدام مجموعات البيانات المتاحة للجمهور. يمكن للمستخدمين الوصول إلى سجلات التدريب، ونقاط فحص متعددة للنماذج، وتكوينات مفصلة للتدريب المسبق. تم تصميم هذا المستوى من الشفافية وإمكانية الوصول لتمكين مجتمع البحث المفتوح وتسريع الابتكارات المستقبلية.
علاوة على ذلك، أصدرت Apple رمزًا لتسهيل تحويل نماذج OpenELM إلى مكتبة MLX. يتيح هذا التكامل الاستدلال الفعال والضبط الدقيق مباشرة على أجهزة Apple، مما يوسع نطاق الوصول والتطبيق العملي لهذه النماذج القوية. يؤكد هذا الإصدار الشامل على التزام Apple بدعم وتعزيز مجتمع البحث المفتوح العالمي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتmacOS
أبرز ملامح نموذج لغة OpenELM
عائلة نماذج لغة مفتوحة متطورة
استراتيجية قياس على مستوى الطبقة لتخصيص فعال للمعلمات
دقة محسنة مقارنة بالنماذج الحالية (مثل OLMo)
متطلبات رموز تدريب مسبق أقل
إطار عمل كامل للتدريب والتقييم
يشمل سجلات التدريب ونقاط فحص متعددة
تكوينات التدريب المسبق مقدمة
رمز للتكامل مع مكتبة MLX على أجهزة Apple
يدعم الاستدلال والضبط الدقيق على أجهزة Apple
التركيز على قابلية التكرار والشفافية في أبحاث LLM
يستخدم مجموعات بيانات متاحة للجمهور للتدريب
إطار عمل تدريب واستدلال مفتوح
البدء مع نموذج لغة OpenELM
الوصول إلى النموذج: قم بتنزيل أوزان وإطار عمل نموذج OpenELM من المصدر المقدم.
إعداد البيئة: قم بتكوين بيئة التطوير الخاصة بك مع المكتبات والتبعيات اللازمة.
التكامل عبر MLX: استخدم الرمز المقدم لتحويل النماذج للاستدلال والضبط الدقيق على أجهزة Apple.
التدريب والتقييم: استخدم الإطار الكامل ومجموعات البيانات العامة للتدريب المخصص وتقييم الأداء.
ضبط النموذج: قم بتكييف نماذج OpenELM لمهام محددة لاحقة باستخدام الأدوات والتكوينات المقدمة.
حالات استخدام نموذج لغة OpenELM
- أبحاث نماذج اللغة الكبيرة
- تدريب النماذج
- الاستدلال الفعال
- التحقيق في التحيزات
- الذكاء الاصطناعي مفتوح المصدر
- تخصيص المعلمات
