الوصف
قدمت Microsoft Research نموذج Phi-2، وهو تقدم كبير في مجال نماذج اللغة الصغيرة (SLMs). يعرض هذا النموذج الذي يضم 2.7 مليار معامل قدرات ملحوظة في الاستدلال وفهم اللغة، مما يجعله رائدًا بين نماذج اللغة الأساسية التي تقل عن 13 مليار معامل. يحقق Phi-2 أداءً رائدًا في مختلف المعايير، وغالبًا ما يضاهي أو يتفوق على النماذج الأكبر منه بـ 25 مرة. يُعزى هذا القفزة في الأداء إلى تقنيات توسيع النماذج المبتكرة والتنسيق الدقيق لبيانات التدريب.
قراءة المزيد
يعتمد تطوير Phi-2 على النماذج السابقة في مجموعة Phi، بما في ذلك Phi-1 و Phi-1.5. بينما تفوق Phi-1 في برمجة Python، أظهر Phi-1.5 أداءً مماثلاً للنماذج الأكبر منه بخمس مرات في الاستدلال المنطقي وفهم اللغة. يقوم Phi-2 بتحسين هذه القدرات بشكل أكبر من خلال دمج المعرفة من Phi-1.5 في بنية أكبر، مما يسرع تقارب التدريب ويعزز نتائج المعايير.
أحد الرؤى الرئيسية التي تدفع نجاح Phi-2 هو الدور الحاسم لجودة بيانات التدريب. اعتمدت Microsoft Research تركيزًا شديدًا على البيانات "ذات جودة الكتب المدرسية"، بما في ذلك مجموعات البيانات الاصطناعية المصممة لتعليم الاستدلال المنطقي، والمعرفة العامة، والعلوم، والأنشطة اليومية، ونظرية العقل. يتم تعزيز ذلك ببيانات ويب مفلترة بعناية تم اختيارها لقيمتها التعليمية وجودة محتواها. يعتمد النموذج على بنية Transformer، وتم تدريبه على 1.4 تريليون رمز من خلال تمريرات متعددة على مزيج من مجموعات البيانات الاصطناعية وبيانات الويب لمهام معالجة اللغة الطبيعية والبرمجة.
Phi-2 متاح في كتالوج نماذج Azure AI Studio، مما يعزز البحث والتطوير. على الرغم من عدم خضوعه للتعلم المعزز من ردود فعل بشرية (RLHF) أو الضبط الدقيق للتعليمات، يُظهر Phi-2 سلوكًا أفضل فيما يتعلق بالسمية والتحيز مقارنة ببعض النماذج مفتوحة المصدر المتوافقة. هذا يتفق مع الملاحظات في Phi-1.5، ويعزى إلى تقنيات تنسيق البيانات المخصصة.
يجعل حجم Phi-2 المدمج منه منصة ممتازة للباحثين الذين يستكشفون مجالات مثل قابلية التفسير الآلي، وتحسينات السلامة، وتجارب الضبط الدقيق عبر مهام متنوعة. يتنافس أداؤه في المعايير المعقدة، بما في ذلك Big Bench Hard، والاستدلال المنطقي، وفهم اللغة، والرياضيات، والبرمجة، مع نماذج أكبر مثل Mistral 7B ونماذج Llama-2، بل ويتنافس مع Gemini Nano 2.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح نموذج لغة Phi-2
2.7 مليار معامل
أداء رائد للنماذج التي تقل عن 13 مليار معامل
يتفوق على نماذج أكبر بـ 25 مرة في المعايير المعقدة
قدرات متقدمة في الاستدلال وفهم اللغة
تم تدريبه على بيانات "ذات جودة الكتب المدرسية" وبيانات ويب منسقة
بنية تعتمد على Transformer
هدف التنبؤ بالكلمة التالية
تم تدريبه على 1.4 تريليون رمز
متاح في كتالوج نماذج Azure AI Studio
يُظهر أداءً قويًا بدون RLHF أو الضبط الدقيق للتعليمات
يُظهر سمية وتحيزًا أقل مقارنة ببعض النماذج المتوافقة
مثالي للبحث وقابلية التفسير وتجارب الضبط الدقيق
البدء مع نموذج لغة Phi-2
الوصول إلى النموذج: حدد موقع Phi-2 ضمن كتالوج نماذج Azure AI Studio.
المصادقة: قم بإعداد بيانات اعتماد المصادقة اللازمة لخدمات Azure AI.
إعداد البيئة: قم بتكوين بيئة التطوير الخاصة بك مع المكتبات وأدوات SDK المطلوبة.
التكامل عبر API: استخدم نقاط نهاية API المقدمة لإرسال المطالبات واستقبال مخرجات النموذج.
التجريب: ابدأ الضبط الدقيق أو إجراء تجارب بحثية باستخدام قدرات النموذج.
حالات استخدام نموذج لغة Phi-2
- استكشاف الأبحاث
- تجارب الضبط الدقيق
- مهام الاستدلال
- فهم اللغة
- الاستدلال المنطقي
