الوصف
MiniCPM5-2B هو النموذج الثاني في سلسلة MiniCPM5، بعد MiniCPM5-1B. إنه نموذج Transformer كثيف بحجم 2B مصمم للنشر المحلي على الأجهزة وفي السيناريوهات ذات الموارد المحدودة. يقوم هذا النموذج بتوسيع نفس وصفة التدريب ويحقق أداءً رائدًا (SOTA) ضمن نماذج المصدر المفتوح من فئة 2B. لا يزال يتنافس مع النماذج الأكبر من فئة 4B، ويتفوق بشكل خاص في مجالات مثل البرمجة، الرياضيات، فهم السياقات الطويلة، استخدام الأدوات، والمهام الوكيلة.
قراءة المزيد
تم تدريب النموذج باستخدام مجموعات بيانات عالية الجودة من عائلة UltraData، بما في ذلك UltraX للتدريب المسبق على الويب، UltraData-Code للقدرات البرمجية، UltraData-SFT-Agent-2609 لتدريب الوكلاء، وUltraData-RL-2609 للتعلم المعزز. تساهم هذه المجموعات في قدرات النموذج الشاملة، مما يجعله مناسبًا لمجموعة متنوعة من التطبيقات مثل المساعدين المحليين، ووكلاء البرمجة، وسيناريوهات التفكير.
يستخدم MiniCPM5-2B بنية LlamaForCausalLM القياسية مع 2,516,756,480 معلمة، و42 طبقة، وطول سياق يبلغ 131,072. تم تصميمه لتوفير دعم سياق طويل أصلي مع الحفاظ على بصمة نشر صغيرة. يتضمن تدريب النموذج ممارسة شاملة لإدارة البيانات المتدرجة من UltraData، تغطي مراحل التدريب الأساسية، والتدريب المتوسط، وما بعد التدريب.
خلال مرحلة ما بعد التدريب، يخضع النموذج للتعديل الدقيق تحت إشراف (SFT)، والتعلم المعزز (RL)، والتقطير على السياسة (OPD) لتعزيز قدراته بشكل أكبر. يحسن RL + OPD بشكل كبير من قدرات النموذج في التفكير والقدرات العامة، مما يدمج خبرة 16 نموذجًا متخصصًا في نموذج واحد.
يتوفر MiniCPM5-2B بتنسيقات متنوعة مناسبة لمختلف سيناريوهات النشر، بما في ذلك BF16، GGUF، وMLX. يدعم عدة خلفيات مثل Transformers، vLLM، SGLang، وllama.cpp، مما يسمح بنشر مرن عبر منصات وأجهزة مختلفة. يتم إصدار النموذج بموجب رخصة Apache-2.0، مما يضمن الوصول المفتوح والتعاون.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
أبرز ملامح MiniCPM5-2B
نموذج Transformer كثيف بحجم 2B
نشر على الأجهزة
سيناريوهات ذات موارد محدودة
أداء رائد
مجموعات بيانات تدريب عالية الجودة
بنية LlamaForCausalLM القياسية
دعم سياق طويل أصلي
إدارة بيانات متدرجة من UltraData
البدء مع MiniCPM5-2B
الوصول إلى صفحة النموذج: زيارة صفحة نموذج Hugging Face
المصادقة: تسجيل الدخول إلى حساب Hugging Face الخاص بك
التكوين: إعداد معلمات النموذج والبيئة
إرسال الطلبات: استخدام النموذج لمهامك المحددة
التعديل الدقيق: ضبط النموذج للتطبيقات المتخصصة
حالات استخدام MiniCPM5-2B
- المساعدون المحليون
- وكلاء البرمجة
- سير عمل استخدام الأدوات
- سيناريوهات التفكير
- المهام الوكيلة
