الوصف
MiMo-V2.5-Pro هو نموذج لغة متقدم مفتوح المصدر من نوع Mixture-of-Experts (MoE) يحتوي على إجمالي 1.02 تريليون معلمة و42 مليار معلمة نشطة. تم تصميمه للتعامل مع أكثر المهام المعقدة والمت demanding في هندسة البرمجيات والمهام طويلة الأمد. يستخدم النموذج هندسة انتباه هجينة، حيث يدمج بين Sliding Window Attention (SWA) وGlobal Attention (GA) بنسبة 6:1، مما يقلل بشكل كبير من تخزين KV-cache مع الحفاظ على أداء السياق الطويل. تكمل هذه الهندسة ثلاثة وحدات خفيفة الوزن للتنبؤ متعدد التوكنات (MTP) التي تعزز سرعة الإخراج أثناء الاستدلال.
تم تدريب النموذج مسبقاً على 27 تريليون توكن باستخدام دقة مختلطة FP8 ويدعم نافذة سياق تصل إلى 1 مليون توكن. بعد التدريب، يستخدم MiMo-V2.5-Pro تقنية Fine-Tuning تحت إشراف (SFT) وتعلم تعزيز وكيل واسع النطاق (RL) وتقنية Multi-Teacher On-Policy Distillation (MOPD) لتحقيق أداء متفوق في المهام المعقدة. يتفوق في الحفاظ على مسارات معقدة عبر نافذة سياق مكونة من 1 مليون توكن، مما يجعله فعالاً للغاية في المهام التي تتطلب اتباع التعليمات بشكل قوي والتماسك.
تعالج هندسة MiMo-V2.5-Pro التعقيد التربيعي للسياقات الطويلة من خلال دمج Local Sliding Window Attention وGlobal Attention. تشمل عملية تدريبه نموذجاً ثلاثي المراحل بعد التدريب يبدأ بـ SFT لبناء المهارات الأساسية، يليه تدريب متخصص في المجال مع نماذج معلم متنوعة، وينتهي بـ MOPD لتعلم تعزيز ديناميكي على السياسة.
يدعم نشر النموذج مجتمعات SGLang وvLLM، مع تكوينات موصى بها لتحقيق الأداء الأمثل. MiMo-V2.5-Pro مثالي للصناعات التي تتطلب قدرات متقدمة في معالجة اللغة، مثل هندسة البرمجيات والتطبيقات متعددة اللغات.
أبرز ملامح MiMo-V2.5-Pro
1.02 تريليون معلمة إجمالية
42 مليار معلمة نشطة
هندسة انتباه هجينة
تنبؤ متعدد التوكنات (MTP)
تدريب مسبق فعال على 27 تريليون توكن
طول سياق 1 مليون توكن
Fine-Tuning تحت إشراف (SFT)
Multi-Teacher On-Policy Distillation (MOPD)
Sliding Window Attention (SWA)
Global Attention (GA)
البدء مع MiMo-V2.5-Pro
الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face
تحميل النموذج: تنزيل MiMo-V2.5-Pro
تكوين البيئة: إعداد مع المعلمات الموصى بها
التكامل: تنفيذ في تطبيقك
التعديل: ضبط النموذج لمهام محددة
حالات استخدام MiMo-V2.5-Pro
- هندسة البرمجيات المعقدة
- المهام الوكيلة
- التطبيقات متعددة اللغات
- التفكير في السياقات الطويلة
- تعلم التعزيز
