الوصف
K2-Horizon-MoVA-36B-A4B هو نموذج متقدم من مزيج من الخبراء يتضمن انتباه مزيج من القيم، مصمم للتعامل مع المهام المعقدة بكفاءة. إنه جزء من عائلة K2-Horizon ويتميز بهيكله النادر، مما يسمح له بتخزين 36 مليار معلمة بينما يعمل بـ 4 مليارات لكل رمز. تم إصدار هذا النموذج مع وصول مفتوح إلى نقاط التفتيش والبيانات وكود التدريب، دعمًا لديمقراطية الذكاء الاصطناعي من خلال مبادرات المصدر المفتوح والعلوم المفتوحة.
قراءة المزيد
يحقق النموذج نتائج من الدرجة الأولى، حيث يتفوق بشكل خاص في معايير الوكالة والتفكير. يتفوق على النماذج الكثيفة ذات الوزن المفتوح التي تبلغ حوالي 30 مليارًا في الحجم ونماذج مزيج من الخبراء تصل إلى 15 مرة من حجمه، بينما يتنافس أيضًا بفعالية ضد النماذج المغلقة الرائدة. مع نافذة سياق أصلية تبلغ 524,288 رمزًا، يدعم K2-Horizon-MoVA-36B-A4B معالجة سياق واسعة من مراحل التدريب المتوسطة فصاعدًا.
تتوفر نقاط تفتيش متوسطة، مما يسمح للباحثين بدراسة التغيرات في القدرات عبر مراحل التدريب المختلفة. بيانات التدريب والوصفة الخاصة بالنموذج، بالإضافة إلى كود التدريب، مفتوحة بالكامل، مما يعزز الشفافية والتعاون في أبحاث الذكاء الاصطناعي.
تم التحقق من K2-Horizon-MoVA-36B-A4B مع Transformers 5.15.0 وPyTorch 2.13.0 وSafetensors 0.8.0. يدعم النموذج تنسيقات استدعاء أدوات متعددة، بما في ذلك JSON وXML وXML-typed، مع XML كافتراضي. تم تصميم النموذج ليستخدم مع إعدادات جهد التفكير العالي، مما يضمن أداءً مثاليًا عبر تطبيقات متنوعة.
النموذج مناسب لمجموعة من التطبيقات، بما في ذلك استخدام الأدوات الوكيلة، واستخدام المحطات، والترميز العلمي، وأسئلة العلوم على مستوى الدراسات العليا. إنه فعال بشكل خاص في التفكير طويل السياق والحفاظ على الدقة الواقعية، مما يجعله أداة قيمة للباحثين والمطورين في مجتمع الذكاء الاصطناعي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح K2-Horizon-MoVA-36B-A4B
هيكل مزيج من الخبراء
انتباه مزيج من القيم
36 مليار معلمة
4 مليارات معلمة نشطة
نقاط تفتيش وبيانات مفتوحة المصدر
نافذة سياق 512K
نقاط تفتيش متوسطة متاحة
تم التحقق منه مع Transformers وPyTorch
البدء مع K2-Horizon-MoVA-36B-A4B
الوصول إلى صفحة النموذج: زيارة Hugging Face
المصادقة: تسجيل الدخول إلى حسابك
التكوين: تعيين جهد التفكير إلى مرتفع
إرسال المطالبات: استخدام API مع الإعدادات الموصى بها
التدريب الدقيق: استخدام نقاط التفتيش المتاحة
حالات استخدام K2-Horizon-MoVA-36B-A4B
- استخدام الأدوات الوكيلة
- استخدام المحطات
- الترميز العلمي
- أسئلة العلوم على مستوى الدراسات العليا
- التفكير طويل السياق









