الوصف
Hy3 هو نموذج مزيج من الخبراء (MoE) متطور تم تطويره بواسطة فريق Hy في Tencent، ويتميز بـ 295 مليار معلمة إجمالية مع 21 مليار معلمة نشطة و3.8 مليار معلمة في طبقة MTP. تم إطلاقه بعد معاينة Hy3، وقد تم تحسين النموذج بناءً على ملاحظات من أكثر من 50 منتجًا وتم تحسينه بعد التدريب باستخدام بيانات عالية الجودة. يتفوق Hy3 على النماذج المماثلة في الحجم ويتنافس مع النماذج الرائدة مفتوحة المصدر التي تحتوي على 2-5 مرات أكثر من المعلمات.
قراءة المزيد
يظهر النموذج مكاسب كبيرة في الفائدة عبر مهام الإنتاجية المختلفة، بما في ذلك البرمجة، وأعمال المكتب، ونمذجة المالية، وتصميم الواجهة الأمامية، وتطوير الألعاب. إنه خيار فعال من حيث التكلفة لأولئك الذين يبحثون عن أداء موثوق في هذه المجالات. تتضمن بنية Hy3 80 طبقة، وطبقة MTP واحدة، و64 رأس انتباه، وحجم مخفي يبلغ 4096، مما يدعم طول سياق يبلغ 256K وحجم مفردات يبلغ 120,832.
لا يتم التقاط أداء Hy3 بالكامل من خلال المعايير العامة، لذا تم إجراء تقييم أعمى مع 270 خبيرًا، حيث حصل على 2.67 من 4، متفوقًا على GLM-5.1. يتفوق النموذج في تطوير الواجهة الأمامية، والبيانات والتخزين، ومهام CI/CD. تم إجراء تحسينات في الاستقرار، والاحتفاظ بالمعرفة، وتتبع النوايا متعددة الأدوار، مما أدى إلى تقليل معدلات الهلوسة والأخطاء الشائعة بشكل كبير.
Hy3 مفتوح المصدر، مع أوزان النموذج المتاحة على منصات مثل Hugging Face وModelScope وGitCode وCNB. يدعم النشر باستخدام vLLM أو SGLang ويقدم خط أنابيب شامل لتعديل النموذج. تم إصدار النموذج بموجب رخصة Apache 2.0.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح Hy3
295 مليار معلمة إجمالية
بنية مزيج من الخبراء
21 مليار معلمة نشطة
3.8 مليار معلمة في طبقة MTP
80 طبقة باستثناء MTP
64 رأس انتباه
طول سياق يبلغ 256K
حجم مفردات يبلغ 120,832
مفتوح المصدر
دعم التعديل
البدء مع Hy3
الوصول إلى صفحة النموذج: زيارة صفحة Hy3 على Hugging Face
المصادقة: تسجيل الدخول إلى حسابك على Hugging Face
التكوين: ضبط معلمات النموذج والتفضيلات
إرسال الموجهات: التفاعل مع النموذج باستخدام مدخلاتك
تعديل: ضبط النموذج لمهام محددة
حالات استخدام Hy3
- مساعدة البرمجة
- أتمتة المكتب
- نمذجة المالية
- تصميم الواجهة الأمامية
- تطوير الألعاب
