الوصف
معاينة Hy4 هي نموذج متقدم من Mixture-of-Experts (MoE) تم تطويره بواسطة فريق Hy في Tencent. يحتوي على إجمالي 770 مليار معلمة، مع تفعيل 49 مليار لكل رمز. تتكون بنية النموذج من 78 طبقة، تستخدم مزيجًا من طبقات FFN الكثيفة وطبقات MoE، كل منها يحتوي على 256 خبيرًا موجهًا وخبير مشترك واحد. يسمح هذا التصميم بتفعيل أفضل 8 خبراء موجهين لكل رمز، مما يعزز قدراته في المعالجة.
قراءة المزيد
يستخدم النموذج تقنية Gated DeepSeek Sparse Attention (Gated DSA) مع IndexCache لإعادة استخدام الفهارس النادرة عبر الطبقات بشكل فعال. تستخدم مسارها المتبقي اتصالات هايبر-هوية (iHC) لتحسين تدفق المعلومات بين الطبقات. تم توسيع معاينة Hy4 من حيث حجم النموذج، وطول السياق، وبيانات التدريب، مما يجعلها رائدة في نماذج الذكاء الاصطناعي مفتوحة المصدر.
تم تصميم معاينة Hy4 للتفوق في مجالات متعددة، بما في ذلك هندسة البرمجيات، حيث تساعد في الفهم، والتخطيط، وتصحيح الأخطاء، والتحقق من المهام طويلة الأمد. في تطوير الألعاب، يمكنها تحويل موجه واحد إلى نموذج أولي قابل للعب، تعمل بسلاسة مع محركات الألعاب. بالنسبة لمهام المكتب والتحليل، تقوم بتحويل السياق الفوضوي إلى مستندات وقوائم بيانات قابلة للمشاركة. في البحث العلمي، تقدم قدرات قوية في التفكير وحل المشكلات.
النموذج مفتوح المصدر ومتاحة على منصات مثل Hugging Face وModelScope وGitCode وCNB. يدعم النشر باستخدام vLLM أو SGLang ويقدم خط أنابيب شامل لتخصيص النموذج. تم إصدار معاينة Hy4 بموجب رخصة Apache 2.0، مما يضمن سهولة الوصول إليها وتكيفها لمختلف التطبيقات.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح معاينة Hy4
بنية Mixture-of-Experts
770 مليار معلمة
Gated DeepSeek Sparse Attention
اتصالات هايبر-هوية
مفتوح المصدر
دعم التخصيص
فك تشفير تخميني
متاح على Hugging Face
البدء مع معاينة Hy4
الوصول إلى صفحة النموذج: زيارة الصفحة الرسمية على Hugging Face
المصادقة: تسجيل الدخول أو إنشاء حساب
التكوين: إعداد معلمات النموذج والبيئة
إرسال الموجهات: التفاعل مع النموذج باستخدام استدعاءات API
تخصيص: تخصيص النموذج لمهام محددة
حالات استخدام معاينة Hy4
- هندسة البرمجيات
- تطوير الألعاب
- تحليل المكتب
- البحث العلمي
- بحث الذكاء الاصطناعي
