الوصف
SenseNova-Loop-9B-Preview هو نموذج لغوي متعدد الوسائط متقدم مصمم للتعامل مع سيناريوهات معقدة وطويلة السياق وتدفقات العمل الوكيلة. تم تطويره بواسطة SenseNova، هذا النموذج قادر على قبول كل من مدخلات النص والصورة، ومن ثم توليد مخرجات نصية. تشمل التطبيقات الرئيسية له مجالات مثل فهم الوثائق الشامل، ومهام الترميز المتقدمة، والتفاعل السلس مع أدوات خارجية متنوعة.
قراءة المزيد
تكمن جوهر هندسة SenseNova-Loop-9B-Preview في تركيبه المبتكر الذي يجمع بين مشفّر دائري وارتباطات هايبر-مقيدة متعددة التيار (mHC). يسمح هذا التصميم بتنفيذ كتلة متصلة من طبقات المشفّر مرتين باستخدام أوزان مشتركة، مما يعمق مسار التنفيذ بشكل كبير دون تكرار المعلمات. تدير الخرائط المتعلمة داخل نظام mHC تدفق المعلومات بكفاءة بين تيارين متبقيين في القسم الدائري، مما يعزز قدرة النموذج على معالجة المعلومات وتركيبها.
تتضمن وصفات تدريب النموذج تسلسلات طويلة، ومدخلات متعددة الوسائط متنوعة، ومسارات مهام تحت إشراف، مع وصول طول تسلسل التدريب الأقصى إلى 262,144 رمز. يمكّن هذا التدريب الشامل من أداء قوي عبر مجموعة واسعة من المهام المعقدة. للحصول على أداء مثالي، يُنصح المستخدمون باستخدام بيئة النشر الموثقة ومعلمات التكوين.
تشمل النقاط البارزة المعمارية كتلة دائرية مشتركة حيث يتم تطبيق 24 طبقة مشفّر مرتين، مما يؤدي إلى 56 تنفيذًا لطبقات المشفّر من 32 طبقة متميزة فقط. تسهل mHC متعددة التيار توجيه المعلومات ودمجها عبر التيارات المتبقية. علاوة على ذلك، يستخدم المشفّر آلية انتباه هجينة، حيث يتم تداخل طبقات الانتباه الخطية والكاملة في نمط متكرر من أربع طبقات، والذي يتم الحفاظ عليه عبر تمريرات الحلقة. يدعم النموذج أيضًا MTP لتسريع الاستدلال، مع تطوير Dspark وDflash2 حاليًا لتعزيز السرعة بشكل أكبر.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح SenseNova-Loop-9B-Preview
مدخلات متعددة الوسائط: يقبل كل من النصوص والصور
توليد النصوص: ينتج مخرجات نصية
هندسة مشفّر دائري: ينفذ طبقات المشفّر مرتين باستخدام أوزان مشتركة
ارتباطات هايبر-مقيدة متعددة التيار (mHC): تدير تدفق المعلومات بين التيارات المتبقية
معالجة طويلة السياق: تدعم أطوال تسلسل التدريب تصل إلى 262,144 رمز
دعم تدفقات العمل الوكيلة: مصمم للتفاعل مع الأدوات الخارجية
انتباه هجيني: يتداخل بين طبقات الانتباه الخطية والكاملة
كفاءة المعلمات: يحقق 56 تنفيذًا لطبقات المشفّر من 32 طبقة متميزة
فهم الوثائق: قادر على معالجة الوثائق المعقدة
تطبيقات الترميز: يدعم المهام المتعلقة بالرمز
تسريع الاستدلال MTP: متاح لمعالجة أسرع
دعم التخصيص: يوفر وصفات تدريب موثقة للتخصيص
رخصة Apache 2.0: ترخيص مفتوح المصدر للاستخدام والتعديل
تكامل Hugging Face: متاح للتنزيل والنشر على Hugging Face
البدء مع SenseNova-Loop-9B-Preview
الوصول إلى صفحة النموذج: انتقل إلى صفحة SenseNova-Loop-9B-Preview على Hugging Face.
تثبيت التبعيات: قم بتثبيت PyTorch المتوافق مع بيئة CUDA الخاصة بك، ثم قم بتثبيت Transformers 5.18.0 وPyTorch 2.11.0.
تحميل النموذج: استخدم مكتبة Transformers لتحميل النموذج وتنفيذه المخصص من مستودع Hugging Face أو دليل محلي.
تكوين الاستدلال: اضبط `model_id` على معرف المستودع أو المسار المحلي وقم بتكوين معلمات مثل `enable_thinking` و`device`.
توليد النص: قم بتشغيل المثال المقدم بلغة Python لأداء توليد النص، مع تحديد عدد الرموز الجديدة.
تخصيص النموذج: استخدم أوامر التدريب الموثقة مع مجموعة بيانات SFT الخاصة بك على عقدة واحدة مع 8 وحدات معالجة رسومية للتخصيص.
نشر النموذج: استخدم خيارات النشر مثل LightLLM أو SGLang عن طريق استبدال المسار المحلي للنموذج في الأمثلة المقدمة.
حالات استخدام SenseNova-Loop-9B-Preview
- فهم الوثائق طويلة السياق
- أتمتة تدفقات العمل الوكيلة
- توليد المحتوى متعدد الوسائط
- مساعدة الترميز المتقدمة
- أتمتة تصميم PPT
- توليد نصوص تصميم الحركة
- تقرير تحليل البيانات
- البحث والتطوير متعدد الوسائط







