الوصف
Invoker-Render هو نموذج ذكاء اصطناعي متقدم لتحويل الفيديو إلى فيديو، تم تطويره بواسطة inclusionAI، والذي يمكّن من توليد فيديو قابل للتحكم بشكل كبير. مع 33.12 مليار معلمة، يركز هذا النموذج على توليد مظاهر الفيديو بناءً على نماذج هيكلية، وصورة مرجعية واحدة للمظهر، ونصوص توجيه. يعمل النموذج على مبدأ الحفاظ على حالة العالم في محرك علوي، حيث تحدد النماذج البصرية عناصر مثل مسار الكاميرا، وتخطيط المشهد، وحركة الكائنات، بينما يتولى نموذج الفيديو معالجة العرض البصري.
قراءة المزيد
تكمن جوهر Invoker-Render في أوزان DiT الخاصة بالبث السببي، والتي يتم استضافتها في مستودعها. تم تصميم النموذج للعمل بالتزامن مع كود استنتاج CodeWorldModel المرافق، مما يسهل توليد البث السببي على أربع خطوات. تم بناء هذا الإعداد على أطر عمل قوية مثل MiniMax-H3 وSGLang وSGLang-Omni، مما يضمن عملية فعالة وقابلة للتوسع.
تشمل النقاط البارزة في Invoker-Render قدرته على البث طويل الأمد، مما يسمح للجلسات بالاستمرار إلى أجل غير مسمى طالما تم توفير إطارات نموذجية. يتم تحقيق ذلك من خلال ربط مظهر ثابت ونافذة تاريخ محدودة، مما يحافظ على الاتساق البصري على مدى فترات طويلة. علاوة على ذلك، يقدم النموذج تحكمًا متعدد الدقة، حيث يقبل مجموعة واسعة من المدخلات الهيكلية مثل الخرائط الدلالية، والصناديق ثلاثية الأبعاد النادرة، وأقنعة الموضوعات، والهندسة المظللة، والصناديق ذات الهياكل العظمية، مما يوفر للمستخدمين تحكمًا دقيقًا في محتوى الفيديو المولد.
للنشر التفاعلي، يوفر الكود المرافق خدمة جلسة WebSocket، وعميل ملفات، وعميل متصفح، مما يجعل النموذج متاحًا لمجموعة متنوعة من التطبيقات. يتم تخزين أوزان النموذج في تنسيق FP32 عبر 29 شظية safetensors، بإجمالي حوالي 132.5 جيجابايت. بينما يتضمن المستودع أوزان DiT الخاصة بالبث السببي الرئيسية، يحتاج المستخدمون إلى إعداد الأصول المطابقة مثل VAE وQwen وموفر البث السببي وألياف الصمت بشكل منفصل للاستنتاج. يتطلب ملف الإنتاج الافتراضي للاستنتاج عادةً ثمانية وحدات معالجة رسومات NVIDIA على عقدة واحدة، لمعالجة المدخلات مثل صورة RGB أولى بحجم 1344×768، وفيديو نموذج بسرعة 24 إطارًا في الثانية، ونص توجيه.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح Invoker-Render
نموذج تحويل الفيديو إلى فيديو: يولد مظاهر الفيديو من نماذج هيكلية ومدخلات.
33 مليار معلمة: حجم نموذج كبير لقدرات متقدمة في توليد الفيديو.
عرض مشروط بالنموذج: يستخدم نماذج بصرية للتحكم في مسار الكاميرا، وتخطيط المشهد، وحركة الكائنات.
مدخل صورة مرجعية للمظهر: يأخذ صورة واحدة لتوجيه النمط البصري.
مدخل نص توجيه: يقبل أوصاف نصية لتوليد المحتوى.
أوزان DiT الخاصة بالبث السببي: يستخدم أوزان نموذج محددة لتوليد البث.
بث طويل الأمد: يدعم توليد الفيديو المستمر مع وصول إطارات نموذجية.
مرساة مظهر ثابتة: تحافظ على مظهر متسق على مدى جلسات طويلة.
تحكم متعدد الدقة: يقبل مدخلات هيكلية متنوعة مثل الخرائط الدلالية، والصناديق ثلاثية الأبعاد، وأقنعة الموضوعات.
نشر تفاعلي: يوفر الكود المرافق عملاء WebSocket وملفات ومتصفح.
أوزان FP32: يتم تخزين أوزان النموذج بدقة كاملة.
نموذج قاعدة MiniMax-H3: مبني على بنية MiniMax-H3.
ترخيص Apache-2.0: يحكم استخدام المستودع.
ترخيص CC BY-NC 4.0: ينطبق على الاستخدام غير التجاري.
البدء مع Invoker-Render
الوصول إلى أوزان النموذج: قم بتنزيل أوزان DiT الخاصة بالبث السببي الرئيسية من جذر المستودع.
إعداد الأصول: احصل على الأصول المطابقة مثل VAE وQwen وموفر البث السببي بشكل منفصل.
إعداد البيئة: اتبع README.md وdocs/INFERENCE.md في مستودع CodeWorldModel المرافق.
إعداد الحزمة: أنشئ حزمة استنتاج كما هو موضح في المستودع المرافق.
بدء الخدمة أو تنفيذ الاستنتاج: ابدأ خدمة جلسة WebSocket أو نفذ استنتاج الملفات باستخدام invoker_render.py.
توفير المدخلات: قدم صورة RGB أولى بحجم 1344×768، وفيديو نموذج بسرعة 24 إطارًا في الثانية، ونص توجيه.
حالات استخدام Invoker-Render
- توليد فيديو قابل للتحكم
- إنشاء فيديو طويل
- تحرير الفيديو الدلالي
- عرض المشاهد ثلاثية الأبعاد
- تطبيقات الفيديو التفاعلية




