الوصف
daVinci-MagiHuman هو نموذج ذكاء اصطناعي مفتوح المصدر يحتوي على 15 مليار معلمة، يقوم بتوليد فيديوهات متحدثة متزامنة الشفاه من صورة واحدة. تقوم بتحميل صورة بورتريه، وإضافة نص أو صوت، وتحصل على مقطع متحدث طبيعي حيث يتم توليد الصوت والفيديو معًا بدلاً من تجميعهما من خطوط إنتاج منفصلة. تم تطويره بواسطة Sand.ai و GAIR Lab (جامعة جياو تونغ في شنغهاي) وتم إصداره بموجب ترخيص Apache 2.0، مما يتيح فحص الأوزان وتشغيلها محليًا واستخدامها تجاريًا ضمن الترخيص.
قراءة المزيد
يستخدم النموذج بنية Transformer ذات تدفق واحد تقوم بإزالة الضوضاء من رموز الفيديو والصوت مع صورة مرجعية، مما ينتج مخرجات صوتية ومرئية موحدة من صورة وجه بالإضافة إلى نص أو صوت. على وحدة معالجة الرسوميات NVIDIA H100 واحدة، يمكنه توليد مقطع قصير بدقة 256 بكسل في حوالي ثانيتين من الوقت الفعلي، وتفيد التقييمات المنشورة بمعدلات خطأ كلمات قوية وتفضيل بشري مرتفع مقارنة بأسس مثل Ovi 1.1 و LTX 2.3.
يمكن للمستخدمين تجربته من خلال عرض تجريبي مجاني عبر الإنترنت، أو تنزيل نقاط التحقق من Hugging Face، أو استنساخ مستودع GitHub لاستضافته ذاتيًا وتشغيل الاستدلال مع إعدادات ودقات مخصصة تصل إلى 1080 بكسل. يدعم عدة لغات لتزامن الشفاه اعتمادًا على بيانات التدريب المصدرة.
تقدم الخدمة المستضافة مستوى مجاني مع أرصدة بدء يومية (تخزين مؤقت لمدة 15 يومًا) بالإضافة إلى خطط أرصدة أساسية، محترفة، وعالية التي تضيف توليد بدقة عالية، معالجة ذات أولوية، تخزين دائم للأصول، وحقوق استخدام تجاري.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرفريميوم
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
أبرز ملامح daVinci-MagiHuman
توليد فيديو متحدث من صورة واحدة مع تزامن الشفاه
توليد صوت وفيديو موحدين معًا في عملية نموذج واحدة
بنية Transformer ذات تدفق واحد تحتوي على 15 مليار معلمة
مفتوح المصدر بموجب ترخيص Apache 2.0
استدلال سريع (~2 ثوانٍ لمقطع 256 بكسل ~2 ثوانٍ على H100)
تزامن شفاه متعدد اللغات اعتمادًا على بيانات التدريب
استضافة ذاتية عبر Hugging Face و GitHub، أو عرض تجريبي مستضاف عبر الإنترنت
دقات مخرجات تصل إلى 1080 بكسل
البدء مع daVinci-MagiHuman
تحميل صورة بورتريه: أضف صورة وجه واضحة ومواجهة للأمام.
إضافة نص أو صوت: أدخل نصًا أو قم بتحميل ملف صوتي لتحريك الكلام.
اختيار الدقة: اختر دقة المخرجات مثل 256 بكسل، 720 بكسل، أو 1080 بكسل.
توليد: قم بتشغيل النموذج لإنشاء المقطع المتزامن الشفاه.
تنزيل: احفظ الفيديو المتحدث النهائي، أو استضفه ذاتيًا من Hugging Face أو GitHub.
حالات استخدام daVinci-MagiHuman
- فيديوهات أفاتار متحدثة
- توليد مستضاف ذاتيًا
- دبلجة متعددة اللغات
- البحث والمعايير
- إنشاء المحتوى
