الوصف
LivePortrait هو مشروع قوي مفتوح المصدر يتيح الرسوم المتحركة الفعالة للصور الشخصية، مما يضفي الحيوية على الصور ومقاطع الفيديو الثابتة بواقعية ملحوظة. تم تطوير هذا التطبيق بلغة PyTorch بواسطة KlingAIResearch، ويركز على التحكم في الخياطة وإعادة الاستهداف لتحقيق نتائج رسوم متحركة عالية الجودة لكل من الموضوعات البشرية والحيوانية. يهدف المشروع إلى توفير أداة سهلة الوصول للمبدعين والباحثين والمطورين المهتمين بتوليد ومعالجة الفيديو المتقدم.
قراءة المزيد
في جوهره، يستخدم LivePortrait خوارزميات متطورة لتحريك تعابير الوجه وحركاته بناءً على فيديو توجيهي أو مدخلات صوتية. تم تصميم النظام ليكون فعالاً، مما يسمح بالاستدلال السريع والتكامل في مسارات العمل المختلفة. يدعم مجموعة من خيارات التخصيص، بما في ذلك وضع التشغيل بالصور، والتحكم الإقليمي، والتحرير الدقيق للصور الشخصية ضمن واجهة Gradio الخاصة به. يوفر المشروع أيضًا وضعًا مخصصًا للحيوانات، مما يوسع نطاق تطبيقه إلى ما وراء الصور الشخصية البشرية.
يبدأ استخدام LivePortrait باستنساخ المستودع، وإعداد البيئة بالتبعيات اللازمة مثل FFmpeg و PyTorch (مع دعم CUDA لوحدات معالجة الرسومات NVIDIA)، وتنزيل الأوزان المدربة مسبقًا. يوفر المشروع تعليمات واضحة للتثبيت على أنظمة Linux و Windows و macOS مع Apple Silicon، مع تفصيل المتطلبات المحددة لكل منصة. يمكن إجراء الاستدلال عبر نصوص سطر الأوامر لكل من البشر والحيوانات، أو من خلال واجهة ويب Gradio سهلة الاستخدام.
تكمن القيمة المقترحة لـ LivePortrait في قدرته على دمقرطة الرسوم المتحركة المتقدمة للصور الشخصية. من خلال تقديم حل مفتوح المصدر مع وثائق شاملة ودعم مجتمعي، فإنه يمكّن المستخدمين من إنشاء محتوى رسوم متحركة جذاب. تضمن التحديثات المستمرة للمشروع، بما في ذلك الميزات الجديدة مثل تحرير الوضع، ودمج الصوت والفيديو، وإنشاء قوالب الحركة، بقاءه في طليعة تكنولوجيا الرسوم المتحركة للصور الشخصية. يسلط تضمين الاعتبارات الأخلاقية الضوء على التزام المشروع بالتطوير المسؤول للذكاء الاصطناعي.
يعد LivePortrait موردًا لا يقدر بثمن للفنانين الرقميين، ومنشئي المحتوى، والباحثين في مجال الرؤية الحاسوبية والذكاء الاصطناعي، والمطورين الذين يتطلعون إلى دمج قدرات الرسوم المتحركة المتطورة في تطبيقاتهم. تجعله مرونته وأداؤه مناسبًا لمجموعة واسعة من المشاريع الإبداعية، بدءًا من إنشاء صور رمزية متحدثة واقعية إلى تحريك الحيوانات الأليفة في مقاطع الفيديو.
- الفئةأدوات التحريك بالذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتLinux, Windows, macOS
الميزات الأساسية لـ LivePortrait
رسوم متحركة فعالة للصور الشخصية مع تحكم في الخياطة وإعادة الاستهداف
يدعم الرسوم المتحركة لكل من الموضوعات البشرية والحيوانية
أوضاع الرسوم المتحركة بالصور ومقاطع الفيديو
تحكم إقليمي لتعديلات الرسوم المتحركة الدقيقة
واجهة Gradio للتفاعل سهل الاستخدام
يتوفر مثبت بنقرة واحدة لنظام Windows
دعم macOS لـ Apple Silicon (وضع البشر)
قدرات دمج الصوت والفيديو
إنشاء قوالب حركة للخصوصية والسرعة
تحرير الوضع للصور الشخصية المصدر
خيارات المعاينة في الوقت الفعلي في أدوات تم تطويرها بواسطة المجتمع
البدء مع LivePortrait
استنساخ المستودع: git clone https://github.com/KlingTeam/LivePortrait
إعداد البيئة: إنشاء وتفعيل بيئة conda، وتثبيت التبعيات عبر requirements.txt
تنزيل الأوزان المدربة مسبقًا: استخدم huggingface-cli أو قم بالتنزيل من الروابط المقدمة
تشغيل الاستدلال: قم بتنفيذ python inference.py للبشر أو python inference_animals.py للحيوانات
استخدام واجهة Gradio: قم بتشغيل python app.py أو python app_animals.py لتجربة قائمة على الويب
تكوين الخيارات: استخدم وسيطات سطر الأوامر للتخصيص (مثل، المصدر، فيديو القيادة، الاقتصاص)
تحسين الأداء: قم بتمكين --flag_do_torch_compile للاستدلال الأسرع على الأنظمة المدعومة
حالات استخدام LivePortrait
- صور شخصية متحركة
- صور رمزية متحدثة
- تحرير الفيديو
- رسوم متحركة للشخصيات
- أبحاث الذكاء الاصطناعي
- إنشاء المحتوى
- رسوم متحركة للحيوانات
