الوصف
يمثل EvTexture وتوسعته المجلة EvTexture++ حلولاً متقدمة لتحسين دقة الفيديو (VSR) من خلال دمج تعزيز النسيج المعتمد على الأحداث. تم تطوير هذه المشاريع بواسطة باحثين من جامعة العلوم والتكنولوجيا في الصين، وتستخدم بيانات من كاميرات الأحداث، التي تلتقط معلومات الحركة بدقة زمنية عالية وزمن استجابة منخفض، لتحسين جودة مقاطع الفيديو التي تم تكبيرها بشكل كبير.
قراءة المزيد
يركز EvTexture، الذي تم تقديمه في ICML 2024، على تعزيز تفاصيل النسيج في مقاطع الفيديو أثناء عملية تحسين الدقة. التوسع المجلة اللاحق، EvTexture++، الذي تم قبوله في IEEE TPAMI في عام 2026، يقوم بتحسين هذه التقنيات بشكل أكبر لتحقيق دقة ومتانة أكبر. يتم توفير كلا التطبيقين كتعليمات برمجية رسمية لـ PyTorch، مما يسمح للباحثين والمطورين بدمج هذه التكنولوجيا المتطورة والبناء عليها.
يقدم المستودع موارد شاملة، بما في ذلك النماذج المدربة مسبقًا لمجموعات بيانات وأنواع تدهور مختلفة، مثل REDS و Vimeo-90K، والتي تدعم تحسين الدقة بمقدار 4x. كما يوفر الوصول إلى مجموعات بيانات اختبار مُعدة لمعايير مثل Vid4 و REDS4، والتي تتضمن كلاً من إطارات الفيديو وبيانات الأحداث المقابلة. تعليمات التثبيت مفصلة لكل من بيئات Conda و Docker، مما يضمن إمكانية الوصول لمجموعة واسعة من المستخدمين.
تشمل القدرات الرئيسية القدرة على معالجة بيانات الفيديو جنبًا إلى جنب مع تدفقات الأحداث لإعادة بناء أنسجة أدق وتقليل العيوب التي غالبًا ما تُرى في طرق VSR التقليدية. تم بناء المشروع على إطار عمل BasicSR ويستلهم من أعمال أخرى بارزة مثل RAFT و event_utils و EvTexture-jupyter. يسمح هذا الأساس بالتجريب والنشر بكفاءة. تم إصدار المشروع بموجب ترخيص Apache-2.0، مما يشجع على التعاون المفتوح والمزيد من البحث في مجال تحسين الفيديو المعتمد على الأحداث.
- الفئةمحرّرات الفيديو بالذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتLinux, Windows
الميزات الأساسية لـ EvTexture & EvTexture++
تعزيز النسيج المعتمد على الأحداث لتحسين دقة الفيديو
تطبيق PyTorch رسمي لـ EvTexture (ICML 2024)
تطبيق PyTorch رسمي لـ EvTexture++ (TPAMI 2026)
يشمل نماذج مدربة مسبقًا لمجموعات بيانات REDS و Vimeo-90K
يدعم مقياس تحسين الدقة 4x
يوفر مجموعات بيانات اختبار مُعدة مسبقًا لـ Vid4 و REDS4
يشمل عروض فيديو توضح نتائج التكبير
يقدم التثبيت عبر Conda و Docker
مبني على إطار عمل BasicSR
ترخيص Apache-2.0 للاستخدام والتعديل المفتوح
البدء مع EvTexture & EvTexture++
استنساخ المستودع: احصل على تعليمات EvTexture البرمجية من مستودع GitHub.
تثبيت التبعيات: قم بإعداد بيئة Python المطلوبة مع إصدارات PyTorch و CUDA المحددة، أو استخدم صورة Docker المقدمة.
تنزيل النماذج والبيانات: احصل على النماذج المدربة مسبقًا ومجموعات بيانات الاختبار المُعدة مسبقًا لـ Vid4 و REDS4.
تكوين الاختبار: اضبط ملفات تكوين الاختبار (على سبيل المثال، options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
تنفيذ الاختبار: قم بتشغيل برنامج الاختبار الموزع مع العدد المحدد من وحدات معالجة الرسومات.
تحليل النتائج: راجع نتائج الاستدلال التي تم إنشاؤها في دليل 'results/'.
حالات استخدام EvTexture & EvTexture++
- تحسين دقة الفيديو
- تعزيز النسيج
- معالجة بيانات كاميرات الأحداث
- البحث في استعادة الفيديو
- تكبير الفيديو في الوقت الفعلي
- تحسين الفيديو في الإضاءة المنخفضة
