EvTexture & EvTexture++

Deskripsi

EvTexture dan ekstensi jurnalnya EvTexture++ mewakili solusi canggih untuk super-resolusi video (VSR) dengan menggabungkan peningkatan tekstur berbasis peristiwa. Dikembangkan oleh peneliti dari University of Science and Technology of China, proyek-proyek ini memanfaatkan data dari kamera peristiwa, yang menangkap informasi gerakan dengan resolusi temporal tinggi dan latensi rendah, untuk secara signifikan meningkatkan kualitas video yang ditingkatkan skalanya.

EvTexture, yang dipresentasikan di ICML 2024, berfokus pada peningkatan detail tekstur dalam video selama proses super-resolusi. Ekstensi jurnal selanjutnya, EvTexture++, yang diterima oleh IEEE TPAMI pada tahun 2026, lebih menyempurnakan teknik-teknik ini untuk fidelitas dan ketahanan yang lebih besar. Kedua implementasi disediakan sebagai kode PyTorch resmi, memungkinkan peneliti dan pengembang untuk mengintegrasikan dan membangun teknologi mutakhir ini.

Repositori ini menawarkan sumber daya yang komprehensif, termasuk model yang telah dilatih sebelumnya untuk berbagai dataset dan jenis degradasi, seperti REDS dan Vimeo-90K, mendukung skala super-resolusi 4x. Ini juga menyediakan akses ke dataset uji yang disiapkan untuk tolok ukur seperti Vid4 dan REDS4, yang mencakup bingkai video dan data peristiwa yang sesuai. Instruksi instalasi dirinci untuk lingkungan Conda dan Docker, memastikan aksesibilitas bagi berbagai pengguna.

Kemampuan utama meliputi kemampuan untuk memproses data video bersama dengan aliran peristiwa untuk merekonstruksi tekstur yang lebih halus dan mengurangi artefak yang sering terlihat pada metode VSR tradisional. Proyek ini dibangun di atas kerangka kerja BasicSR dan mengambil inspirasi dari karya penting lainnya seperti RAFT, event_utils, dan EvTexture-jupyter. Fondasi ini memungkinkan eksperimen dan penerapan yang efisien. Proyek ini dirilis di bawah lisensi Apache-2.0, mendorong kolaborasi terbuka dan penelitian lebih lanjut di bidang peningkatan video berbasis peristiwa.

Fitur Inti EvTexture & EvTexture++

• Peningkatan tekstur berbasis peristiwa untuk super-resolusi video

• Implementasi PyTorch resmi untuk EvTexture (ICML 2024)

• Implementasi PyTorch resmi untuk EvTexture++ (TPAMI 2026)

• Termasuk model yang telah dilatih sebelumnya untuk dataset REDS dan Vimeo-90K

• Mendukung skala super-resolusi 4x

• Menyediakan dataset uji yang telah diproses sebelumnya untuk Vid4 dan REDS4

• Termasuk demo video yang menampilkan hasil upsampling

• Menawarkan instalasi melalui Conda dan Docker

• Dibangun di atas kerangka kerja BasicSR

• Lisensi Apache-2.0 untuk penggunaan dan modifikasi terbuka

Memulai dengan EvTexture & EvTexture++

1. 1

   Kloning Repositori: Dapatkan kode EvTexture dari repositori GitHub.

2. 2

   Instal Dependensi: Siapkan lingkungan Python yang diperlukan dengan versi PyTorch dan CUDA yang ditentukan, atau gunakan gambar Docker yang disediakan.

3. 3

   Unduh Model dan Data: Dapatkan model yang telah dilatih sebelumnya dan dataset uji yang telah diproses sebelumnya untuk Vid4 dan REDS4.

4. 4

   Konfigurasi Pengujian: Sesuaikan file konfigurasi pengujian (misalnya, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).

5. 5

   Jalankan Pengujian: Jalankan skrip pengujian terdistribusi dengan jumlah GPU yang ditentukan.

6. 6

   Analisis Hasil: Tinjau hasil inferensi yang dihasilkan di direktori 'results/'.

Kasus Penggunaan EvTexture & EvTexture++

• Super-Resolusi Video
• Peningkatan Tekstur
• Pemrosesan Data Kamera Peristiwa
• Penelitian dalam Pemulihan Video
• Upscaling Video Real-time
• Peningkatan Video Cahaya Rendah

FAQ dari EvTexture & EvTexture++

• Apa itu EvTexture dan EvTexture++?

  EvTexture dan EvTexture++ adalah implementasi PyTorch untuk peningkatan tekstur berbasis peristiwa dalam super-resolusi video, yang dikembangkan untuk ICML 2024 dan IEEE TPAMI 2026 masing-masing.

• Jenis data apa yang digunakan EvTexture untuk peningkatan?

  EvTexture memanfaatkan bingkai video standar dan data peristiwa yang ditangkap oleh kamera peristiwa untuk meningkatkan super-resolusi video.

• Publikasi utama apa yang terkait dengan EvTexture?

  EvTexture terkait dengan ICML 2024, dan ekstensi jurnalnya EvTexture++ terkait dengan IEEE TPAMI 2026.

• Apa persyaratan sistem untuk menjalankan EvTexture?

  Persyaratan meliputi Miniconda, CUDA Toolkit 11.1.1, PyTorch 1.10.2+cu111, dan torchvision 0.11.3+cu111, atau lingkungan Docker.

• Bisakah saya menggunakan model yang telah dilatih sebelumnya dengan EvTexture?

  Ya, model yang telah dilatih sebelumnya untuk dataset REDS dan Vimeo-90K dengan skala SR 4x tersedia untuk diunduh.

• Dataset apa yang disediakan untuk menguji EvTexture?

  Set pengujian yang telah diproses sebelumnya untuk Vid4 dan REDS4, termasuk data peristiwa, tersedia untuk diunduh.

• Bagaimana cara menguji EvTexture pada video saya sendiri?

  Skrip untuk inferensi pada video yang disediakan pengguna sedang dikembangkan dan akan dirilis di repositori.

• Apa lisensi untuk proyek EvTexture?

  Proyek ini dirilis di bawah lisensi Apache-2.0.

• Kerangka kerja apa yang menjadi dasar EvTexture?

  EvTexture dibangun di atas kerangka kerja BasicSR, sebuah toolbox sumber terbuka untuk tugas pemulihan gambar dan video.

• Di mana saya dapat menemukan demonstrasi video hasil EvTexture?

  Demonstrasi video yang menampilkan hasil upsampling 4x pada set pengujian Vid4 dan REDS4 tersedia di repositori.