Deskripsi
EvTexture dan ekstensi jurnalnya EvTexture++ mewakili solusi canggih untuk super-resolusi video (VSR) dengan menggabungkan peningkatan tekstur berbasis peristiwa. Dikembangkan oleh peneliti dari University of Science and Technology of China, proyek-proyek ini memanfaatkan data dari kamera peristiwa, yang menangkap informasi gerakan dengan resolusi temporal tinggi dan latensi rendah, untuk secara signifikan meningkatkan kualitas video yang ditingkatkan skalanya.
Baca Selengkapnya
EvTexture, yang dipresentasikan di ICML 2024, berfokus pada peningkatan detail tekstur dalam video selama proses super-resolusi. Ekstensi jurnal selanjutnya, EvTexture++, yang diterima oleh IEEE TPAMI pada tahun 2026, lebih menyempurnakan teknik-teknik ini untuk fidelitas dan ketahanan yang lebih besar. Kedua implementasi disediakan sebagai kode PyTorch resmi, memungkinkan peneliti dan pengembang untuk mengintegrasikan dan membangun teknologi mutakhir ini.
Repositori ini menawarkan sumber daya yang komprehensif, termasuk model yang telah dilatih sebelumnya untuk berbagai dataset dan jenis degradasi, seperti REDS dan Vimeo-90K, mendukung skala super-resolusi 4x. Ini juga menyediakan akses ke dataset uji yang disiapkan untuk tolok ukur seperti Vid4 dan REDS4, yang mencakup bingkai video dan data peristiwa yang sesuai. Instruksi instalasi dirinci untuk lingkungan Conda dan Docker, memastikan aksesibilitas bagi berbagai pengguna.
Kemampuan utama meliputi kemampuan untuk memproses data video bersama dengan aliran peristiwa untuk merekonstruksi tekstur yang lebih halus dan mengurangi artefak yang sering terlihat pada metode VSR tradisional. Proyek ini dibangun di atas kerangka kerja BasicSR dan mengambil inspirasi dari karya penting lainnya seperti RAFT, event_utils, dan EvTexture-jupyter. Fondasi ini memungkinkan eksperimen dan penerapan yang efisien. Proyek ini dirilis di bawah lisensi Apache-2.0, mendorong kolaborasi terbuka dan penelitian lebih lanjut di bidang peningkatan video berbasis peristiwa.
- KategoriEditor Video AI
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformLinux, Windows
Fitur Inti EvTexture & EvTexture++
Peningkatan tekstur berbasis peristiwa untuk super-resolusi video
Implementasi PyTorch resmi untuk EvTexture (ICML 2024)
Implementasi PyTorch resmi untuk EvTexture++ (TPAMI 2026)
Termasuk model yang telah dilatih sebelumnya untuk dataset REDS dan Vimeo-90K
Mendukung skala super-resolusi 4x
Menyediakan dataset uji yang telah diproses sebelumnya untuk Vid4 dan REDS4
Termasuk demo video yang menampilkan hasil upsampling
Menawarkan instalasi melalui Conda dan Docker
Dibangun di atas kerangka kerja BasicSR
Lisensi Apache-2.0 untuk penggunaan dan modifikasi terbuka
Memulai dengan EvTexture & EvTexture++
Kloning Repositori: Dapatkan kode EvTexture dari repositori GitHub.
Instal Dependensi: Siapkan lingkungan Python yang diperlukan dengan versi PyTorch dan CUDA yang ditentukan, atau gunakan gambar Docker yang disediakan.
Unduh Model dan Data: Dapatkan model yang telah dilatih sebelumnya dan dataset uji yang telah diproses sebelumnya untuk Vid4 dan REDS4.
Konfigurasi Pengujian: Sesuaikan file konfigurasi pengujian (misalnya, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Jalankan Pengujian: Jalankan skrip pengujian terdistribusi dengan jumlah GPU yang ditentukan.
Analisis Hasil: Tinjau hasil inferensi yang dihasilkan di direktori 'results/'.
Kasus Penggunaan EvTexture & EvTexture++
- Super-Resolusi Video
- Peningkatan Tekstur
- Pemrosesan Data Kamera Peristiwa
- Penelitian dalam Pemulihan Video
- Upscaling Video Real-time
- Peningkatan Video Cahaya Rendah
