Description
EvTexture et son extension de journal EvTexture++ représentent des solutions avancées pour la super-résolution vidéo (VSR) en intégrant l'amélioration de texture pilotée par événements. Développés par des chercheurs de l'Université des Sciences et Technologies de Chine, ces projets utilisent des données provenant de caméras événementielles, qui capturent les informations de mouvement avec une haute résolution temporelle et une faible latence, afin d'améliorer significativement la qualité des vidéos agrandies.
EvTexture, présenté à l'ICML 2024, se concentre sur l'amélioration des détails de texture dans les vidéos pendant le processus de super-résolution. L'extension de journal ultérieure, EvTexture++, acceptée par l'IEEE TPAMI en 2026, affine davantage ces techniques pour une fidélité et une robustesse encore plus grandes. Les deux implémentations sont fournies sous forme de code PyTorch officiel, permettant aux chercheurs et aux développeurs d'intégrer et de s'appuyer sur cette technologie de pointe.
Le dépôt offre des ressources complètes, y compris des modèles pré-entraînés pour divers ensembles de données et types de dégradation, tels que REDS et Vimeo-90K, prenant en charge la super-résolution 4x. Il donne également accès à des ensembles de données de test préparés pour des benchmarks comme Vid4 et REDS4, qui incluent à la fois des images vidéo et les données événementielles correspondantes. Les instructions d'installation sont détaillées pour les environnements Conda et Docker, garantissant l'accessibilité pour un large éventail d'utilisateurs.
Les capacités clés incluent la possibilité de traiter les données vidéo parallèlement aux flux d'événements pour reconstruire des textures plus fines et réduire les artefacts souvent observés dans les méthodes VSR traditionnelles. Le projet est basé sur le framework BasicSR et s'inspire d'autres travaux notables comme RAFT, event_utils et EvTexture-jupyter. Cette base permet une expérimentation et un déploiement efficaces. Le projet est publié sous la licence Apache-2.0, encourageant la collaboration ouverte et la recherche future dans le domaine de l'amélioration vidéo pilotée par événements.
Fonctionnalités principales de EvTexture & EvTexture++
Amélioration de texture pilotée par événements pour la super-résolution vidéo
Implémentation PyTorch officielle pour EvTexture (ICML 2024)
Implémentation PyTorch officielle pour EvTexture++ (TPAMI 2026)
Inclut des modèles pré-entraînés pour les ensembles de données REDS et Vimeo-90K
Prend en charge une échelle de super-résolution 4x
Fournit des ensembles de données de test pré-traités pour Vid4 et REDS4
Inclut des démos vidéo présentant les résultats de l'upscaling
Offre une installation via Conda et Docker
Basé sur le framework BasicSR
Licence Apache-2.0 pour une utilisation et une modification ouvertes
Premiers pas avec EvTexture & EvTexture++
Cloner le dépôt : Obtenez le code EvTexture depuis le dépôt GitHub.
Installer les dépendances : Configurez l'environnement Python requis avec les versions PyTorch et CUDA spécifiées, ou utilisez l'image Docker fournie.
Télécharger les modèles et les données : Acquérir les modèles pré-entraînés et les ensembles de données de test pré-traités pour Vid4 et REDS4.
Configurer les tests : Ajustez les fichiers de configuration de test (par exemple, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Exécuter les tests : Lancez le script de test distribué avec le nombre de GPU spécifié.
Analyser les résultats : Examinez les résultats d'inférence générés dans le répertoire 'results/'.
Cas d'utilisation de EvTexture & EvTexture++
- Super-résolution vidéo
- Amélioration de texture
- Traitement de données de caméras événementielles
- Recherche en restauration vidéo
- Upscaling vidéo en temps réel
- Amélioration vidéo en basse lumière
