Beschreibung
EvTexture und seine Journal-Erweiterung EvTexture++ stellen fortschrittliche Lösungen für Video-Super-Resolution (VSR) dar, indem sie ereignisgesteuerte Texturverbesserung integrieren. Entwickelt von Forschern der University of Science and Technology of China, nutzen diese Projekte Daten von Event-Kameras, die Bewegungsinformationen mit hoher zeitlicher Auflösung und geringer Latenz erfassen, um die Qualität von hochskalierten Videos erheblich zu verbessern.
EvTexture, vorgestellt auf der ICML 2024, konzentriert sich auf die Verbesserung von Texturdetails in Videos während des Super-Resolution-Prozesses. Die nachfolgende Journal-Erweiterung EvTexture++, die 2026 von IEEE TPAMI akzeptiert wurde, verfeinert diese Techniken weiter für noch höhere Wiedergabetreue und Robustheit. Beide Implementierungen werden als offizieller PyTorch-Code bereitgestellt, der es Forschern und Entwicklern ermöglicht, diese Spitzentechnologie zu integrieren und darauf aufzubauen.
Das Repository bietet umfassende Ressourcen, einschließlich vortrainierter Modelle für verschiedene Datensätze und Degradationsarten, wie REDS und Vimeo-90K, die eine 4x Super-Resolution unterstützen. Es bietet auch Zugriff auf vorbereitete Testdatensätze für Benchmarks wie Vid4 und REDS4, die sowohl Videoframes als auch entsprechende Event-Daten enthalten. Installationsanweisungen sind sowohl für Conda-Umgebungen als auch für Docker detailliert, um die Zugänglichkeit für eine breite Palette von Benutzern zu gewährleisten.
Zu den Kernfunktionen gehört die Fähigkeit, Videodaten zusammen mit Event-Streams zu verarbeiten, um feinere Texturen zu rekonstruieren und Artefakte zu reduzieren, die oft bei traditionellen VSR-Methoden auftreten. Das Projekt basiert auf dem BasicSR-Framework und lässt sich von anderen bemerkenswerten Arbeiten wie RAFT, event_utils und EvTexture-jupyter inspirieren. Diese Grundlage ermöglicht effiziente Experimente und Bereitstellungen. Das Projekt wird unter der Apache-2.0-Lizenz veröffentlicht, was die offene Zusammenarbeit und weitere Forschung im Bereich der ereignisgesteuerten Videoverbesserung fördert.
EvTexture & EvTexture++'s Kernfunktionen
Ereignisgesteuerte Texturverbesserung für Video-Super-Resolution
Offizielle PyTorch-Implementierung für EvTexture (ICML 2024)
Offizielle PyTorch-Implementierung für EvTexture++ (TPAMI 2026)
Enthält vortrainierte Modelle für die Datensätze REDS und Vimeo-90K
Unterstützt eine 4x Super-Resolution-Skalierung
Stellt vorverarbeitete Testdatensätze für Vid4 und REDS4 bereit
Enthält Videodemos, die Upsampling-Ergebnisse zeigen
Bietet Installation über Conda und Docker
Basiert auf dem BasicSR-Framework
Apache-2.0-Lizenz für offene Nutzung und Modifikation
Erste Schritte mit EvTexture & EvTexture++
Repository klonen: Holen Sie sich den EvTexture-Code aus dem GitHub-Repository.
Abhängigkeiten installieren: Richten Sie die erforderliche Python-Umgebung mit den angegebenen PyTorch- und CUDA-Versionen ein oder verwenden Sie das bereitgestellte Docker-Image.
Modelle und Daten herunterladen: Erwerben Sie vortrainierte Modelle und vorverarbeitete Testdatensätze für Vid4 und REDS4.
Testen konfigurieren: Passen Sie die Testkonfigurationsdateien an (z. B. options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Testen ausführen: Führen Sie das verteilte Testskript mit der angegebenen Anzahl von GPUs aus.
Ergebnisse analysieren: Überprüfen Sie die generierten Inferenz-Ergebnisse im Verzeichnis 'results/'.
EvTexture & EvTexture++'s Anwendungsfälle
- Video Super-Resolution
- Texturverbesserung
- Verarbeitung von Event-Kameradaten
- Forschung in der Videorestaurierung
- Echtzeit-Video-Upscaling
- Verbesserung von Videos bei schlechten Lichtverhältnissen
