설명
EvTexture와 그 저널 확장판인 EvTexture++는 이벤트 기반 텍스처 향상을 통합하여 비디오 초해상도(VSR)를 위한 고급 솔루션을 나타냅니다. 중국 과학기술대학교 연구진이 개발한 이 프로젝트들은 이벤트 카메라의 데이터를 활용합니다. 이벤트 카메라는 높은 시간 해상도와 낮은 지연 시간으로 움직임 정보를 포착하여 업스케일링된 비디오의 품질을 크게 향상시킵니다.
ICML 2024에서 발표된 EvTexture는 초해상도 과정 중 비디오의 텍스처 디테일을 향상시키는 데 중점을 둡니다. 이후 2026년 IEEE TPAMI에 게재된 저널 확장판인 EvTexture++는 이러한 기술을 더욱 정교하게 다듬어 더욱 뛰어난 충실도와 견고성을 제공합니다. 두 구현체 모두 공식 PyTorch 코드로 제공되어 연구원 및 개발자가 이 최첨단 기술을 통합하고 이를 기반으로 구축할 수 있습니다.
이 리포지토리는 REDS 및 Vimeo-90K와 같은 다양한 데이터셋 및 저하 유형에 대한 4배 초해상도를 지원하는 사전 학습된 모델을 포함한 포괄적인 리소스를 제공합니다. 또한 비디오 프레임과 해당 이벤트 데이터를 모두 포함하는 Vid4 및 REDS4와 같은 벤치마크를 위한 준비된 테스트 데이터셋에 대한 액세스도 제공합니다. Conda 환경 및 Docker 모두에 대한 설치 지침이 상세하게 제공되어 광범위한 사용자가 접근할 수 있습니다.
주요 기능에는 미세한 텍스처를 재구성하고 기존 VSR 방법에서 흔히 볼 수 있는 아티팩트를 줄이기 위해 이벤트 스트림과 함께 비디오 데이터를 처리하는 기능이 포함됩니다. 이 프로젝트는 BasicSR 프레임워크를 기반으로 하며 RAFT, event_utils, EvTexture-jupyter와 같은 다른 주목할 만한 작업에서 영감을 얻었습니다. 이러한 기반은 효율적인 실험 및 배포를 가능하게 합니다. 이 프로젝트는 Apache-2.0 라이선스로 출시되어 이벤트 기반 비디오 향상 분야의 개방적인 협업 및 추가 연구를 장려합니다.
EvTexture & EvTexture++의 핵심 기능
비디오 초해상도를 위한 이벤트 기반 텍스처 향상
EvTexture (ICML 2024) 공식 PyTorch 구현
EvTexture++ (TPAMI 2026) 공식 PyTorch 구현
REDS 및 Vimeo-90K 데이터셋용 사전 학습 모델 포함
4배 초해상도 스케일 지원
Vid4 및 REDS4용 사전 처리된 테스트 데이터셋 제공
업샘플링 결과 시연 비디오 데모 포함
Conda 및 Docker를 통한 설치 제공
BasicSR 프레임워크 기반 구축
개방형 사용 및 수정을 위한 Apache-2.0 라이선스
EvTexture & EvTexture++ 시작하기
리포지토리 복제: GitHub 리포지토리에서 EvTexture 코드를 가져옵니다.
종속성 설치: 지정된 PyTorch 및 CUDA 버전을 사용하여 필요한 Python 환경을 설정하거나 제공된 Docker 이미지를 사용합니다.
모델 및 데이터 다운로드: Vid4 및 REDS4용 사전 학습된 모델과 사전 처리된 테스트 데이터셋을 다운로드합니다.
테스트 구성: 테스트 구성 파일(예: options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml)을 조정합니다.
테스트 실행: 지정된 GPU 수로 분산 테스트 스크립트를 실행합니다.
결과 분석: 'results/' 디렉토리에서 생성된 추론 결과를 검토합니다.
EvTexture & EvTexture++의 사용 사례
- 비디오 초해상도
- 텍스처 향상
- 이벤트 카메라 데이터 처리
- 비디오 복원 연구
- 실시간 비디오 업스케일링
- 저조도 비디오 개선
