Descrição
EvTexture e sua extensão de periódico EvTexture++ representam soluções avançadas para super-resolução de vídeo (VSR) ao incorporar aprimoramento de textura orientado a eventos. Desenvolvidos por pesquisadores da University of Science and Technology of China, esses projetos utilizam dados de câmeras de eventos, que capturam informações de movimento com alta resolução temporal e baixa latência, para melhorar significativamente a qualidade de vídeos com upscale.
Ler mais
EvTexture, apresentado na ICML 2024, foca em aprimorar detalhes de textura em vídeos durante o processo de super-resolução. A extensão subsequente de periódico, EvTexture++, aceita pela IEEE TPAMI em 2026, refina ainda mais essas técnicas para maior fidelidade e robustez. Ambas as implementações são fornecidas como código oficial PyTorch, permitindo que pesquisadores e desenvolvedores integrem e construam sobre essa tecnologia de ponta.
O repositório oferece recursos abrangentes, incluindo modelos pré-treinados para vários conjuntos de dados e tipos de degradação, como REDS e Vimeo-90K, suportando super-resolução 4x. Ele também fornece acesso a conjuntos de dados de teste preparados para benchmarks como Vid4 e REDS4, que incluem quadros de vídeo e dados de eventos correspondentes. As instruções de instalação são detalhadas para ambientes Conda e Docker, garantindo acessibilidade para uma ampla gama de usuários.
As principais capacidades incluem a habilidade de processar dados de vídeo juntamente com fluxos de eventos para reconstruir texturas mais finas e reduzir artefatos frequentemente vistos em métodos VSR tradicionais. O projeto é construído sobre o framework BasicSR e se inspira em outros trabalhos notáveis como RAFT, event_utils e EvTexture-jupyter. Essa base permite experimentação e implantação eficientes. O projeto é lançado sob a licença Apache-2.0, incentivando a colaboração aberta e pesquisas adicionais na área de aprimoramento de vídeo orientado a eventos.
- CategoriaEditores de vídeo com IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasLinux, Windows
Recursos principais de EvTexture & EvTexture++
Aprimoramento de textura orientado a eventos para super-resolução de vídeo
Implementação oficial PyTorch para EvTexture (ICML 2024)
Implementação oficial PyTorch para EvTexture++ (TPAMI 2026)
Inclui modelos pré-treinados para os conjuntos de dados REDS e Vimeo-90K
Suporta escala de super-resolução 4x
Fornece conjuntos de dados de teste pré-processados para Vid4 e REDS4
Inclui demonstrações em vídeo mostrando resultados de upscale
Oferece instalação via Conda e Docker
Construído sobre o framework BasicSR
Licença Apache-2.0 para uso e modificação abertos
Primeiros passos com EvTexture & EvTexture++
Clonar Repositório: Obtenha o código EvTexture do repositório GitHub.
Instalar Dependências: Configure o ambiente Python necessário com as versões especificadas de PyTorch e CUDA, ou use a imagem Docker fornecida.
Baixar Modelos e Dados: Adquira modelos pré-treinados e conjuntos de dados de teste pré-processados para Vid4 e REDS4.
Configurar Teste: Ajuste os arquivos de configuração de teste (por exemplo, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Executar Teste: Execute o script de teste distribuído com o número especificado de GPUs.
Analisar Resultados: Revise os resultados de inferência gerados no diretório 'results/'.
Casos de uso de EvTexture & EvTexture++
- Super-resolução de Vídeo
- Aprimoramento de Textura
- Processamento de Dados de Câmera de Eventos
- Pesquisa em Restauração de Vídeo
- Upscaling de Vídeo em Tempo Real
- Melhora de Vídeo com Pouca Luz
