Descrição
TokenFlow apresenta um framework inovador para edição de vídeo consistente, aproveitando modelos de difusão pré-treinados de texto para imagem sem a necessidade de treinamento ou ajuste fino adicional. Os rápidos avanços em IA generativa se estenderam à geração de vídeo, mas os modelos de vídeo de ponta atuais muitas vezes ficam aquém dos modelos de imagem em qualidade visual e controle do usuário. Este trabalho introduz um método que aproveita o poder dos modelos de difusão de texto para imagem para edição de vídeo orientada por texto.
Ler mais
Dada uma vídeo fonte e um prompt de texto alvo, TokenFlow gera um vídeo de alta qualidade que se alinha com o texto alvo, preservando meticulosamente o layout espacial e a dinâmica do vídeo de entrada original. A inovação central reside na observação de que a consistência no vídeo editado pode ser alcançada impondo consistência no espaço de recursos de difusão. Isso é realizado propagando explicitamente recursos de difusão com base em correspondências inter-quadros prontamente disponíveis dentro do modelo. Consequentemente, o framework opera sem a necessidade de qualquer treinamento ou ajuste fino e é compatível com qualquer técnica de edição de texto para imagem pronta para uso.
A implementação é fornecida em PyTorch e é o repositório oficial do artigo "TokenFlow: Consistent Diffusion Features for Consistent Video Editing", apresentado na ICLR 2024. O projeto demonstra resultados de edição de ponta em uma variedade de vídeos do mundo real. Os usuários podem explorar resultados de amostra, detalhes do projeto e a pesquisa subjacente através dos links fornecidos. O framework é projetado para edições que preservam a estrutura e se baseia em técnicas de edição de imagem existentes, como Plug-and-Play, ControlNet e SDEdit. Recomenda-se que os usuários garantam a compatibilidade com sua técnica de edição base escolhida, pois o decodificador LDM pode introduzir um leve tremor dependendo do conteúdo do vídeo original.
- CategoriaEditores de vídeo com IA
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de TokenFlow
Implementação oficial em PyTorch do TokenFlow
Permite edição de vídeo consistente usando modelos de difusão pré-treinados
Não requer treinamento ou ajuste fino adicional
Preserva o layout espacial e a dinâmica dos vídeos de entrada
Alcança edição de vídeo orientada por texto
Impõe consistência no espaço de recursos de difusão
Utiliza correspondências inter-quadros para propagação de recursos
Compatível com métodos de edição de texto para imagem prontos para uso
Demonstra resultados de edição de ponta
Suporta edições que preservam a estrutura
Funciona com técnicas Plug-and-Play, ControlNet e SDEdit
Primeiros passos com TokenFlow
Clonar: Clone o repositório TokenFlow do GitHub.
Instalar dependências: Crie um ambiente conda e instale os pacotes necessários usando `pip install -r requirements.txt`.
Pré-processar: Prepare seu vídeo executando `python preprocess.py` com o caminho dos dados e o prompt de inversão especificados.
Configurar: Crie um arquivo de configuração YAML para o método de edição escolhido (por exemplo, `configs/config_pnp.yaml`).
Executar: Execute o script de edição, como `python run_tokenflow_pnp.py`, usando sua configuração.
Casos de uso de TokenFlow
- Modificação de vídeo orientada por texto
- Edição de vídeo com preservação de estrutura
- Criação de conteúdo de vídeo com IA
- Melhoria da qualidade de vídeo
- Pesquisa e desenvolvimento em IA de vídeo
