Descrição
V-JEPA, ou Video Joint Embedding Predictive Architecture, é uma base de código oficial em PyTorch desenvolvida pela Meta AI Research (FAIR) para aprendizado auto-supervisionado de representações visuais a partir de vídeo. Este método foca em aprender representações visuais robustas observando passivamente pixels de vídeo de conjuntos de dados como VideoMix2M. Ao contrário de modelos generativos que dependem da reconstrução de pixels, o V-JEPA emprega um objetivo de predição de características não supervisionado. Ele não requer codificadores de imagem pré-treinados, texto, exemplos negativos, anotações humanas ou reconstrução a nível de pixel, tornando-o uma abordagem puramente não supervisionada.
O cerne da metodologia do V-JEPA envolve um preditor que opera em um espaço latente, em vez de um decodificador de pixels. Este preditor faz previsões para regiões ausentes de um vídeo com base nas partes observadas. Para visualizar essas previsões, um modelo de difusão condicional é usado para decodificar as previsões do espaço latente em pixels interpretáveis. Crucialmente, durante este processo de decodificação, as redes codificadoras e preditoras V-JEPA pré-treinadas permanecem congeladas, garantindo que as representações aprendidas sejam preservadas.
A base de código é estruturada para facilitar tanto o pré-treinamento quanto a avaliação. Arquivos de configuração no diretório `configs` especificam parâmetros de experimento, permitindo que os usuários personalizem caminhos para logs, checkpoints e dados de treinamento. O diretório `app` contém os loops de treinamento, com `main.py` para depuração local e `main_distributed.py` para iniciar treinamento distribuído em clusters usando ferramentas como submitit e SLURM. O diretório `evals` abriga scripts de avaliação para tarefas como classificação de imagem e vídeo, também suportando execução local e distribuída.
A preparação de dados envolve a criação de arquivos CSV para conjuntos de dados de vídeo, onde cada linha especifica o caminho absoluto para um arquivo de vídeo e um rótulo de classe inteiro (que é desconsiderado durante o pré-treinamento não supervisionado, mas usado para avaliações supervisionadas). Conjuntos de dados de imagem são preparados usando a classe padrão PyTorch ImageFolder, exigindo uma estrutura de diretório específica. O projeto fornece modelos pré-treinados, incluindo variantes ViT-L e ViT-H, juntamente com sondas atenciosas para várias tarefas downstream como K400, SSv2, ImageNet1K, Places205 e iNat21, demonstrando a versatilidade das representações aprendidas.
Recursos principais de V-JEPA
Aprendizado auto-supervisionado a partir de vídeo usando Arquitetura Preditiva de Joint-Embedding (JEPA)
Objetivo de predição de características não supervisionado em espaço latente
Sem dependência de reconstrução a nível de pixel ou anotações humanas
Representações visuais versáteis para tarefas downstream de vídeo e imagem
Base de código oficial em PyTorch com modelos e configurações fornecidos
Suporta treinamento e avaliação local e distribuída
Inclui modelos pré-treinados (ViT-L, ViT-H) e sondas atenciosas
Preparação flexível de dados para conjuntos de dados de vídeo e imagem
Base de código inclui scripts para pré-treinamento e avaliação
Visualizações via modelos de difusão condicional em espaço latente
Primeiros passos com V-JEPA
Clonar Repositório: Obtenha a base de código V-JEPA do GitHub.
Instalar Dependências: Configure um ambiente Python (por exemplo, usando conda) e instale os pacotes necessários.
Configurar Experimentos: Atualize os caminhos nos arquivos de configuração dentro do diretório `configs` para dados, logs e checkpoints.
Preparar Dados: Formate conjuntos de dados de vídeo e imagem de acordo com a estrutura CSV ou ImageFolder especificada.
Iniciar Pré-treinamento: Execute o pré-treinamento local ou distribuído usando `app/main.py` ou `app/main_distributed.py`.
Iniciar Avaliações: Execute avaliações locais ou distribuídas para tarefas downstream usando `evals/main.py` ou `evals/main_distributed.py`.
Utilizar Modelos Pré-treinados: Baixe e integre os modelos V-JEPA pré-treinados fornecidos para suas aplicações.
Casos de uso de V-JEPA
- Aprendizado de Representação de Vídeo
- Classificação de Imagem
- Classificação de Vídeo
- Adaptação de Tarefas Downstream
- Pesquisa e Desenvolvimento
- Predição de Características
