Descripción
V-JEPA, o Video Joint Embedding Predictive Architecture, es una base de código oficial en PyTorch desarrollada por Meta AI Research (FAIR) para el aprendizaje autosupervisado de representaciones visuales a partir de video. Este método se enfoca en aprender representaciones visuales robustas observando pasivamente píxeles de video de conjuntos de datos como VideoMix2M. A diferencia de los modelos generativos que dependen de la reconstrucción de píxeles, V-JEPA emplea un objetivo de predicción de características no supervisado. No requiere codificadores de imágenes preentrenados, texto, ejemplos negativos, anotaciones humanas ni reconstrucción a nivel de píxel, lo que lo convierte en un enfoque puramente no supervisado.
El núcleo de la metodología de V-JEPA involucra un predictor que opera en un espacio latente, en lugar de un decodificador de píxeles. Este predictor realiza predicciones para regiones faltantes de un video basándose en las partes observadas. Para visualizar estas predicciones, se utiliza un modelo de difusión condicional para decodificar las predicciones del espacio latente en píxeles interpretables. Crucialmente, durante este proceso de decodificación, las redes de codificador y predictor V-JEPA preentrenadas permanecen fijas, asegurando que las representaciones aprendidas se conserven.
La base de código está estructurada para facilitar tanto el preentrenamiento como la evaluación. Los archivos de configuración en el directorio `configs` especifican los parámetros del experimento, permitiendo a los usuarios personalizar las rutas para registros, puntos de control y datos de entrenamiento. El directorio `app` contiene los bucles de entrenamiento, con `main.py` para depuración local y `main_distributed.py` para lanzar entrenamiento distribuido en clústeres utilizando herramientas como submitit y SLURM. El directorio `evals` alberga scripts de evaluación para tareas como clasificación de imágenes y video, que también admiten ejecución local y distribuida.
La preparación de datos implica la creación de archivos CSV para conjuntos de datos de video, donde cada línea especifica la ruta absoluta a un archivo de video y una etiqueta de clase entera (que se ignora durante el preentrenamiento no supervisado pero se utiliza para evaluaciones supervisadas). Los conjuntos de datos de imágenes se preparan utilizando la clase estándar PyTorch ImageFolder, que requiere una estructura de directorio específica. El proyecto proporciona modelos preentrenados, incluidas variantes ViT-L y ViT-H, junto con sondas atencionales para diversas tareas posteriores como K400, SSv2, ImageNet1K, Places205 e iNat21, lo que demuestra la versatilidad de las representaciones aprendidas.
Características principales de V-JEPA
Aprendizaje autosupervisado a partir de video utilizando la Arquitectura Predictiva de Incrustación Conjunta (JEPA)
Objetivo de predicción de características no supervisado en el espacio latente
Sin dependencia de reconstrucción a nivel de píxel o anotaciones humanas
Representaciones visuales versátiles para tareas posteriores de video e imagen
Base de código oficial en PyTorch con modelos y configuraciones proporcionados
Soporta entrenamiento y evaluación local y distribuida
Incluye modelos preentrenados (ViT-L, ViT-H) y sondas atencionales
Preparación de datos flexible para conjuntos de datos de video e imagen
La base de código incluye scripts para preentrenamiento y evaluación
Visualizaciones a través de modelos de difusión condicional en el espacio latente
Primeros pasos con V-JEPA
Clonar Repositorio: Obtenga la base de código V-JEPA desde GitHub.
Instalar Dependencias: Configure un entorno Python (por ejemplo, usando conda) e instale los paquetes requeridos.
Configurar Experimentos: Actualice las rutas en los archivos de configuración dentro del directorio `configs` para datos, registros y puntos de control.
Preparar Datos: Formatee los conjuntos de datos de video e imagen según la estructura CSV o ImageFolder especificada.
Lanzar Preentrenamiento: Ejecute el preentrenamiento local o distribuido utilizando `app/main.py` o `app/main_distributed.py`.
Lanzar Evaluaciones: Ejecute evaluaciones locales o distribuidas para tareas posteriores utilizando `evals/main.py` o `evals/main_distributed.py`.
Utilizar Modelos Preentrenados: Descargue e integre los modelos V-JEPA preentrenados proporcionados para sus aplicaciones.
Casos de uso de V-JEPA
- Aprendizaje de Representaciones de Video
- Clasificación de Imágenes
- Clasificación de Video
- Adaptación a Tareas Posteriores
- Investigación y Desarrollo
- Predicción de Características
