VideoPoet

En su base técnica, VideoPoet utiliza un tokenizador de video MAGVIT V2 pre-entrenado y un tokenizador de audio SoundStream. Estos componentes convierten clips de imagen, video y audio de longitudes variables en códigos discretos dentro de un vocabulario unificado. Estos códigos son compatibles con modelos de lenguaje basados en texto, facilitando una integración fluida con otras modalidades como el texto. Un modelo de lenguaje autorregresivo aprende a través de las modalidades de video, imagen, audio y texto para predecir el siguiente token de video o audio en una secuencia. El marco de entrenamiento incorpora una mezcla de objetivos de aprendizaje generativo multimodal, que incluyen texto a video, texto a imagen, imagen a video, continuación de fotogramas de video, inpainting y outpainting de video, estilizado de video y video a audio. Estas tareas se pueden componer para lograr capacidades zero-shot adicionales, como la generación de texto a audio.

Las capacidades de VideoPoet se extienden más allá de la generación simple. Puede producir videos de alto movimiento y longitud variable basados en indicaciones de texto, y también puede generar audio para que coincida con un video de entrada sin guía de texto. El modelo soporta la generación de videos en orientaciones cuadradas o verticales, lo que lo hace adecuado para contenido de formato corto. Además, sobresale en la edición de video controlable, permitiendo que los sujetos sigan diferentes movimientos o estilos, y en la edición interactiva donde los usuarios pueden seleccionar entre candidatos generados para refinar los tipos de movimiento. La generación de imagen a video también es una característica clave, transformando cualquier imagen de entrada en un video guiado por una indicación de texto. El estilizado zero-shot permite que los videos adopten varios estilos artísticos basados en indicaciones de texto, y los movimientos de cámara controlables se pueden especificar a través de la ingeniería de prompts, permitiendo efectos como zoom out, dolly zoom y tomas de drones FPV.

El modelo demuestra una generación de video de vanguardia, particularmente en la producción de movimientos diversos y de alta fidelidad. Puede generar videos más largos prediciendo iterativamente un segundo de salida basado en un clip de entrada de un segundo, mostrando una fuerte preservación de la identidad del objeto. Esto convierte a VideoPoet en una herramienta poderosa para la narración visual, la creación de contenido y la exploración de formas novedosas de síntesis de medios. La investigación destaca su potencial para crear narrativas visuales dinámicas y aplicar efectos estilísticos con facilidad.