VideoPoet

Auf technischer Ebene nutzt VideoPoet einen vortrainierten MAGVIT V2 Video-Tokenizer und einen SoundStream Audio-Tokenizer. Diese Komponenten wandeln Bilder, Videos und Audioclips variabler Länge in diskrete Codes innerhalb eines einheitlichen Vokabulars um. Diese Codes sind mit textbasierten Sprachmodellen kompatibel, was eine nahtlose Integration mit anderen Modalitäten wie Text ermöglicht. Ein autoregressives Sprachmodell lernt dann über Video-, Bild-, Audio- und Textmodalitäten hinweg, um das nachfolgende Video- oder Audiotoken in einer Sequenz vorherzusagen. Das Trainingsframework umfasst eine Mischung aus multimodalen generativen Lernzielen, darunter Text-zu-Video, Text-zu-Bild, Bild-zu-Video, Video-Frame-Fortsetzung, Video-Inpainting und -Outpainting, Videostilisierung und Video-zu-Audio. Diese Aufgaben können kombiniert werden, um zusätzliche Zero-Shot-Fähigkeiten zu erzielen, wie z. B. Text-zu-Audio-Generierung.

Die Fähigkeiten von VideoPoet gehen über die einfache Generierung hinaus. Es kann Videos mit hoher Bewegung und variabler Länge basierend auf Textvorgaben ausgeben und auch Audio generieren, das zu einem Eingabevideo passt, ohne Textführung. Das Modell unterstützt die Generierung von Videos in quadratischen oder Hochformat-Ausrichtungen, was es für Kurzform-Inhalte geeignet macht. Darüber hinaus zeichnet es sich durch kontrollierbare Videobearbeitung aus, die es ermöglicht, Motive verschiedenen Bewegungen oder Stilen folgen zu lassen, und durch interaktive Bearbeitung, bei der Benutzer aus generierten Kandidaten auswählen können, um die Bewegungstypen zu verfeinern. Die Bild-zu-Video-Generierung ist ebenfalls eine Schlüsselfunktion, die jedes Eingabebild in ein Video umwandelt, das von einer Textvorgabe geleitet wird. Zero-Shot-Stilisierung ermöglicht es Videos, verschiedene künstlerische Stile basierend auf Textvorgaben anzunehmen, und kontrollierbare Kamerabewegungen können durch Prompt-Engineering spezifiziert werden, was Effekte wie Zoom-Outs, Dolly-Zooms und FPV-Drohnenaufnahmen ermöglicht.

Das Modell demonstriert hochmoderne Videogenerierung, insbesondere bei der Erzeugung vielfältiger und hochfrequenter Bewegungen. Es kann längere Videos generieren, indem es iterativ eine Sekunde Ausgabe basierend auf einem Ein-Sekunden-Eingabeclip vorhersagt, und zeigt eine starke Erhaltung der Objektidentität. Dies macht VideoPoet zu einem leistungsstarken Werkzeug für visuelles Storytelling, Content-Erstellung und die Erforschung neuartiger Formen der Mediensynthese. Die Forschung unterstreicht sein Potenzial für die Erstellung dynamischer visueller Erzählungen und die einfache Anwendung stilistischer Effekte.