Description
Invoker-Render est un modèle d'IA vidéo-à-vidéo sophistiqué, développé par inclusionAI, qui permet une génération vidéo hautement contrôlable. Avec 33,12 milliards de paramètres, ce modèle se concentre sur la génération d'apparences vidéo basées sur des proxys structurels, une seule image de référence d'apparence et des invites textuelles. Il fonctionne sur le principe de maintenir l'état du monde dans un moteur en amont, où les proxys visuels dictent des éléments tels que le chemin de la caméra, la mise en scène et le mouvement des objets, tandis que le modèle vidéo gère le rendu visuel.
Lire la suite
Le cœur d'Invoker-Render réside dans ses poids DiT de streaming causals, qui sont hébergés dans son dépôt. Le modèle est conçu pour fonctionner en conjonction avec le code d'inférence compagnon CodeWorldModel, facilitant la génération de streaming causale en quatre étapes. Cette configuration repose sur des frameworks robustes tels que MiniMax-H3, SGLang et SGLang-Omni, garantissant un fonctionnement efficace et évolutif.
Les points forts d'Invoker-Render incluent sa capacité de streaming à long terme, qui permet aux sessions de fonctionner indéfiniment tant que des images proxy sont fournies. Cela est réalisé grâce à un ancrage d'apparence fixe et une fenêtre d'historique limitée, maintenant la cohérence visuelle sur de longues périodes. De plus, le modèle offre un contrôle multi-granularité, acceptant une large gamme d'entrées structurelles telles que des cartes sémantiques, des boîtes 3D éparses, des masques de sujet, de la géométrie ombragée et des boîtes avec des squelettes, offrant aux utilisateurs un contrôle précis sur le contenu vidéo généré.
Pour un déploiement interactif, le code compagnon fournit un service de session WebSocket, un client de fichiers et un client de navigateur, rendant le modèle accessible pour diverses applications. Les poids du modèle sont stockés au format FP32 sur 29 fragments de safetensors, totalisant environ 132,5 Go. Bien que le dépôt inclue les poids principaux de streaming DiT causals, les utilisateurs doivent préparer des actifs correspondants tels que VAE, Qwen, le décodeur causal et les tenseurs de silence séparément pour l'inférence. Le profil de production par défaut pour l'inférence nécessite généralement huit GPU NVIDIA sur un seul nœud, traitant des entrées telles qu'une première image RGB de 1344×768, une vidéo proxy à 24 FPS et une invite textuelle.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de Invoker-Render
Modèle Vidéo-à-Vidéo : Génère des apparences vidéo à partir de proxys structurels et d'entrées.
33 Milliards de Paramètres : Taille de modèle importante pour des capacités avancées de génération vidéo.
Rendu Conditionné par Proxy : Utilise des proxys visuels pour contrôler le chemin de la caméra, la mise en scène et le mouvement des objets.
Entrée d'Image de Référence d'Apparence : Prend une image pour guider le style visuel.
Entrée d'Invite Textuelle : Accepte des descriptions textuelles pour la génération de contenu.
Poids DiT de Streaming Causals : Utilise des poids de modèle spécifiques pour la génération de streaming.
Streaming à Long Terme : Prend en charge la génération vidéo continue à mesure que les images proxy arrivent.
Ancrage d'Apparence Fixe : Maintient une apparence cohérente sur de longues sessions.
Contrôle Multi-Granularité : Accepte diverses entrées structurelles telles que des cartes sémantiques, des boîtes 3D et des masques de sujet.
Déploiement Interactif : Le code compagnon offre des clients WebSocket, de fichiers et de navigateur.
Poids FP32 : Poids du modèle stockés en pleine précision.
Modèle de Base MiniMax-H3 : Construit sur l'architecture MiniMax-H3.
Licence Apache-2.0 : Régit l'utilisation du dépôt.
Licence CC BY-NC 4.0 : S'applique à l'utilisation non commerciale.
Premiers pas avec Invoker-Render
Accéder aux Poids du Modèle : Téléchargez les poids principaux de streaming DiT causals depuis la racine du dépôt.
Préparer les Actifs : Acquérir et préparer séparément des actifs correspondants tels que VAE, Qwen et le décodeur causal.
Configurer l'Environnement : Suivez le README.md et docs/INFERENCE.md dans le dépôt compagnon CodeWorldModel.
Préparer le Bundle : Créez un bundle d'inférence comme indiqué dans le dépôt compagnon.
Démarrer le Service ou Exécuter l'Inférence : Initiez le service de session WebSocket ou exécutez l'inférence de fichiers en utilisant invoker_render.py.
Fournir des Entrées : Fournissez une première image RGB de 1344×768, une vidéo proxy à 24 FPS et une invite textuelle.
Cas d'utilisation de Invoker-Render
- Génération Vidéo Contrôlable
- Création de Vidéo Longue Durée
- Édition Vidéo Sémantique
- Rendu de Scène 3D
- Applications Vidéo Interactives




