Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Invoker-Render

Invoker-Render est un modèle d'IA vidéo-à-vidéo avec 33 milliards de paramètres, conçu pour la génération vidéo contrôlable. Il utilise des proxys visuels pour fixer les chemins de caméra, les mises en scène et les mouvements d'objets, puis génère des apparences basées sur ces entrées structurelles, une image de référence d'apparence et des invites textuelles. Le modèle prend en charge le streaming à long terme et le contrôle multi-granularité pour diverses tâches de rendu vidéo.

Voir le modèle
Partager
Voir le modèle
Partager

Invoker-Render est un modèle d'IA vidéo-à-vidéo sophistiqué, développé par inclusionAI, qui permet une génération vidéo hautement contrôlable. Avec 33,12 milliards de paramètres, ce modèle se concentre sur la génération d'apparences vidéo basées sur des proxys structurels, une seule image de référence d'apparence et des invites textuelles. Il fonctionne sur le principe de maintenir l'état du monde dans un moteur en amont, où les proxys visuels dictent des éléments tels que le chemin de la caméra, la mise en scène et le mouvement des objets, tandis que le modèle vidéo gère le rendu visuel.

Lire la suite

Le cœur d'Invoker-Render réside dans ses poids DiT de streaming causals, qui sont hébergés dans son dépôt. Le modèle est conçu pour fonctionner en conjonction avec le code d'inférence compagnon CodeWorldModel, facilitant la génération de streaming causale en quatre étapes. Cette configuration repose sur des frameworks robustes tels que MiniMax-H3, SGLang et SGLang-Omni, garantissant un fonctionnement efficace et évolutif.

Les points forts d'Invoker-Render incluent sa capacité de streaming à long terme, qui permet aux sessions de fonctionner indéfiniment tant que des images proxy sont fournies. Cela est réalisé grâce à un ancrage d'apparence fixe et une fenêtre d'historique limitée, maintenant la cohérence visuelle sur de longues périodes. De plus, le modèle offre un contrôle multi-granularité, acceptant une large gamme d'entrées structurelles telles que des cartes sémantiques, des boîtes 3D éparses, des masques de sujet, de la géométrie ombragée et des boîtes avec des squelettes, offrant aux utilisateurs un contrôle précis sur le contenu vidéo généré.

Pour un déploiement interactif, le code compagnon fournit un service de session WebSocket, un client de fichiers et un client de navigateur, rendant le modèle accessible pour diverses applications. Les poids du modèle sont stockés au format FP32 sur 29 fragments de safetensors, totalisant environ 132,5 Go. Bien que le dépôt inclue les poids principaux de streaming DiT causals, les utilisateurs doivent préparer des actifs correspondants tels que VAE, Qwen, le décodeur causal et les tenseurs de silence séparément pour l'inférence. Le profil de production par défaut pour l'inférence nécessite généralement huit GPU NVIDIA sur un seul nœud, traitant des entrées telles qu'une première image RGB de 1344×768, une vidéo proxy à 24 FPS et une invite textuelle.

  • CatégorieModèles d'IA et LLM
  • DéploiementCloud
  • PlateformesWeb

  • Modèle Vidéo-à-Vidéo : Génère des apparences vidéo à partir de proxys structurels et d'entrées.

  • 33 Milliards de Paramètres : Taille de modèle importante pour des capacités avancées de génération vidéo.

  • Rendu Conditionné par Proxy : Utilise des proxys visuels pour contrôler le chemin de la caméra, la mise en scène et le mouvement des objets.

  • Entrée d'Image de Référence d'Apparence : Prend une image pour guider le style visuel.

  • Entrée d'Invite Textuelle : Accepte des descriptions textuelles pour la génération de contenu.

  • Poids DiT de Streaming Causals : Utilise des poids de modèle spécifiques pour la génération de streaming.

  • Streaming à Long Terme : Prend en charge la génération vidéo continue à mesure que les images proxy arrivent.

  • Ancrage d'Apparence Fixe : Maintient une apparence cohérente sur de longues sessions.

  • Contrôle Multi-Granularité : Accepte diverses entrées structurelles telles que des cartes sémantiques, des boîtes 3D et des masques de sujet.

  • Déploiement Interactif : Le code compagnon offre des clients WebSocket, de fichiers et de navigateur.

  • Poids FP32 : Poids du modèle stockés en pleine précision.

  • Modèle de Base MiniMax-H3 : Construit sur l'architecture MiniMax-H3.

  • Licence Apache-2.0 : Régit l'utilisation du dépôt.

  • Licence CC BY-NC 4.0 : S'applique à l'utilisation non commerciale.

  1. Accéder aux Poids du Modèle : Téléchargez les poids principaux de streaming DiT causals depuis la racine du dépôt.

  2. Préparer les Actifs : Acquérir et préparer séparément des actifs correspondants tels que VAE, Qwen et le décodeur causal.

  3. Configurer l'Environnement : Suivez le README.md et docs/INFERENCE.md dans le dépôt compagnon CodeWorldModel.

  4. Préparer le Bundle : Créez un bundle d'inférence comme indiqué dans le dépôt compagnon.

  5. Démarrer le Service ou Exécuter l'Inférence : Initiez le service de session WebSocket ou exécutez l'inférence de fichiers en utilisant invoker_render.py.

  6. Fournir des Entrées : Fournissez une première image RGB de 1344×768, une vidéo proxy à 24 FPS et une invite textuelle.

  • Génération Vidéo Contrôlable
  • Création de Vidéo Longue Durée
  • Édition Vidéo Sémantique
  • Rendu de Scène 3D
  • Applications Vidéo Interactives

Avis sur Invoker-Render

Chargement...

Outils IA populaires comme Invoker-Render

Muse Glimmer

Modèles IA

Muse Glimmer est un modèle de langage causal de 30 milliards de paramètres conçu pour des tâches autonomes sur du matériel grand public. Il intègre un raisonnement multi-étapes,…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Modèle de langage causal de 30 milliards de paramètres conçu pour des tâches autonomes sur du matériel grand public. Il intègre un raisonnement multi-étapes,…Muse Glimmer est un modèle de langage causal de 30 milliards de paramètres conçu pour des tâches autonomes sur du matériel grand public. Il intègre un raisonnement multi-étapes,…

En vedetteModèles d'IA et LLM
Voir le Top 5 Modèles IA

VideoPoet

Modèles IA

VideoPoet est un grand modèle linguistique de Google Research capable de génération vidéo en mode zero-shot. Il transforme les modèles de langage autorégressifs en générateurs…

Générateurs de vidéos IA
Voir l'outil

Modèles IA

Grand modèle linguistique de Google Research capable de génération vidéo en mode zero-shot. Il transforme les modèles de langage autorégressifs en générateurs…VideoPoet est un grand modèle linguistique de Google Research capable de génération vidéo en mode zero-shot. Il transforme les modèles de langage autorégressifs en générateurs…

Générateurs de vidéos IA
Voir le Top 5 Modèles IA

SenseNova 6.8 Code2Video est un modèle de création vidéo piloté par le code qui génère du code exécutable pour construire et rendre de courtes vidéos. Il connecte divers modèles…

Modèles d'IA et LLM

N°77 en LLM

Voir l'outil

Modèle de création vidéo piloté par le code qui génère du code exécutable pour construire et rendre de courtes vidéos. Il connecte divers modèles…SenseNova 6.8 Code2Video est un modèle de création vidéo piloté par le code qui génère du code exécutable pour construire et rendre de courtes vidéos. Il connecte divers modèles…

Modèles d'IA et LLM
N°77 en LLM

Imagen Video

Modèles IA

Imagen Video est un système de génération vidéo conditionné par du texte, développé par Google Research. Il exploite une cascade de modèles de diffusion vidéo pour créer des…

Générateurs de vidéos IA
Voir l'outil

Modèles IA

Système de génération vidéo conditionné par du texte, développé par Google Research. Il exploite une cascade de modèles de diffusion vidéo pour créer des…Imagen Video est un système de génération vidéo conditionné par du texte, développé par Google Research. Il exploite une cascade de modèles de diffusion vidéo pour créer des…

Générateurs de vidéos IA
Voir le Top 5 Modèles IA

Linum P-JiT

Applications IA

Linum P-JiT est un modèle expérimental de génération d'images à partir de texte avec 2 milliards de paramètres, développé par Linum, un laboratoire de recherche de deux personnes…

Modèles d'IA et LLM
Voir l'outil

Applications IA

Modèle expérimental de génération d'images à partir de texte avec 2 milliards de paramètres, développé par Linum, un laboratoire de recherche de deux personnes…Linum P-JiT est un modèle expérimental de génération d'images à partir de texte avec 2 milliards de paramètres, développé par Linum, un laboratoire de recherche de deux personnes…

Modèles d'IA et LLM
Voir le Top 250 Applications IA

Flux 3 est un générateur de vidéo IA qui crée des vidéos à partir de texte, d'images ou de clips de référence. Il propose un audio natif, un mouvement naturel et un dialogue…

Générateurs de vidéos IAMédias et divertissement
Voir l'outil

Générateur de vidéo IA qui crée des vidéos à partir de texte, d'images ou de clips de référence. Il propose un audio natif, un mouvement naturel et un dialogue…Flux 3 est un générateur de vidéo IA qui crée des vidéos à partir de texte, d'images ou de clips de référence. Il propose un audio natif, un mouvement naturel et un dialogue…

Générateurs de vidéos IAMédias et divertissement
Voir le Top 250 Applications IA

VideoAI

Applications IA

VideoAI est un générateur de vidéos AI qui transforme des textes et des images en vidéos en utilisant des modèles de pointe tels que Kling, Wan, Seedance et Veo. Il propose…

Générateurs de vidéos IAMédias et divertissement

N°119 pour Rédaction de scripts vidéo

Voir l'outil

Applications IA

Générateur de vidéos AI qui transforme des textes et des images en vidéos en utilisant des modèles de pointe tels que Kling, Wan, Seedance et Veo. Il propose…VideoAI est un générateur de vidéos AI qui transforme des textes et des images en vidéos en utilisant des modèles de pointe tels que Kling, Wan, Seedance et Veo. Il propose…

Générateurs de vidéos IAMédias et divertissement
N°119 pour Rédaction de scripts vidéo

invideo

Applications IA

invideo est une plateforme de création et d'édition de vidéos alimentée par l'IA, centrée sur Agent Two, permettant aux utilisateurs de générer et d'éditer des vidéos avec…

Créateurs de vidéos courtes IA

N°37 en Applications IA

Voir l'outil

Applications IA

Plateforme de création et d'édition de vidéos alimentée par l'IA, centrée sur Agent Two, permettant aux utilisateurs de générer et d'éditer des vidéos avec…invideo est une plateforme de création et d'édition de vidéos alimentée par l'IA, centrée sur Agent Two, permettant aux utilisateurs de générer et d'éditer des vidéos avec…

En vedetteCréateurs de vidéos courtes IA
N°37 en Applications IA
1 sur 8