Descripción
Invoker-Render es un sofisticado modelo de IA de video a video, desarrollado por inclusionAI, que permite una generación de video altamente controlable. Con 33.12 mil millones de parámetros, este modelo se centra en generar apariencias de video basadas en proxies estructurales, una única imagen de referencia de apariencia y mensajes textuales. Funciona bajo el principio de mantener el estado del mundo en un motor ascendente, donde los proxies visuales dictan elementos como el camino de la cámara, el diseño de la escena y el movimiento de los objetos, mientras que el modelo de video se encarga del renderizado visual.
Leer más
El núcleo de Invoker-Render radica en sus pesos DiT de transmisión causal, que se alojan en su repositorio. El modelo está diseñado para trabajar en conjunto con el código de inferencia del modelo CodeWorldModel, facilitando la generación de transmisión causal en cuatro pasos. Esta configuración se basa en marcos robustos como MiniMax-H3, SGLang y SGLang-Omni, asegurando una operación eficiente y escalable.
Los aspectos más destacados de Invoker-Render incluyen su capacidad para la transmisión de largo horizonte, que permite que las sesiones se ejecuten indefinidamente siempre que se proporcionen cuadros proxy. Esto se logra a través de un ancla de apariencia fija y una ventana de historia limitada, manteniendo la consistencia visual durante períodos prolongados. Además, el modelo ofrece control de multi-granularidad, aceptando una amplia gama de entradas estructurales como mapas semánticos, cajas 3D dispersas, máscaras de sujeto, geometría sombreada y cajas con esqueletos, proporcionando a los usuarios un control preciso sobre el contenido de video generado.
Para el despliegue interactivo, el código complementario proporciona un servicio de sesión WebSocket, un cliente de archivos y un cliente de navegador, haciendo que el modelo sea accesible para diversas aplicaciones. Los pesos del modelo se almacenan en formato FP32 en 29 fragmentos de safetensors, totalizando aproximadamente 132.5 GB. Si bien el repositorio incluye los pesos principales de transmisión DiT causal, los usuarios deben preparar activos coincidentes como VAE, Qwen, el decodificador causal y tensores de silencio por separado para la inferencia. El perfil de producción predeterminado para la inferencia generalmente requiere ocho GPU NVIDIA en un solo nodo, procesando entradas como una primera imagen RGB de 1344×768, un video proxy de 24 FPS y un mensaje de texto.
- CategoríaModelos de IA y LLM
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Invoker-Render
Modelo de Video a Video: Genera apariencias de video a partir de proxies estructurales y entradas.
33 Mil Millones de Parámetros: Gran tamaño del modelo para capacidades avanzadas de generación de video.
Renderizado Condicionado por Proxy: Utiliza proxies visuales para controlar el camino de la cámara, el diseño de la escena y el movimiento de los objetos.
Entrada de Imagen de Referencia de Apariencia: Toma una imagen para guiar el estilo visual.
Entrada de Mensaje de Texto: Acepta descripciones textuales para la generación de contenido.
Pesos DiT de Transmisión Causal: Utiliza pesos específicos del modelo para la generación de transmisión.
Transmisión de Largo Horizonte: Admite la generación continua de video a medida que llegan los cuadros proxy.
Ancla de Apariencia Fija: Mantiene una apariencia consistente durante largas sesiones.
Control de Multi-Granularidad: Acepta diversas entradas estructurales como mapas semánticos, cajas 3D y máscaras de sujeto.
Despliegue Interactivo: El código complementario ofrece clientes WebSocket, de archivos y de navegador.
Pesos FP32: Pesos del modelo almacenados en precisión completa.
Modelo Base MiniMax-H3: Construido sobre la arquitectura MiniMax-H3.
Licencia Apache-2.0: Regula el uso del repositorio.
Licencia CC BY-NC 4.0: Se aplica al uso no comercial.
Primeros pasos con Invoker-Render
Acceder a los Pesos del Modelo: Descargue los pesos principales de transmisión DiT causal desde la raíz del repositorio.
Preparar Activos: Adquirir y preparar por separado activos coincidentes como VAE, Qwen y el decodificador causal.
Configurar el Entorno: Siga el README.md y docs/INFERENCE.md en el repositorio complementario CodeWorldModel.
Preparar el Paquete: Cree un paquete de inferencia según las instrucciones en el repositorio complementario.
Iniciar Servicio o Ejecutar Inferencia: Inicie el servicio de sesión WebSocket o ejecute la inferencia de archivos utilizando invoker_render.py.
Proporcionar Entradas: Suministre una primera imagen RGB de 1344×768, un video proxy de 24 FPS y un mensaje de texto.
Casos de uso de Invoker-Render
- Generación de Video Controlable
- Creación de Video de Largo Formato
- Edición de Video Semántica
- Renderizado de Escenas 3D
- Aplicaciones de Video Interactivas




