Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Invoker-Render

Invoker-Render es un modelo de IA de video a video con 33 mil millones de parámetros, diseñado para la generación de video controlable. Utiliza proxies visuales para fijar caminos de cámara, diseños de escena y movimientos de objetos, y luego genera apariencias basadas en estas entradas estructurales, una imagen de referencia de apariencia y mensajes de texto. El modelo admite transmisión de largo horizonte y control de multi-granularidad para diversas tareas de renderizado de video.

Ver modelo
Compartir
Ver modelo
Compartir

Invoker-Render es un sofisticado modelo de IA de video a video, desarrollado por inclusionAI, que permite una generación de video altamente controlable. Con 33.12 mil millones de parámetros, este modelo se centra en generar apariencias de video basadas en proxies estructurales, una única imagen de referencia de apariencia y mensajes textuales. Funciona bajo el principio de mantener el estado del mundo en un motor ascendente, donde los proxies visuales dictan elementos como el camino de la cámara, el diseño de la escena y el movimiento de los objetos, mientras que el modelo de video se encarga del renderizado visual.

Leer más

El núcleo de Invoker-Render radica en sus pesos DiT de transmisión causal, que se alojan en su repositorio. El modelo está diseñado para trabajar en conjunto con el código de inferencia del modelo CodeWorldModel, facilitando la generación de transmisión causal en cuatro pasos. Esta configuración se basa en marcos robustos como MiniMax-H3, SGLang y SGLang-Omni, asegurando una operación eficiente y escalable.

Los aspectos más destacados de Invoker-Render incluyen su capacidad para la transmisión de largo horizonte, que permite que las sesiones se ejecuten indefinidamente siempre que se proporcionen cuadros proxy. Esto se logra a través de un ancla de apariencia fija y una ventana de historia limitada, manteniendo la consistencia visual durante períodos prolongados. Además, el modelo ofrece control de multi-granularidad, aceptando una amplia gama de entradas estructurales como mapas semánticos, cajas 3D dispersas, máscaras de sujeto, geometría sombreada y cajas con esqueletos, proporcionando a los usuarios un control preciso sobre el contenido de video generado.

Para el despliegue interactivo, el código complementario proporciona un servicio de sesión WebSocket, un cliente de archivos y un cliente de navegador, haciendo que el modelo sea accesible para diversas aplicaciones. Los pesos del modelo se almacenan en formato FP32 en 29 fragmentos de safetensors, totalizando aproximadamente 132.5 GB. Si bien el repositorio incluye los pesos principales de transmisión DiT causal, los usuarios deben preparar activos coincidentes como VAE, Qwen, el decodificador causal y tensores de silencio por separado para la inferencia. El perfil de producción predeterminado para la inferencia generalmente requiere ocho GPU NVIDIA en un solo nodo, procesando entradas como una primera imagen RGB de 1344×768, un video proxy de 24 FPS y un mensaje de texto.

  • CategoríaModelos de IA y LLM
  • ImplementaciónNube
  • PlataformasWeb

  • Modelo de Video a Video: Genera apariencias de video a partir de proxies estructurales y entradas.

  • 33 Mil Millones de Parámetros: Gran tamaño del modelo para capacidades avanzadas de generación de video.

  • Renderizado Condicionado por Proxy: Utiliza proxies visuales para controlar el camino de la cámara, el diseño de la escena y el movimiento de los objetos.

  • Entrada de Imagen de Referencia de Apariencia: Toma una imagen para guiar el estilo visual.

  • Entrada de Mensaje de Texto: Acepta descripciones textuales para la generación de contenido.

  • Pesos DiT de Transmisión Causal: Utiliza pesos específicos del modelo para la generación de transmisión.

  • Transmisión de Largo Horizonte: Admite la generación continua de video a medida que llegan los cuadros proxy.

  • Ancla de Apariencia Fija: Mantiene una apariencia consistente durante largas sesiones.

  • Control de Multi-Granularidad: Acepta diversas entradas estructurales como mapas semánticos, cajas 3D y máscaras de sujeto.

  • Despliegue Interactivo: El código complementario ofrece clientes WebSocket, de archivos y de navegador.

  • Pesos FP32: Pesos del modelo almacenados en precisión completa.

  • Modelo Base MiniMax-H3: Construido sobre la arquitectura MiniMax-H3.

  • Licencia Apache-2.0: Regula el uso del repositorio.

  • Licencia CC BY-NC 4.0: Se aplica al uso no comercial.

  1. Acceder a los Pesos del Modelo: Descargue los pesos principales de transmisión DiT causal desde la raíz del repositorio.

  2. Preparar Activos: Adquirir y preparar por separado activos coincidentes como VAE, Qwen y el decodificador causal.

  3. Configurar el Entorno: Siga el README.md y docs/INFERENCE.md en el repositorio complementario CodeWorldModel.

  4. Preparar el Paquete: Cree un paquete de inferencia según las instrucciones en el repositorio complementario.

  5. Iniciar Servicio o Ejecutar Inferencia: Inicie el servicio de sesión WebSocket o ejecute la inferencia de archivos utilizando invoker_render.py.

  6. Proporcionar Entradas: Suministre una primera imagen RGB de 1344×768, un video proxy de 24 FPS y un mensaje de texto.

  • Generación de Video Controlable
  • Creación de Video de Largo Formato
  • Edición de Video Semántica
  • Renderizado de Escenas 3D
  • Aplicaciones de Video Interactivas

Reseñas de Invoker-Render

Cargando...

Herramientas de IA populares como Invoker-Render

Muse Glimmer

Modelos de IA

Muse Glimmer es un modelo de lenguaje causal de 30 mil millones de parámetros diseñado para tareas autónomas en hardware de consumo. Integra razonamiento de múltiples pasos, uso…

Modelos de IA y LLM
Ver herramienta

Modelos de IA

Modelo de lenguaje causal de 30 mil millones de parámetros diseñado para tareas autónomas en hardware de consumo. Integra razonamiento de múltiples pasos, uso…Muse Glimmer es un modelo de lenguaje causal de 30 mil millones de parámetros diseñado para tareas autónomas en hardware de consumo. Integra razonamiento de múltiples pasos, uso…

DestacadaModelos de IA y LLM
Ver el Top 5 de Modelos de IA

VideoPoet

Modelos de IA

VideoPoet es un modelo de lenguaje grande de Google Research capaz de generar video zero-shot. Transforma modelos de lenguaje autorregresivos en generadores de video de alta…

Generadores de video con IA
Ver herramienta

Modelos de IA

Modelo de lenguaje grande de Google Research capaz de generar video zero-shot. Transforma modelos de lenguaje autorregresivos en generadores de video de alta…VideoPoet es un modelo de lenguaje grande de Google Research capaz de generar video zero-shot. Transforma modelos de lenguaje autorregresivos en generadores de video de alta…

Generadores de video con IA
Ver el Top 5 de Modelos de IA

SenseNova 6.8 Code2Video es un modelo de creación de videos impulsado por código que genera código ejecutable para construir y renderizar videos cortos. Conecta varios modelos y…

Modelos de IA y LLM

N.º 77 en LLM

Ver herramienta

Modelo de creación de videos impulsado por código que genera código ejecutable para construir y renderizar videos cortos. Conecta varios modelos y…SenseNova 6.8 Code2Video es un modelo de creación de videos impulsado por código que genera código ejecutable para construir y renderizar videos cortos. Conecta varios modelos y…

Modelos de IA y LLM
N.º 77 en LLM

Imagen Video

Modelos de IA

Imagen Video es un sistema de generación de video condicional a texto desarrollado por Google Research. Aprovecha una cascada de modelos de difusión de video para crear videos de…

Generadores de video con IA
Ver herramienta

Modelos de IA

Sistema de generación de video condicional a texto desarrollado por Google Research. Aprovecha una cascada de modelos de difusión de video para crear videos de…Imagen Video es un sistema de generación de video condicional a texto desarrollado por Google Research. Aprovecha una cascada de modelos de difusión de video para crear videos de…

Generadores de video con IA
Ver el Top 5 de Modelos de IA

Linum P-JiT

Apps de IA

Linum P-JiT es un modelo experimental de texto a imagen con 2B de parámetros desarrollado por Linum, un laboratorio de investigación de dos personas enfocado en modelos de video…

Modelos de IA y LLM
Ver herramienta

Apps de IA

Modelo experimental de texto a imagen con 2B de parámetros desarrollado por Linum, un laboratorio de investigación de dos personas enfocado en modelos de video…Linum P-JiT es un modelo experimental de texto a imagen con 2B de parámetros desarrollado por Linum, un laboratorio de investigación de dos personas enfocado en modelos de video…

Modelos de IA y LLM
Ver el Top 250 de Apps de IA

Flux 3 es un generador de video AI que crea videos a partir de texto, imágenes o clips de referencia. Cuenta con audio nativo, movimiento natural y diálogo multilingüe,…

Generadores de video con IAMedios y entretenimiento
Ver herramienta

Flux 3 es un generador de video AI que crea videos a partir de texto, imágenes o clips de referencia. Cuenta con audio nativo, movimiento natural y diálogo multilingüe,…

Generadores de video con IAMedios y entretenimiento
Ver el Top 250 de Apps de IA

VideoAI

Apps de IA

VideoAI es un generador de videos basado en IA que convierte texto e imágenes en videos utilizando modelos líderes como Kling, Wan, Seedance y Veo. También ofrece herramientas de…

Generadores de video con IAMedios y entretenimiento

N.º 119 para Redacción de guiones de video

Ver herramienta

Apps de IA

Generador de videos basado en IA que convierte texto e imágenes en videos utilizando modelos líderes como Kling, Wan, Seedance y Veo. También ofrece herramientas de…VideoAI es un generador de videos basado en IA que convierte texto e imágenes en videos utilizando modelos líderes como Kling, Wan, Seedance y Veo. También ofrece herramientas de…

Generadores de video con IAMedios y entretenimiento
N.º 119 para Redacción de guiones de video

invideo

Apps de IA

invideo es una plataforma de creación y edición de videos basada en IA, construida alrededor de Agent Two, que permite a los usuarios generar y editar videos con múltiples modelos…

Creadores de vídeos cortos con IA

N.º 37 en Apps de IA

Ver herramienta

Apps de IA

Plataforma de creación y edición de videos basada en IA, construida alrededor de Agent Two, que permite a los usuarios generar y editar videos con múltiples modelos…invideo es una plataforma de creación y edición de videos basada en IA, construida alrededor de Agent Two, que permite a los usuarios generar y editar videos con múltiples modelos…

DestacadaCreadores de vídeos cortos con IA
N.º 37 en Apps de IA
1 de 8