Descrição
Invoker-Render é um sofisticado modelo de IA de vídeo para vídeo, desenvolvido pela inclusionAI, que permite a geração de vídeo altamente controlável. Com 33,12 bilhões de parâmetros, este modelo foca na geração de aparências de vídeo com base em proxies estruturais, uma única imagem de referência de aparência e prompts textuais. Ele opera sob o princípio de manter o estado do mundo em um motor upstream, onde proxies visuais ditam elementos como caminho da câmera, layout da cena e movimento do objeto, enquanto o modelo de vídeo lida com a renderização visual.
Ler mais
O núcleo do Invoker-Render reside em seus pesos DiT de streaming causal, que estão hospedados em seu repositório. O modelo é projetado para funcionar em conjunto com o código de inferência do CodeWorldModel, facilitando a geração de streaming em quatro etapas. Esta configuração é construída sobre estruturas robustas como MiniMax-H3, SGLang e SGLang-Omni, garantindo operação eficiente e escalável.
Os principais destaques do Invoker-Render incluem sua capacidade de streaming de longo prazo, que permite que sessões sejam executadas indefinidamente, desde que frames de proxy sejam fornecidos. Isso é alcançado através de um âncora de aparência fixa e uma janela de histórico limitada, mantendo a consistência visual ao longo de períodos prolongados. Além disso, o modelo oferece controle de multi-granularidade, aceitando uma ampla gama de entradas estruturais, como mapas semânticos, caixas 3D esparsas, máscaras de sujeito, geometria sombreada e caixas com esqueletos, proporcionando aos usuários controle preciso sobre o conteúdo de vídeo gerado.
Para implantação interativa, o código acompanhante fornece um serviço de sessão WebSocket, um cliente de arquivo e um cliente de navegador, tornando o modelo acessível para várias aplicações. Os pesos do modelo são armazenados no formato FP32 em 29 shards de safetensors, totalizando aproximadamente 132,5 GB. Embora o repositório inclua os principais pesos DiT de streaming causal, os usuários precisam preparar ativos correspondentes, como VAE, Qwen, o decodificador causal e tensores de silêncio separadamente para inferência. O perfil de produção padrão para inferência geralmente requer oito GPUs NVIDIA em um único nó, processando entradas como uma primeira imagem RGB de 1344×768, um vídeo proxy de 24 FPS e um prompt de texto.
- CategoriaModelos de IA e LLMs
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Invoker-Render
Modelo de Vídeo para Vídeo: Gera aparências de vídeo a partir de proxies estruturais e entradas.
33 Bilhões de Parâmetros: Grande tamanho do modelo para capacidades avançadas de geração de vídeo.
Renderização Condicionada por Proxy: Usa proxies visuais para controlar o caminho da câmera, layout da cena e movimento do objeto.
Entrada de Imagem de Referência de Aparência: Aceita uma imagem para guiar o estilo visual.
Entrada de Prompt de Texto: Aceita descrições textuais para geração de conteúdo.
Pesos DiT de Streaming Causal: Utiliza pesos específicos do modelo para geração de streaming.
Streaming de Longo Prazo: Suporta geração contínua de vídeo à medida que frames de proxy chegam.
Âncora de Aparência Fixa: Mantém aparência consistente ao longo de longas sessões.
Controle de Multi-Granularidade: Aceita diversas entradas estruturais como mapas semânticos, caixas 3D e máscaras de sujeito.
Implantação Interativa: Código acompanhante oferece clientes WebSocket, de arquivo e de navegador.
Pesos FP32: Pesos do modelo armazenados em precisão total.
Modelo Base MiniMax-H3: Construído sobre a arquitetura MiniMax-H3.
Licença Apache-2.0: Regula o uso do repositório.
Licença CC BY-NC 4.0: Aplica-se ao uso não comercial.
Primeiros passos com Invoker-Render
Acessar Pesos do Modelo: Baixe os principais pesos DiT de streaming causal a partir da raiz do repositório.
Preparar Ativos: Adquira e prepare separadamente ativos correspondentes, como VAE, Qwen e o decodificador causal.
Configurar Ambiente: Siga o README.md e docs/INFERENCE.md no repositório acompanhante CodeWorldModel.
Preparar Pacote: Crie um pacote de inferência conforme instruído no repositório acompanhante.
Iniciar Serviço ou Executar Inferência: Inicie o serviço de sessão WebSocket ou execute a inferência de arquivo usando invoker_render.py.
Fornecer Entradas: Forneça uma primeira imagem RGB de 1344×768, um vídeo proxy de 24 FPS e um prompt de texto.
Casos de uso de Invoker-Render
- Geração de Vídeo Controlável
- Criação de Vídeo de Longa Duração
- Edição de Vídeo Semântico
- Renderização de Cena 3D
- Aplicações de Vídeo Interativas




