Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

Invoker-Render

Invoker-Render é um modelo de IA de vídeo para vídeo com 33 bilhões de parâmetros, projetado para geração de vídeo controlável. Ele utiliza proxies visuais para corrigir caminhos de câmera, layouts de cena e movimentos de objetos, gerando aparências com base nessas entradas estruturais, uma imagem de referência de aparência e prompts de texto. O modelo suporta streaming de longo prazo e controle de multi-granularidade para diversas tarefas de renderização de vídeo.

Ver modelo
Compartilhar
Ver modelo
Compartilhar

Invoker-Render é um sofisticado modelo de IA de vídeo para vídeo, desenvolvido pela inclusionAI, que permite a geração de vídeo altamente controlável. Com 33,12 bilhões de parâmetros, este modelo foca na geração de aparências de vídeo com base em proxies estruturais, uma única imagem de referência de aparência e prompts textuais. Ele opera sob o princípio de manter o estado do mundo em um motor upstream, onde proxies visuais ditam elementos como caminho da câmera, layout da cena e movimento do objeto, enquanto o modelo de vídeo lida com a renderização visual.

Ler mais

O núcleo do Invoker-Render reside em seus pesos DiT de streaming causal, que estão hospedados em seu repositório. O modelo é projetado para funcionar em conjunto com o código de inferência do CodeWorldModel, facilitando a geração de streaming em quatro etapas. Esta configuração é construída sobre estruturas robustas como MiniMax-H3, SGLang e SGLang-Omni, garantindo operação eficiente e escalável.

Os principais destaques do Invoker-Render incluem sua capacidade de streaming de longo prazo, que permite que sessões sejam executadas indefinidamente, desde que frames de proxy sejam fornecidos. Isso é alcançado através de um âncora de aparência fixa e uma janela de histórico limitada, mantendo a consistência visual ao longo de períodos prolongados. Além disso, o modelo oferece controle de multi-granularidade, aceitando uma ampla gama de entradas estruturais, como mapas semânticos, caixas 3D esparsas, máscaras de sujeito, geometria sombreada e caixas com esqueletos, proporcionando aos usuários controle preciso sobre o conteúdo de vídeo gerado.

Para implantação interativa, o código acompanhante fornece um serviço de sessão WebSocket, um cliente de arquivo e um cliente de navegador, tornando o modelo acessível para várias aplicações. Os pesos do modelo são armazenados no formato FP32 em 29 shards de safetensors, totalizando aproximadamente 132,5 GB. Embora o repositório inclua os principais pesos DiT de streaming causal, os usuários precisam preparar ativos correspondentes, como VAE, Qwen, o decodificador causal e tensores de silêncio separadamente para inferência. O perfil de produção padrão para inferência geralmente requer oito GPUs NVIDIA em um único nó, processando entradas como uma primeira imagem RGB de 1344×768, um vídeo proxy de 24 FPS e um prompt de texto.

  • CategoriaModelos de IA e LLMs
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Modelo de Vídeo para Vídeo: Gera aparências de vídeo a partir de proxies estruturais e entradas.

  • 33 Bilhões de Parâmetros: Grande tamanho do modelo para capacidades avançadas de geração de vídeo.

  • Renderização Condicionada por Proxy: Usa proxies visuais para controlar o caminho da câmera, layout da cena e movimento do objeto.

  • Entrada de Imagem de Referência de Aparência: Aceita uma imagem para guiar o estilo visual.

  • Entrada de Prompt de Texto: Aceita descrições textuais para geração de conteúdo.

  • Pesos DiT de Streaming Causal: Utiliza pesos específicos do modelo para geração de streaming.

  • Streaming de Longo Prazo: Suporta geração contínua de vídeo à medida que frames de proxy chegam.

  • Âncora de Aparência Fixa: Mantém aparência consistente ao longo de longas sessões.

  • Controle de Multi-Granularidade: Aceita diversas entradas estruturais como mapas semânticos, caixas 3D e máscaras de sujeito.

  • Implantação Interativa: Código acompanhante oferece clientes WebSocket, de arquivo e de navegador.

  • Pesos FP32: Pesos do modelo armazenados em precisão total.

  • Modelo Base MiniMax-H3: Construído sobre a arquitetura MiniMax-H3.

  • Licença Apache-2.0: Regula o uso do repositório.

  • Licença CC BY-NC 4.0: Aplica-se ao uso não comercial.

  1. Acessar Pesos do Modelo: Baixe os principais pesos DiT de streaming causal a partir da raiz do repositório.

  2. Preparar Ativos: Adquira e prepare separadamente ativos correspondentes, como VAE, Qwen e o decodificador causal.

  3. Configurar Ambiente: Siga o README.md e docs/INFERENCE.md no repositório acompanhante CodeWorldModel.

  4. Preparar Pacote: Crie um pacote de inferência conforme instruído no repositório acompanhante.

  5. Iniciar Serviço ou Executar Inferência: Inicie o serviço de sessão WebSocket ou execute a inferência de arquivo usando invoker_render.py.

  6. Fornecer Entradas: Forneça uma primeira imagem RGB de 1344×768, um vídeo proxy de 24 FPS e um prompt de texto.

  • Geração de Vídeo Controlável
  • Criação de Vídeo de Longa Duração
  • Edição de Vídeo Semântico
  • Renderização de Cena 3D
  • Aplicações de Vídeo Interativas

Avaliações de Invoker-Render

Carregando...

Ferramentas de IA populares como Invoker-Render

Muse Glimmer

Modelos de IA

Muse Glimmer é um modelo de linguagem causal com 30 bilhões de parâmetros, projetado para tarefas autônomas em hardware de consumo. Ele integra raciocínio em múltiplas etapas, uso…

Modelos de IA e LLMs
Ver ferramenta

Modelos de IA

Modelo de linguagem causal com 30 bilhões de parâmetros, projetado para tarefas autônomas em hardware de consumo. Ele integra raciocínio em múltiplas etapas, uso…Muse Glimmer é um modelo de linguagem causal com 30 bilhões de parâmetros, projetado para tarefas autônomas em hardware de consumo. Ele integra raciocínio em múltiplas etapas, uso…

DestaqueModelos de IA e LLMs
Ver o Top 5 de Modelos de IA

VideoPoet

Modelos de IA

VideoPoet é um modelo de linguagem grande da Google Research capaz de geração de vídeo zero-shot. Ele transforma modelos de linguagem autorregressivos em geradores de vídeo de…

Geradores de vídeo com IA
Ver ferramenta

Modelos de IA

Modelo de linguagem grande da Google Research capaz de geração de vídeo zero-shot. Ele transforma modelos de linguagem autorregressivos em geradores de vídeo de…VideoPoet é um modelo de linguagem grande da Google Research capaz de geração de vídeo zero-shot. Ele transforma modelos de linguagem autorregressivos em geradores de vídeo de…

Geradores de vídeo com IA
Ver o Top 5 de Modelos de IA

SenseNova 6.8 Code2Video é um modelo de criação de vídeo orientado a código que gera código executável para construir e renderizar vídeos curtos. Ele conecta vários modelos e…

Modelos de IA e LLMs

Nº 77 em LLMs

Ver ferramenta

Modelo de criação de vídeo orientado a código que gera código executável para construir e renderizar vídeos curtos. Ele conecta vários modelos e…SenseNova 6.8 Code2Video é um modelo de criação de vídeo orientado a código que gera código executável para construir e renderizar vídeos curtos. Ele conecta vários modelos e…

Modelos de IA e LLMs
Nº 77 em LLMs

Imagen Video

Modelos de IA

Imagen Video é um sistema de geração de vídeo condicional por texto desenvolvido pelo Google Research. Ele utiliza uma cascata de modelos de difusão de vídeo para criar vídeos de…

Geradores de vídeo com IA
Ver ferramenta

Modelos de IA

Sistema de geração de vídeo condicional por texto desenvolvido pelo Google Research. Ele utiliza uma cascata de modelos de difusão de vídeo para criar vídeos de…Imagen Video é um sistema de geração de vídeo condicional por texto desenvolvido pelo Google Research. Ele utiliza uma cascata de modelos de difusão de vídeo para criar vídeos de…

Geradores de vídeo com IA
Ver o Top 5 de Modelos de IA

Linum P-JiT

Apps de IA

Linum P-JiT é um modelo experimental de texto para imagem com 2 bilhões de parâmetros, desenvolvido pela Linum, um laboratório de pesquisa de duas pessoas focado em modelos de…

Modelos de IA e LLMs
Ver ferramenta

Apps de IA

Modelo experimental de texto para imagem com 2 bilhões de parâmetros, desenvolvido pela Linum, um laboratório de pesquisa de duas pessoas focado em modelos de…Linum P-JiT é um modelo experimental de texto para imagem com 2 bilhões de parâmetros, desenvolvido pela Linum, um laboratório de pesquisa de duas pessoas focado em modelos de…

Modelos de IA e LLMs
Ver o Top 250 de Apps de IA

Flux 3 é um gerador de vídeo AI que cria vídeos a partir de texto, imagens ou clipes de referência. Ele possui áudio nativo, movimento natural e diálogo multilíngue, permitindo…

Geradores de vídeo com IAMídia e entretenimento
Ver ferramenta

Gerador de vídeo AI que cria vídeos a partir de texto, imagens ou clipes de referência. Ele possui áudio nativo, movimento natural e diálogo multilíngue, permitindo…Flux 3 é um gerador de vídeo AI que cria vídeos a partir de texto, imagens ou clipes de referência. Ele possui áudio nativo, movimento natural e diálogo multilíngue, permitindo…

Geradores de vídeo com IAMídia e entretenimento
Ver o Top 250 de Apps de IA

VideoAI

Apps de IA

VideoAI é um gerador de vídeo por IA que transforma textos e imagens em vídeos utilizando modelos líderes como Kling, Wan, Seedance e Veo. Também oferece ferramentas de imagem e…

Geradores de vídeo com IAMídia e entretenimento

Nº 119 para Escrever roteiros de vídeo

Ver ferramenta

Apps de IA

Gerador de vídeo por IA que transforma textos e imagens em vídeos utilizando modelos líderes como Kling, Wan, Seedance e Veo. Também oferece ferramentas de imagem e…VideoAI é um gerador de vídeo por IA que transforma textos e imagens em vídeos utilizando modelos líderes como Kling, Wan, Seedance e Veo. Também oferece ferramentas de imagem e…

Geradores de vídeo com IAMídia e entretenimento
Nº 119 para Escrever roteiros de vídeo

invideo

Apps de IA

invideo é uma plataforma de criação e edição de vídeos com IA, construída em torno do Agent Two, permitindo que os usuários gerem e editem vídeos com múltiplos modelos de IA e…

Criadores de vídeos curtos com IA

Nº 37 em Apps de IA

Ver ferramenta

Apps de IA

Plataforma de criação e edição de vídeos com IA, construída em torno do Agent Two, permitindo que os usuários gerem e editem vídeos com múltiplos modelos de IA e…invideo é uma plataforma de criação e edição de vídeos com IA, construída em torno do Agent Two, permitindo que os usuários gerem e editem vídeos com múltiplos modelos de IA e…

DestaqueCriadores de vídeos curtos com IA
Nº 37 em Apps de IA
1 de 8