描述
Invoker-Render 是一个复杂的视频到视频 AI 模型,由 inclusionAI 开发,能够实现高度可控的视频生成。该模型具有 331.2 亿参数,专注于基于结构代理、单个外观参考图像和文本提示生成视频外观。它的工作原理是将世界状态保持在上游引擎中,视觉代理决定摄像机路径、场景布局和物体运动,而视频模型则处理视觉渲染。
阅读更多
Invoker-Render 的核心在于其因果流式 DiT 权重,这些权重存储在其代码库中。该模型旨在与伴随的 CodeWorldModel 推理代码协同工作,促进因果四步流式生成。此设置建立在 MiniMax-H3、SGLang 和 SGLang-Omni 等强大框架之上,确保高效和可扩展的操作。
Invoker-Render 的主要亮点包括其长时间流式传输能力,允许会话在提供代理帧的情况下无限期运行。这是通过固定外观锚点和有限历史窗口实现的,保持了视觉一致性。此外,该模型提供多粒度控制,接受多种结构输入,如语义图、稀疏 3D 框、主题掩码、阴影几何体和带骨架的框,用户可以对生成的视频内容进行精确控制。
对于交互式部署,伴随代码提供 WebSocket 会话服务、文件客户端和浏览器客户端,使模型可用于各种应用。模型的权重以 FP32 格式存储在 29 个 safetensors 分片中,总计约 132.5 GB。虽然代码库包括主要的因果流式 DiT 权重,但用户需要单独准备匹配的资产,如 VAE、Qwen、因果解码器和静默张量以进行推理。推理的默认生产配置通常需要在单个节点上使用八个 NVIDIA GPU,处理输入如 1344×768 RGB 第一张图像、24 FPS 代理视频和文本提示。
- 类别AI 模型与大语言模型
- 部署云端
- 平台网页版
Invoker-Render亮点
视频到视频模型:从结构代理和输入生成视频外观。
330 亿参数:大型模型尺寸,具备先进的视频生成能力。
代理条件渲染:使用视觉代理控制摄像机路径、场景布局和物体运动。
外观参考图像输入:接受一张图像以指导视觉风格。
文本提示输入:接受文本描述以生成内容。
因果流式 DiT 权重:利用特定模型权重进行流式生成。
长时间流式传输:支持在代理帧到达时持续生成视频。
固定外观锚点:在长时间会话中保持一致的外观。
多粒度控制:接受多种结构输入,如语义图、3D 框和主题掩码。
交互式部署:伴随代码提供 WebSocket、文件和浏览器客户端。
FP32 权重:模型权重以全精度存储。
MiniMax-H3 基础模型:基于 MiniMax-H3 架构构建。
Apache-2.0 许可证:管理代码库的使用。
CC BY-NC 4.0 许可证:适用于非商业用途。
Invoker-Render入门
访问模型权重:从代码库根目录下载主要的因果流式 DiT 权重。
准备资产:单独获取和准备匹配的资产,如 VAE、Qwen 和因果解码器。
设置环境:按照伴随的 CodeWorldModel 代码库中的 README.md 和 docs/INFERENCE.md 进行操作。
准备包:按照伴随代码库中的说明创建推理包。
启动服务或运行推理:启动 WebSocket 会话服务或使用 invoker_render.py 执行文件推理。
提供输入:提供 1344×768 RGB 第一张图像、24 FPS 代理视频和文本提示。
Invoker-Render的使用案例
- 可控视频生成
- 长格式视频创作
- 语义视频编辑
- 3D 场景渲染
- 交互式视频应用




