跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Invoker-Render

Invoker-Render 是一个具有 330 亿参数的视频到视频 AI 模型,旨在实现可控的视频生成。它利用视觉代理来修正摄像机路径、场景布局和物体运动,然后基于这些结构输入、外观参考图像和文本提示生成外观。该模型支持长时间流式传输和多粒度控制,适用于多种视频渲染任务。

查看模型
分享
查看模型
分享

Invoker-Render 是一个复杂的视频到视频 AI 模型,由 inclusionAI 开发,能够实现高度可控的视频生成。该模型具有 331.2 亿参数,专注于基于结构代理、单个外观参考图像和文本提示生成视频外观。它的工作原理是将世界状态保持在上游引擎中,视觉代理决定摄像机路径、场景布局和物体运动,而视频模型则处理视觉渲染。

阅读更多

Invoker-Render 的核心在于其因果流式 DiT 权重,这些权重存储在其代码库中。该模型旨在与伴随的 CodeWorldModel 推理代码协同工作,促进因果四步流式生成。此设置建立在 MiniMax-H3、SGLang 和 SGLang-Omni 等强大框架之上,确保高效和可扩展的操作。

Invoker-Render 的主要亮点包括其长时间流式传输能力,允许会话在提供代理帧的情况下无限期运行。这是通过固定外观锚点和有限历史窗口实现的,保持了视觉一致性。此外,该模型提供多粒度控制,接受多种结构输入,如语义图、稀疏 3D 框、主题掩码、阴影几何体和带骨架的框,用户可以对生成的视频内容进行精确控制。

对于交互式部署,伴随代码提供 WebSocket 会话服务、文件客户端和浏览器客户端,使模型可用于各种应用。模型的权重以 FP32 格式存储在 29 个 safetensors 分片中,总计约 132.5 GB。虽然代码库包括主要的因果流式 DiT 权重,但用户需要单独准备匹配的资产,如 VAE、Qwen、因果解码器和静默张量以进行推理。推理的默认生产配置通常需要在单个节点上使用八个 NVIDIA GPU,处理输入如 1344×768 RGB 第一张图像、24 FPS 代理视频和文本提示。

  • 类别AI 模型与大语言模型
  • 部署云端
  • 平台网页版

  • 视频到视频模型:从结构代理和输入生成视频外观。

  • 330 亿参数:大型模型尺寸,具备先进的视频生成能力。

  • 代理条件渲染:使用视觉代理控制摄像机路径、场景布局和物体运动。

  • 外观参考图像输入:接受一张图像以指导视觉风格。

  • 文本提示输入:接受文本描述以生成内容。

  • 因果流式 DiT 权重:利用特定模型权重进行流式生成。

  • 长时间流式传输:支持在代理帧到达时持续生成视频。

  • 固定外观锚点:在长时间会话中保持一致的外观。

  • 多粒度控制:接受多种结构输入,如语义图、3D 框和主题掩码。

  • 交互式部署:伴随代码提供 WebSocket、文件和浏览器客户端。

  • FP32 权重:模型权重以全精度存储。

  • MiniMax-H3 基础模型:基于 MiniMax-H3 架构构建。

  • Apache-2.0 许可证:管理代码库的使用。

  • CC BY-NC 4.0 许可证:适用于非商业用途。

  1. 访问模型权重:从代码库根目录下载主要的因果流式 DiT 权重。

  2. 准备资产:单独获取和准备匹配的资产,如 VAE、Qwen 和因果解码器。

  3. 设置环境:按照伴随的 CodeWorldModel 代码库中的 README.md 和 docs/INFERENCE.md 进行操作。

  4. 准备包:按照伴随代码库中的说明创建推理包。

  5. 启动服务或运行推理:启动 WebSocket 会话服务或使用 invoker_render.py 执行文件推理。

  6. 提供输入:提供 1344×768 RGB 第一张图像、24 FPS 代理视频和文本提示。

  • 可控视频生成
  • 长格式视频创作
  • 语义视频编辑
  • 3D 场景渲染
  • 交互式视频应用

Invoker-Render 评价

加载中...

与 Invoker-Render 类似的热门AI工具

Muse Glimmer

AI 模型

Muse Glimmer是一个拥有300亿参数的因果语言模型,旨在在消费硬件上执行自主代理任务。它集成了多步骤推理、可靠的工具使用和多模态理解,使得在不依赖云的情况下实现高效的本地部署。

AI 模型与大语言模型
查看工具

AI 模型

拥有300亿参数的因果语言模型,旨在在消费硬件上执行自主代理任务。它集成了多步骤推理、可靠的工具使用和多模态理解,使得在不依赖云的情况下实现高效的本地部署。Muse Glimmer是一个拥有300亿参数的因果语言模型,旨在在消费硬件上执行自主代理任务。它集成了多步骤推理、可靠的工具使用和多模态理解,使得在不依赖云的情况下实现高效的本地部署。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

VideoPoet

AI 模型

VideoPoet 是 Google Research 开发的一款大型语言模型,能够进行零样本视频生成。它将自回归语言模型转化为高质量的视频生成器,支持文本到视频、视频到音频以及各种编辑任务,并具有出色的时间一致性和运动保真度。

AI 视频生成器
查看工具

AI 模型

Google Research 开发的一款大型语言模型,能够进行零样本视频生成。它将自回归语言模型转化为高质量的视频生成器,支持文本到视频、视频到音频以及各种编辑任务,并具有出色的时间一致性和运动保真度。VideoPoet 是 Google Research 开发的一款大型语言模型,能够进行零样本视频生成。它将自回归语言模型转化为高质量的视频生成器,支持文本到视频、视频到音频以及各种编辑任务,并具有出色的时间一致性和运动保真度。

AI 视频生成器
查看 AI 模型 Top 5

SenseNova 6.8 Code2Video 是一个基于代码的视频创作模型,生成可执行代码以构建和渲染短视频。它连接各种模型和工具,形成完整的创作工作流程。

AI 模型与大语言模型

大语言模型 排名第 77 位

查看工具

基于代码的视频创作模型,生成可执行代码以构建和渲染短视频。它连接各种模型和工具,形成完整的创作工作流程。SenseNova 6.8 Code2Video 是一个基于代码的视频创作模型,生成可执行代码以构建和渲染短视频。它连接各种模型和工具,形成完整的创作工作流程。

AI 模型与大语言模型
大语言模型 排名第 77 位

Imagen Video

AI 模型

Imagen Video 是 Google Research 开发的一种文本条件视频生成系统。它利用级联视频扩散模型,根据文本提示生成高清视频,为各种创意应用提供高保真度、可控性和世界知识。

AI 视频生成器
查看工具

AI 模型

Google Research 开发的一种文本条件视频生成系统。它利用级联视频扩散模型,根据文本提示生成高清视频,为各种创意应用提供高保真度、可控性和世界知识。Imagen Video 是 Google Research 开发的一种文本条件视频生成系统。它利用级联视频扩散模型,根据文本提示生成高清视频,为各种创意应用提供高保真度、可控性和世界知识。

AI 视频生成器
查看 AI 模型 Top 5

Linum P-JiT

AI 应用

Linum P-JiT 是由 Linum 开发的实验性 2B 参数文本到图像模型,Linum 是一个专注于生成视频模型的两人研究实验室。这个概念验证模型展示了一种新颖的 Pyramid-JiT 架构,以大幅降低约 21K 美元的训练成本实现高质量图像生成。它代表了朝着更高效和可及的动画创作工具迈出的重要一步。

AI 模型与大语言模型
查看工具

AI 应用

由 Linum 开发的实验性 2B 参数文本到图像模型,Linum 是一个专注于生成视频模型的两人研究实验室。这个概念验证模型展示了一种新颖的 Pyramid-JiT 架构,以大幅降低约 21K 美元的训练成本实现高质量图像生成。它代表了朝着更高效和可及的动画创作工具迈出的重要一步。Linum P-JiT 是由 Linum 开发的实验性 2B 参数文本到图像模型,Linum 是一个专注于生成视频模型的两人研究实验室。这个概念验证模型展示了一种新颖的 Pyramid-JiT 架构,以大幅降低约 21K 美元的训练成本实现高质量图像生成。它代表了朝着更高效和可及的动画创作工具迈出的重要一步。

AI 模型与大语言模型
查看 AI 应用 Top 250

Flux 3 是一个 AI 视频生成器,可以从文本、图像或参考片段创建视频。它具有原生音频、自然运动和多语言对话,允许用户无缝预览和下载他们的创作。

AI 视频生成器媒体与娱乐
查看工具

AI 视频生成器,可以从文本、图像或参考片段创建视频。它具有原生音频、自然运动和多语言对话,允许用户无缝预览和下载他们的创作。Flux 3 是一个 AI 视频生成器,可以从文本、图像或参考片段创建视频。它具有原生音频、自然运动和多语言对话,允许用户无缝预览和下载他们的创作。

AI 视频生成器媒体与娱乐
查看 AI 应用 Top 250

VideoAI

AI 应用

VideoAI 是一个 AI 视频生成器,利用领先的模型如 Kling、Wan、Seedance 和 Veo 将文本和图像转换为视频。它还为创作者提供图像工具和 AI 音乐生成。

AI 视频生成器媒体与娱乐

写视频脚本 排名第 119 位

查看工具

AI 应用

AI 视频生成器,利用领先的模型如 Kling、Wan、Seedance 和 Veo 将文本和图像转换为视频。它还为创作者提供图像工具和 AI 音乐生成。VideoAI 是一个 AI 视频生成器,利用领先的模型如 Kling、Wan、Seedance 和 Veo 将文本和图像转换为视频。它还为创作者提供图像工具和 AI 音乐生成。

AI 视频生成器媒体与娱乐
写视频脚本 排名第 119 位

invideo

AI 应用

invideo 是一个基于 Agent Two 的 AI 视频创作和编辑平台,允许用户使用多个 AI 模型和 5000 多个模板生成和编辑视频。它服务于创作者、营销人员和企业。

AI 短视频制作工具

AI 应用 排名第 37 位

查看工具

AI 应用

基于 Agent Two 的 AI 视频创作和编辑平台,允许用户使用多个 AI 模型和 5000 多个模板生成和编辑视频。它服务于创作者、营销人员和企业。invideo 是一个基于 Agent Two 的 AI 视频创作和编辑平台,允许用户使用多个 AI 模型和 5000 多个模板生成和编辑视频。它服务于创作者、营销人员和企业。

精选AI 短视频制作工具
AI 应用 排名第 37 位
1/8