描述
纽约矩阵是一个复杂的工具,利用谷歌街景图像创建纽约市的互动视频世界模型。它旨在通过结合3D车辆渲染和运动学自行车模型来模拟车辆控制和轨迹。该工具检索给定位置的最近谷歌街景全景,移除近场车辆,并在追踪摄像机下插入一个3D渲染的车辆。这个过程使用户能够通过城市驾驶预训练的互动视频世界模型,提供对城市环境的独特视角。
阅读更多
纽约矩阵具有三种不同的模型:Matrix-Game-3.0、Matrix-Game-3.5和PanoWorld。每个模型接收相同的街景观察和控制器轨迹,仅在使用的动作适配器上有所不同。Matrix-Game-3.0使用键盘和摄像机偏航动作,Matrix-Game-3.5采用摄像机到世界的轨迹,而PanoWorld则利用全360°全景的平移轨迹。这些模型设计为在单个GPU上运行,无需微调,确保高效性能。
该工具的互动查看器允许用户在地图或列表上选择位置以播放其展开,视频下方的面板显示所显示帧的控制器输入。此功能提供了对模型如何操作和与虚拟环境互动的全面视图。
纽约矩阵特别适用于城市规划、交通分析和虚拟现实应用,提供对纽约市街道的详细和沉浸式体验。然而,需要注意的是,该工具存在一些限制,例如合成的自我车辆是一个不与生成内容互动的2D层。此外,远离交叉口的大幅度航向变化可能会将摄像机引导到建筑立面上,限制了该工具在某些场景中的有效性。
- 类别AI 视频生成器
- 定价模式开源
- 部署云端
- 平台网页版
纽约矩阵的核心功能
谷歌街景集成
3D车辆渲染
运动学自行车模型
互动视频世界模型
单GPU操作
三种不同模型
互动查看器
Apache-2.0许可证
如何使用 纽约矩阵?
选择位置:在地图或列表上选择一个位置
检索全景:获取最近的谷歌街景全景
移除车辆:消除近场车辆
插入3D车辆:在追踪摄像机下渲染一个3D车辆
模拟控制:使用运动学自行车模型进行车辆控制
查看展开:在互动查看器中播放展开
纽约矩阵的使用案例
- 城市规划
- 交通分析
- 虚拟现实
- 车辆模拟
- 教育工具








