世界模型详解：为什么各大 AI 实验室都在抢着模拟现实

世界模型是一种预测环境将如何变化的 AI 系统，包括有东西在其中行动时会发生什么。聊天机器人预测下一个词，视频生成器预测一段视频的后续画面，而世界模型预测的是一个场景的下一个状态，这样人或机器人就可以在其中行动，并看到随之而来的结果。

这个概念今年变得极其烧钱。AMD 已同意收购 World Labs，这家由李飞飞于 2024 年创办的初创公司，全股票交易估值约 82 亿美元（AMD）。Yann LeCun 的 AMI Labs 在没有发布任何产品之前就融资 10.3 亿美元（TechCrunch）。Google DeepMind、NVIDIA、Meta 和 Runway 也都以某种形式推出了世界模型。

产品远不及资金规模。如今你可以买一个 3D 场景生成器，通过 Google 订阅租用一个短时长的研究原型，或者，如果你做机器人或自动驾驶软件，可以下载开源模型。我们的判断是：3D 场景和机器人软件这两类用途现在已经可用，而"模拟现实"的承诺目前大多还只是演示视频。下面讲怎么区分这两者，并附上所有可试用产品的价格。

世界模型预测的是下一个状态，而不是下一个词

各家实验室的定义大体一致。Google DeepMind 表示，世界模型利用对物理环境的理解来模拟环境，让智能体能够预测世界如何演变，以及自己的行动会产生什么影响（Google DeepMind）。Runway 的说法更简短：一个系统，构建环境的内部表征，并用它来模拟环境中未来会发生的事件。

关键词是"行动"。问语言模型一个球从桌上滚落会怎样，它会写出一句话。问视频生成器，它会渲染一段让你观看的视频。世界模型则接收当前状态加上一个输入（向前一步、转动镜头、机器人夹爪合拢），返回下一个状态，然后在你的下一个输入上不断重复。

把最下面一行当作整个思路来读。输出会反过来作为下一次输入，所以衡量世界模型要看它能否长时间保持一致。单独一帧惊艳的画面说明不了什么。

这个概念比这波热潮要早。2018 年，David Ha 和 Jürgen Schmidhuber 发表了 World Models，其中智能体学到了一个游戏的压缩模型，并完全在自己"幻想出的梦境"里训练，然后才进入真实环境行动。变化的是规模。如今用海量视频训练的模型生成的世界看起来像照片一样逼真，这让这个想法从强化学习论文走进了财报电话会。

下面的里程碑展示了视频模型变强之后，这个领域推进得有多快。

从那篇"梦境"论文到能从互联网视频中学出可玩世界，中间隔了六年。而其他几乎所有事情，从开源机器人模型到芯片厂商开出 82 亿美元的支票，都发生在大约两年之内。

关于怎么造世界模型的四种押注

各实验室对世界模型该输出什么意见不一，而这种分歧解释了大部分产品形态。World Labs 自己的分类法是最清晰的归类方式。它把世界模型分为三类：渲染器输出"给人眼看的像素"，模拟器输出"在几何、物理或动态上忠实的世界表示"，规划器输出动作（World Labs）。

它对渲染器的警告，值得在看每一个发布视频时记在心里：无人机镜头里的建筑"从上方看可能完美无瑕，但一旦你想开车穿过下方的城市，它们就会崩塌"。带着这个视角，这个领域可以分成四个阵营。

可以实时操控的交互式世界

Google DeepMind 的 Genie 3 能把文本 prompt 变成一个你可以在其中移动的世界，分辨率 720p，帧率 20 到 24 帧每秒。Google 称其世界在数分钟内基本保持一致，并且能记住特定交互造成的改变，最长约一分钟（Google DeepMind）。Runway 的 GWM Worlds 2 是一个研究预览版，用视频和音频做类似的事，只要你持续操控，它就会持续生成。World Labs 的分类法把 Genie 3 归为渲染器，GWM Worlds 2 听起来也是同类系统：你得到的是一路像素流，没有任何能在其他工具里打开的东西。

交付文件的 3D 世界构建器

Marble 是 World Labs 的首款产品，能把文本、照片、视频或粗糙的 3D 方块变成持久存在的世界，你可以编辑，并导出为 Gaussian splats 或网格（World Labs docs）。这个世界不会像 Genie 的世界那样对你做出反应。作为交换，它是一个文件，游戏引擎和设计工具都能打开。World Labs 表示，其较新的 Atlas 模型目前仅向部分合作伙伴开放抢先体验，未来将为新版本的 Marble 提供支持。

面向机器人和汽车的物理 AI 模型

NVIDIA 把这类模型称为世界基础模型。NVIDIA Cosmos 3 能对视频进行推理，根据文本、图像、视频、声音和动作输入生成合成视频，还可以作为机器人控制策略的骨干。权重在 OpenMDW 1.1 许可下开放（NVIDIA）。Decart 的 Oasis 3 则更聚焦：一个实时、多摄像头的驾驶世界，自动驾驶团队通过 API 接入。

跳过像素的潜空间预测器

Meta 的 V-JEPA 系列根本不尝试画出未来。V-JEPA 2 把视频编码成紧凑的表征，并预测这些表征如何变化，这比渲染每个像素便宜，但足够用来做规划。Meta 报告称，在新环境中抓取并放置陌生物体的成功率为 65% 到 80%；模型在开放的 DROID 机器人数据集上训练后，直接部署到实验室机器人上，事先没有从这些机器人上采集任何数据（Meta AI）。

这是 LeCun 多年来一直支持的阵营。他后来离开了 Meta，AMI Labs 建立在他 2022 年提出的同一套 Joint Embedding Predictive Architecture 之上。

如果术语已经让你头大，下面这些是各家宣传里反复出现的词。

Action-conditioned 是你应该拿来要求厂商的一条。如果一个产品不能在过程中接受你的输入，也不给你一个可以操作的 3D 状态，那它就是换了个标签的视频生成器。

视频生成器看起来像世界模型，一逼它就露馅

OpenAI 把 2024 年的 Sora 研究宣传为通向通用物理世界模拟器的一条路径，同时承认该模型无法正确处理玻璃破碎这类基本交互。到了 Sora 2，它指出了进步：篮球运动员投篮不中时，球现在会从篮板上反弹，而不是瞬移进篮筐。OpenAI 同时也称该模型"远非完美"（OpenAI）。

后来产品下线了。OpenAI 表示，Sora 的网页和应用体验已于今年早些时候停止服务，其帮助中心称 Sora API 将于 2026 年晚些时候关闭。这是一个商业决定，但它也提醒我们："世界模拟器"只是挂在一款消费级视频应用上的研究叙事。

独立研究的说法更直白。Physics-IQ 基准在流体动力学、光学、固体力学、磁学和热力学上测试了 Sora、Runway、Pika、Lumiere、Stable Video Diffusion 和 VideoPoet。结论是：物理理解"非常有限，并且与视觉真实感无关"（arXiv）。另一项研究用简单的模拟物理数据训练视频模型，发现它们是复制最接近的训练样本，而不是学会规律，并由此得出结论：单靠扩大规模无法发现物理定律。

所以，对于 Veo 3.1 和 Runway Gen-4.5 这类视频模型，应该把它们看作出色的渲染器、薄弱的模拟器。做广告或分镜没问题。但如果你打算相信这些视频，让它教机器人湿滑地面会怎样，那就是个糟糕的赌注。如果你需要的是视频，可以先看我们的 AI 视频工具栈对比 和 AI 视频生成器榜单。

为什么芯片厂商和投资人愿意砸钱

AMD 的这笔交易最清楚地表明了趋势走向。该公司将这笔全股票交易估值约 82 亿美元，预计在监管批准的前提下于 2026 年底前完成，并将任命李飞飞为执行副总裁兼首席科学家，向 CEO Lisa Su 汇报（AMD）。TechCrunch 报道称，AMD 预计 World Labs 的"前沿工作负载"将影响其芯片路线图，并把这次收购描述为与 NVIDIA 竞争的一种方式，后者已经通过 Cosmos 提供开放的世界模型（TechCrunch）。

风险投资也在朝同一个方向流动。下面每一轮融资都是今年宣布的。

AMI Labs 以 35 亿美元的投前估值融资 10.3 亿美元，投资方包括 NVIDIA、Samsung、Temasek 和 Toyota Ventures（TechCrunch）。TechCrunch 还报道，World Labs 融资 10 亿美元，其中 2 亿美元来自 Autodesk，那是在同意出售的几个月之前。Runway 以 53 亿美元估值融资 3.15 亿美元，用于预训练其下一代世界模型；Odyssey 以 14.5 亿美元估值融资 3.1 亿美元，Amazon 和 AMD Ventures 参与其中。

有四种动机不断出现。芯片厂商想要的是工作负载：一位 DeepMind 研究总监告诉 TechCrunch，在 Project Genie 的一次会话中，"某处有一块芯片是完全只属于你的"（TechCrunch）。

机器人团队需要在现实世界中采集起来又慢又危险的训练数据。3D 内容靠手工制作成本高昂。还有些实验室认为，仅靠语言无法把 AI 带入物理世界。Luma 去年融资 9 亿美元时说得很直白："要模拟宇宙，LLM 和文本是不够的。"留意一下 NVIDIA 和 AMD 的风投部门在这些股东名单上出现的频率。卖算力的公司在资助那些将来要烧算力的公司。

今天你真正能用上什么

去掉研究预览和候补名单，清单就很短了。以下是今年向公众开放，或者向任何有信用卡的开发者开放的产品。

价格来自各厂商自己的页面（Marble 定价、Google AI 套餐）。有两点很突出。Marble 是这里唯一一个非开发者也能付费并带走一个文件的产品。而最惊艳的演示 Project Genie，除非你本来就因为别的原因在付 Ultra 的钱，否则在价格上很难说得过去。Google 起初只向 18 岁以上的美国订阅用户开放，并把单次生成限制在 60 秒，现在已列出 140 多个国家。

下面的矩阵比较你最可能尝试的四个产品，只列我们能在厂商页面上确认的属性。

Marble 在机器人一栏只得到部分标记，因为 World Labs 向机器人团队推介的是其 World API，可以对接 NVIDIA Isaac 等模拟器，而面向消费者的应用并不是为这类工作设计的。

试用世界模型的一周计划

1. 1打开 Marble 的免费方案，用一张真实房间的照片生成一个世界。World Labs 称生成完整世界约需五分钟，草稿约需 20 秒（World Labs docs）。
2. 2用文本 prompt 生成同一个房间。把两个版本都走一遍，留意模糊或"融化"的区域，那些地方就是模型在猜的部分。
3. 3如果你订阅了 Google AI Ultra，在 Project Genie 里重建这个房间。从门口走开，再走回来，记下有什么变化。
4. 4如果你会写代码，从 Hugging Face 拉取 Cosmos 3 的 checkpoint，或者在投入 GPU 之前先在 NVIDIA 的目录里试用托管模型。
5. 5写下一个你想交给世界模型的任务，以及它需要的输出：视频、splat、网格还是动作。输出格式比任何演示都更能决定该选哪个工具。

不确定从哪里开始？这棵决策树最多用两个问题，按你的目标给你指路。

大多数最终面向人而不是机器人的路径，都会落到 Marble 上。它是获得一个可以留存的世界最便宜的方式。

如何判断世界模型的演示

世界模型的发布视频是为社交媒体剪辑的，经过剪辑的短片会美化任何模型。几项检查可以帮你拨开光鲜的外表。

先看时长。Google 自己的 Genie 3 页面写道，该模型支持"数分钟的持续交互，而不是长达数小时"（Google DeepMind）。它的前代 Genie 2 展示的例子大多只持续 10 到 20 秒。一段 15 秒的片段，无论怎么看都说明不了什么。

然后看有没有"回头路"。记忆是难点。Genie 3 能记住改变约一分钟，Runway 也承认 GWM Worlds 2 的长期记忆并不完美。如果镜头从不转回已经展示过的地方，就要问问为什么。

看是谁在操控。流畅的电影式运镜可以提前规划，而真人按键则会暴露延迟。TechCrunch 对 Project Genie 的上手体验发现，控制反应迟钝，角色有时会穿墙而过，不过黏土动画和水彩这类风格化的世界看起来不错（TechCrunch）。

最后，把外观和物理区分开。Physics-IQ 发现视频模型的这两者互不相关，所以一个满是壮阔风景却没有碰撞的演示，只是渲染演示。下次看到发布视频时，用一下这个评分器。

典型的剪辑版发布视频在这里得分很低。把它当作营销来看，在围绕这个模型安排任何工作之前，先自己动手测一遍。

还没人解决的局限

一致性是第一道墙。这些模型根据已经生成的内容来生成每个瞬间，所以小误差会不断累积。TechCrunch 对 Decart 的 Oasis 3 的报道发现，它的驾驶世界在长时间会话中会失去连贯性，汽车会穿过障碍物，重访某些区域时场景记忆会退化（TechCrunch）。

成本是第二道。Oasis 3 定价为每秒 $0.02，折合每分钟 $1.20，模拟驾驶一小时 $72。Google 把 Project Genie 限制在 60 秒，是因为每次会话都要占用专属硬件。相比之下，一个做好的游戏关卡，每多一个人玩，额外成本几乎为零。

评估是第三道，也是被讨论得最少的。基准测试还很年轻，其中不少还来自发布模型的那些实验室。Meta 自己的物理推理测试显示，人类得分为 85% 到 95%，与最好的模型之间有明显差距（Meta AI）。NVIDIA 声称 Cosmos 3 在多个世界生成榜单上排名第一。厂商的排名，就当厂商的排名看。

这些公司也不怎么透露。TechCrunch 今年报道称，世界模型初创公司对产品计划守口如瓶，AMI Labs 的 CEO 也说过，他的公司不是那种三个月就发产品的初创公司。

谁应该再等等？任何今年就需要为游戏、影视或建筑搭建可靠生产流水线的人。世界模型适合做草稿和参考素材，但还不能取代游戏引擎，也取代不了你的团队已经验证过的物理模拟器。

对创作者、游戏开发者、建筑师和机器人团队意味着什么

创作者能立刻获得最大的价值。Marble 的世界可以通过 Gaussian splatting 插件导出到 Unreal Engine、Unity、Blender 和 Houdini，你还可以把镜头飞行录制成视频。对于预演和虚拟布景，这是一条实实在在的捷径。注意许可：商业使用权从 $35 的 Pro 方案开始，$20 的 Standard 方案不包含（Marble 定价）。如果要做单个物体而不是整个场景，3D 模型生成器榜单更合适。

游戏开发者目前应该把世界模型当作搭白模和概念设计的工具。Marble 的 Chisel 模式能把粗糙的 3D 形状变成细节丰富的世界，适合早期关卡布局。生成的世界不带游戏逻辑、调校过的碰撞或性能预算，而这些才是让游戏能上线的东西。游戏开发者 AI 工具榜单收录了覆盖流水线其余环节的助手。

建筑师和室内设计师紧随其后。Autodesk 首席科学家 Daron Green 告诉 TechCrunch，他能想象客户从"World Labs 里一张基于世界模型的草图（比如办公室布局）"开始，再在 Autodesk 工具里细化。如果现在就要交付客户可用的成果，AI 室内与建筑设计榜单和我们的室内设计工具盘点里有更成熟的选择。

机器人软件团队的理由最充分。Cosmos 3 的设计思路是用你自己的摄像头和机器人数据做后训练，并作为闭环模拟器运行。World Labs 表示，其 real-to-sim-to-real 系统能把一个真实任务变成成千上万种模拟变体，并对每个策略 checkpoint 做 2,000 次模拟测试，模拟得分与硬件得分基本吻合。好处在于筛选：更少的弱 checkpoint 会真正碰到实体机器人。World Labs 还把其 World API 接入了包括 Isaac Sim 和 MuJoCo 在内的模拟器，所以做试点并不意味着要替换你的团队已经信任的模拟器。

常见问题

ChatGPT 是世界模型吗？

不是实验室所说的那种。ChatGPT 预测的是文本。它能描述玻璃杯从桌上掉下来会怎样，但它不会输出一个你可以一步步操作的状态。LeCun 创办 AMI Labs 的全部理由就是：光靠语言模型走不到那一步。

我能免费试用世界模型吗？

可以。Marble 的免费方案最多可生成四个世界，如果你有合适的 GPU，NVIDIA Cosmos 3 和 Meta 的 V-JEPA 2 的权重可以免费下载。Project Genie 则需要付费的 Google AI Ultra 套餐。

世界模型会取代游戏引擎吗？

短期不会。交互式生成的世界在几分钟内就会漂移，而且这些工具都不带游戏规则，所以更可能的路径是混合使用：生成一个草稿世界，导出，然后在 Unreal、Unity 或 Blender 里完成。World Labs 的导出指南已经默认这种工作流。

AMD 收购 World Labs 之后，Marble 会怎样？

两家公司都没有说。这笔交易仍需监管批准，预计 2026 年底前完成，World Labs 表示 Justin Johnson 和 Ben Mildenhall 将继续在 AMD 内部领导其团队。如果你的客户项目依赖 Marble，请导出你的世界并保留本地副本。

Sora 还能用吗？

不能。OpenAI 表示 Sora 产品已不再提供：网页和应用体验已于今年早些时候停止服务，API 计划在 2026 年晚些时候跟进关闭。如果你要做视频生成，我们的最佳 AI 视频生成器指南介绍了市面上仍在运营的工具。