世界模型：让机器人先在“脑内”试一遍
什么是世界模型，它和机器人有什么关系，以及截至 2026 年 7 月有哪些值得关注的开源选择。
图 1：世界模型的直觉——机器人不必把每个动作都拿到现实里试，而是先预测几种可能的结果。本文配图由图像生成模型生成。
概述
世界模型不是某一种固定的神经网络，而是一类能够表示环境状态、预测环境如何变化的内部模型。给它当前观察和一个候选动作，它应该能回答：“接下来可能发生什么？”
它和机器人的联系非常直接：机器人需要在物理世界里行动，而行动有成本、有延迟，也可能造成碰撞。世界模型相当于机器人内部的“沙盘”，可以用来预测动作后果、比较方案、训练策略和生成仿真数据。
但有三个边界必须先讲清楚：
- 世界模型不等于机器人控制器。它负责预测，规划器或策略负责选动作。
- 能生成漂亮视频的模型，不一定能控制机器人。机器人真正需要的是动作条件世界模型：模型要知道机械臂向左移 2 厘米和向右移 2 厘米会产生不同结果。
- 目前确实有开放代码和开放权重的世界模型，但还没有一个下载后就能接管任意机器人的“通用物理大脑”。开放项目的成熟度、动作空间、训练数据和算力门槛差异很大。
世界模型是什么
核心机制
人看到杯子靠近桌沿，会预判它继续移动可能掉下去；伸手拿杯子前，也会大致估计手臂轨迹和碰撞风险。这个不完整、但足以支持决策的内部预测，就是理解世界模型的最好起点。
在机器人系统中，可以把它写成一个简化过程：
$$ z_t = E(o_{\le t}), \qquad (\hat z_{t+1}, \hat r_t, \hat d_t, \hat u_t) = F(z_t, a_t) $$
其中：
- $o_t$ 是相机、激光雷达、关节位置、力传感器等观察；
- $z_t$ 是模型压缩出来的内部状态；
- $a_t$ 是候选动作；
- $F$ 预测下一个状态，也可以同时预测奖励、任务是否结束和不确定性。
这个预测不必还原成完整视频。它可以预测像素，也可以只预测对控制有用的低维状态或视觉特征。2018 年的 World Models 展示了“在模型想象出的环境里训练策略”的经典范式；后来的 Dreamer、TD-MPC 和 JEPA 路线，则更多地在紧凑的潜在空间中进行预测和规划。
图 2：世界模型不必逐像素记住现实。它可以把观察压缩成潜在状态，再从这个状态推演不同动作的结果。
一个用于控制的完整闭环通常长这样：
图 3：候选动作进入世界模型，规划器比较预测结果；机器人只执行第一步，然后依据新观察重新规划。
这里“只执行第一步”很重要。机器人执行一步后重新观察、重新预测、重新规划，这就是滚动时域的模型预测控制（MPC）。它不要求世界模型一次把很远的未来猜准，而是用持续反馈修正误差。
三类世界模型
“世界模型”现在至少覆盖三条技术路线：
| 路线 | 主要预测什么 | 典型用途 | 代表项目 |
|---|---|---|---|
| 控制型潜在动力学 | 动作之后的潜在状态、奖励或价值 | 强化学习、MPC、连续控制 | DreamerV3、TD-MPC2 |
| 视觉表征型世界模型 | 视频或图像在潜在特征空间中的未来 | 物理理解、目标图像规划、机器人操作 | DINO-WM、V-JEPA 2-AC |
| 生成式世界基础模型 | 未来视频、声音、动作等多模态结果 | 合成数据、场景模拟、策略预训练 | Cosmos 3 |
它们共享“根据当前状态预测未来”这一核心，但输出形式和使用方式不同。评价一个项目时，不能只问“生成效果好不好”，还要问：
- 是否接收机器人动作作为条件？
- 是否能对多个候选动作进行比较？
- 是否能在闭环里达到足够低的延迟？
- 预测错误时，系统是否知道自己不确定？
如果这四个问题都回答不了，它更可能是一个视频生成器或视觉编码器，而不是可直接用于机器人决策的世界模型。
世界模型与机器人
降低真机试错与数据成本
真实机器人采集数据慢，磨损和人工复位都很贵。世界模型从已有交互中学会动力学后，可以在潜在空间里产生大量“想象轨迹”，让策略把更多试错放到模型内部完成。
DayDreamer 把 Dreamer 用到四类实体机器人上：四足机器人从零开始学习翻身、站立和行走，机械臂从图像与稀疏奖励学习抓放，轮式机器人学习视觉导航。它说明世界模型并不只适用于游戏环境；其真正价值是提高真实交互的利用率。
互联网视频没有机器人动作标签，但包含大量“物体如何移动、人如何操作物体”的规律。V-JEPA 一类方法先从视频中学习时空表征，再用少量机器人轨迹做动作条件后训练。Meta 的 V-JEPA 2 使用大规模视频预训练，并用少于 62 小时的 DROID 机器人视频训练动作条件版本 V-JEPA 2-AC，用目标图像驱动机械臂完成到达、抓取和放置。
这种路线的意义不是“看视频后自动会做所有家务”，而是把昂贵的机器人交互数据用在动作与后果的对齐上，而不必从零学习所有视觉概念。生成式世界基础模型还可以合成不同光照、物体布局、遮挡和异常事件，用于扩充感知或策略模型的训练数据。
这里要区分生成数据和直接控制。前者允许离线生成和人工筛选；后者要求动作条件准确、延迟低，并且不能在关键物理细节上胡编。
预测动作后果并滚动规划
机械臂抓杯子时，可以先生成多组抓取轨迹，让世界模型预测每组轨迹的结果，然后选择最接近目标、碰撞风险最低的一组。执行一小步之后，再依据新画面重算。
TD-MPC2 就是典型的“潜在世界模型 + 局部轨迹优化”路线。它不要求把未来重新渲染成高清图像，而是直接在适合控制的潜在空间中寻找高价值动作。
图 4：部署时更可靠的方式不是相信一次长预测，而是预测、执行一步、重新观察，再规划。
世界模型可以放在现有策略旁边，做候选动作排序、碰撞预测或异常检测。对于真实产品，这往往比“一开始就让世界模型全权控制机器人”更容易落地：原有控制器继续负责稳定执行，世界模型先以影子模式评估风险，验证充分后再逐步扩大权限。
与 VLA、仿真器如何协作
世界模型经常和视觉—语言—动作模型（VLA）混在一起。两者的提问方式不同：
| 系统 | 核心映射 | 擅长什么 | 主要短板 |
|---|---|---|---|
| VLA / 策略模型 | 观察 + 指令 → 动作 | 直接执行语言任务，推理链短 | 通常不显式展示“这个动作之后会怎样” |
| 世界模型 | 观察 + 候选动作 → 未来 | 反事实预测、规划、数据生成 | 需要额外规划，长时预测会累积误差 |
| 混合系统 | VLA 提议动作，世界模型预测并筛选 | 兼顾语义指令与物理后果 | 系统复杂度和推理成本更高 |
OpenVLA 是开放 VLA 的代表：它从图像和语言指令直接产生机器人动作。它不是典型的预测式世界模型，但完全可以与世界模型组合。2026 年发布的 Cosmos 3 则开始把理解、世界生成和动作生成放进统一架构，VLA、世界模型与策略模型之间的边界正在变模糊。
仿真器也不等于世界模型。Gazebo、MuJoCo、Isaac Sim 等通常以人工设计的几何和物理规律为核心；学习型世界模型则从数据中拟合真实环境的规律。前者可解释、可控，后者更容易吸收真实世界中难以手工建模的视觉和接触现象。工程上更合理的方向通常是混合：仿真器提供结构和安全边界，学习模型补偿现实差异。
开放项目与选择
开放项目对比
先把“开源”说严谨一些。一个项目可能只开放推理代码，也可能同时开放训练代码、权重和数据；模型权重还可能采用不同于 MIT 或 Apache 的专用许可证。下面的“开放”是工程可获得性的概括，正式使用前仍要逐项检查许可证。
| 项目 | 适合做什么 | 开放内容 | 使用时要注意 |
|---|---|---|---|
| DreamerV3 | 学习潜在世界模型与“想象轨迹”强化学习；复现多类控制环境 | MIT 代码 | 当前仓库明确说明是独立复现，不隶属 Google/DeepMind；它是算法框架，不是可直接接真机的通用权重 |
| TD-MPC2 | 连续控制、MPC、多任务机器人仿真 | MIT 代码、300 多个检查点、训练数据；覆盖 DMControl、Meta-World、ManiSkill2、MyoSuite | 很适合做控制基线，但大部分现成任务仍是仿真环境；接真机需要重新定义观察、动作和安全层 |
| DINO-WM | 用离线轨迹训练视觉潜在动力学，按目标图像做零样本规划 | MIT 代码、数据入口，以及 PointMaze、PushT、Wall 检查点 | 研究原型较轻量，适合读懂“预训练视觉特征 + 动作条件预测 + CEM 规划”；现成权重的任务范围有限 |
| V-JEPA 2 / 2.1 与 V-JEPA 2-AC | 视频自监督表征、动作条件潜在预测、目标图像机器人规划 | 代码、训练配置和多种检查点；代码主体为 MIT，部分组件有单独条款 | V-JEPA 2.1 强化了稠密、时序一致的视觉特征；机器人规划要重点看动作条件版本 2-AC，而不是只下载视频编码器 |
| NVIDIA Cosmos 3 | 大规模物理 AI：世界理解、视频/声音/动作生成、合成数据与策略学习 | Nano 16B、Super 64B、DROID 策略模型、代码、工具和部分数据，采用 OpenMDW-1.1 | 能力覆盖最广，但 16B 起步，推理和后训练算力明显高于前几类；专用许可证也应单独审阅 |
截至 2026 年 7 月，Cosmos 3 是 NVIDIA 当前主推的开放世界模型平台。此前的 Cosmos-Predict2.5 已进入有限维护，官方建议新项目迁移到 Cosmos 3。
V-JEPA 的状态也需要区分：2026 年 3 月发布的 V-JEPA 2.1 主要改进稠密视觉表征和时间一致性；如果目标是让机器人根据动作推演未来，V-JEPA 2-AC 仍是更直接的入口。
如何选择
如果目的是学习原理，建议从 DreamerV3 或 TD-MPC2 开始。它们把“状态表示—动力学预测—想象或规划—动作执行”的闭环交代得最清楚，也不需要一开始就面对几十亿参数的视频模型。
如果目标是做一个可复现的机器人研究实验，可以按问题选：
- 连续控制和强化学习基线：TD-MPC2；
- 离线数据、目标图像和零样本视觉规划：DINO-WM；
- 大规模视频预训练后接机器人规划：V-JEPA 2/2.1 + 2-AC；
- 合成视频数据、多模态世界生成或世界—动作统一模型：Cosmos 3。
如果目标是真实机器人产品，更稳妥的第一版通常是“现有策略或 VLA + 世界模型评估器 + 硬安全控制器”：
图 5：策略或 VLA 负责提出动作，世界模型负责预测后果；通过风险检查和硬安全约束后，机器人再执行一步。
这样可以先衡量世界模型是否真的减少碰撞或提高成功率，而不必把整个控制栈一次性重写。
评论