跳到正文
EMBODIED INTELLIGENCE · 世界模型与长任务

预测动作的后果,还不等于知道该做什么

世界模型是机器人内部的预测器:根据已有观察和候选动作,估计接下来可能发生什么。它可以帮助选择动作,也可以给策略提供训练经验;但预测误差、目标定义和真实反馈决定了这份“想象”是否有用。

机械臂面对同一块物体,想象推向不同方向的后果;桌上的真实物体与上方预测场景分开,预测仍需由下一次观察检验。
直觉总览:机械臂面对同一块物体,想象推向不同方向的后果;桌上的真实物体与上方预测场景分开,预测仍需由下一次观察检验。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 不是脑内录像机

要预测“如果这样做”,先保留能改变结果的信息

推一只杯子之前,人会预想它会滑动还是翻倒。机器人也可以学习这种动作与后果的关系,但它不必生成一段高清电影:若任务只是避免翻倒,杯子的位置、速度、支撑关系可能比杯身花纹更重要。

这里的世界模型指学习式环境预测模型。观察 observation 是传感器收到的图像、关节读数等;状态 state 是描述环境演化所需的变量;潜状态 latent state 则是模型学出的内部表示。潜状态不是“真实世界被完全压缩后的答案”,它可能遗漏摩擦、隐藏障碍或接触状态。同一张静止照片无法告诉我们物体正向哪个方向滑动,因而观察历史和自身动作往往也要进入估计。

zt=E(o≤t,a<t),z^t+1∼pθ(zt+1∣zt,at)z_t=E(o_{\le t},a_{<t}),\qquad \hat z_{t+1}\sim p_\theta(z_{t+1}\mid z_t,a_t)
教学抽象:编码器 E 从截至当前的观察 o 与过去动作 a 得到内部状态 z;参数为 θ 的预测器给出执行当前动作后的下一状态分布。真实系统可能把记忆状态单独表示;这里不规定具体网络。

动作条件很关键。只预测“这段视频接下来通常出现什么”,可能把相关性当作可控制性;机器人需要区分“夹爪张开”和“保持闭合”带来的不同结果。即使输入了动作,数据若只覆盖一种推法,也不足以验证模型在另一种推法上的反事实预测。

类比的边界

脑内沙盘说明“先估计后果”的职责,不证明模型具有人类物理常识。地图描述空间结构,物理引擎按设定方程推进状态,学习式世界模型从数据拟合变化规律;三者可以结合,但不能因为都表示环境就混成一种技术。

02 · 预测器与决策器

同一个预测器,可以服务两种不同闭环

  1. 由新观察估计状态

    保留时间、历史和不确定性,不直接把上一轮预测当成已发生事实。

  2. 展开候选动作后果

    对多个短动作序列预测状态变化,并检查模型支持的范围。

  3. 按目标与约束比较

    评价目标距离、耗时等代价;碰撞和独立保护不能只靠生成画面判断。

  4. 执行一小段再观察

    控制器执行被允许的动作,真实反馈纠正状态后重新选择。

在线预测规划的概念流程。模型预测、代价评价和物理执行是不同职责;并非所有使用世界模型的方法都在部署时搜索候选轨迹。

第一种用途是在线规划:模型预测多个方案,规划器按目标挑选,再只执行前一小段。这与模型预测控制 MPC(Model Predictive Control)的滚动思想相通,但经典 MPC 可以使用已知动力学,并不要求神经网络世界模型。

at:t+H−1∗=arg⁡min⁡at:t+H−1E ⁣[∑k=0H−1c(z^t+k,at+k)+cT(z^t+H)]a^*_{t:t+H-1}=\arg\min_{a_{t:t+H-1}}\mathbb E\!\left[\sum_{k=0}^{H-1}c(\hat z_{t+k},a_{t+k})+c_T(\hat z_{t+H})\right]
H 是有限预测步数,c 是每步代价,c_T 是终点代价,期望针对预测的不确定性。公式只定义一个教学优化目标,实际还需要动作、状态与接触约束,并不保证求得全局最优或安全解。

第二种用途是训练策略:在模型生成的想象轨迹中学习“什么动作更好”,部署时策略可能直接给出动作,不再对每一步做显式树搜索。奖励或价值预测在这类系统里很有用,但“世界模型”这个名称本身并不规定每个实现都必须有奖励头。

一个预测器即使准确,也不知道用户要把杯子送到哪里;一个代价函数即使清晰,也无法修正错误动力学。把两者分开,才能定位“模型把杯子预测错了”“规划偏爱错误目标”还是“控制器没跟上”这三类问题。

03 · 想得越远不一定越准

一步的小误差,会成为下一步的输入

拿一个独立教学模型说明:真实标量状态按 f 演化,预测按另一函数演化;两条轨迹使用同一动作序列。假设比较区域内,真实 f 对状态的变化放大率不超过 L,每一步模型误差不超过 ε,且初始状态完全一致。由三角不等式可以得到:

ek+1≤Lek+ε,e0=0,eH≤ε∑i=0H−1Lie_{k+1}\le L e_k+\varepsilon,\quad e_0=0,\qquad e_H\le\varepsilon\sum_{i=0}^{H-1}L^i
e 是状态预测误差的大小;L 是上述区域内的 Lipschitz 上界;ε 是同一状态、同一动作下的单步模型误差上界。真实与预测轨迹都必须留在这些界成立的区域内;不是任意神经网络或真实机器人都满足的保证。

若 L=1、ε=0.01,10 步上界为 0.10;若 L=1.1,同样 10 步变为约 0.1594。这里是无量纲教学状态,不是某机器人 15.94 cm 的实测误差。接触切换、遮挡和分布外动作还可能让假设失效,不能机械套用这个数。

滚动执行可以用真实观察重新定位,减少连续自我预测的长度,却不能消除系统性偏差。每次都把光滑桌面误认为高摩擦,频繁重规划仍可能反复给出错误推力。策略还可能“钻模型空子”:在想象里通过不真实的接触获得高奖励,真实执行却失败。

如何设计一个反例

漂亮视频可能隐藏错误接触

在预测中,方块似乎进入盒子;仔细检查却发现它穿过盒壁。若只用像素相似度评分,小面积穿透可能被大面积静止背景稀释。任务更需要关注物体位置、是否被支撑、是否与夹爪脱离,以及进入盒子后是否稳定。图像质量和控制相关正确性应分别测量。

04 · 研究中的两种用法

历史实验说明能力,也限定结论

2018 年 World Models 将视觉压缩、记忆预测和小型控制器组合。视觉部分采用变分自编码器 VAE(Variational Autoencoder);记忆部分用混合密度网络与循环神经网络 MDN-RNN(Mixture Density Network–Recurrent Neural Network)预测下一潜表示的分布。控制器读取当前潜表示与记忆隐藏状态,不是直接读取下一帧预测。实验涉及 CarRacing 与 VizDoom;从学出的模拟环境迁回游戏环境,不等于完成现实机器人的仿真到真机迁移。

DreamerV3 官方项目展示另一条路线:学习环境模型,在想象未来中改进策略。项目页的视频说明中,首次获得 Minecraft 钻石发生在约 3000 万环境步,折合约 17 天游戏时间。这是游戏交互量口径,不是训练机器运行了 17 天,也不是机械臂所需样本量。论文从 2023 年预印本开始有后续版本;阅读不同报告时应固定版本和环境预算。

这些工作支持“预测表示能帮助控制学习”,不支持“世界模型已经解决真实世界所有物理规律”。对抓取、柔性物体、液体或高速接触,需要对应环境的数据和单独实验。

05 · 让预测接受检验

先问它改善了什么,再问画面有多真

预测层

固定动作,比较多步后果

用未参与训练的完整轨迹比较位置、速度、接触和事件;分别报告不同预测长度,不把同一轨迹邻近帧随机拆进训练与测试。

决策层

相同预算下是否更有用

与不使用预测器的策略比较任务成功、交互量、推理时延和失败类型。不能给带模型方法更多试错次数,却只比较最终成功率。

闭环层

预测错了能否及时发现

记录预测与实际的偏离、重新观察和停止条件。分布外置信度也需要验证;模型自己说“很确定”不是可靠性证明。

回到入盒任务:预测器可以帮助判断推还是抓,也可以完全不参与初版系统。先用可验证的感知、规划与控制建立闭环,再测量增加世界模型是否改善任务。学习式世界模型不是任务规划的必需前提;而一旦采用它,就必须把模型错误纳入失败恢复。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。