跳到正文
EMBODIED INTELLIGENCE · 示教与动作模型

扩散策略生成的是一段动作,不是一张机器人图片

扩散策略把观察条件下的动作序列看成一个分布:训练时给示范动作加噪,学习怎样还原;执行时从噪声出发逐步生成候选动作,再执行前一小段并重新观察。它能表达多种可行行为,但采样出的动作仍需面对延迟、分布外状态和物理约束。

散乱点逐渐收敛为推动物体的一条连贯运动轨迹,表示从噪声到动作的直觉,不表示路径已被证明安全。
直觉总览:散乱点逐渐收敛为推动物体的一条连贯运动轨迹,表示从噪声到动作的直觉,不表示路径已被证明安全。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 平均答案未必是好答案

动作学习有时需要保留多个合理选择

绕开一个盒子,左边和右边都可能正确,但两条路线的平均可能正对盒子。一个只输出平均值的模型,可能得到统计上接近示范、物理上却不可执行的动作。扩散策略尝试学习完整的条件动作分布,再从中生成一段一致的行为。

这里的策略(Policy)是“根据观察选择动作”的规则;扩散(Diffusion)描述从数据加噪、再学习去噪的生成方法。模型处理的对象可以是 H 个时刻、每步 d 维动作构成的数组,而不是图像像素。相机图像是条件之一,夹爪运动才是输出。

A0=[at,…,at+H−1]∈RH×d,A0∼pθ(A∣Ot)A^0=[a_t,\ldots,a_{t+H-1}]\in\mathbb R^{H\times d},\qquad A^0\sim p_\theta(A\mid O_t)
A⁰ 是无噪声动作块,O_t 是当前可用的观察条件,例如历史图像和本体状态。H 为预测步数、d 为每步动作维度;是否包含语言由具体模型决定。

教学例:单个横向动作的示范有一半是 −0.1 m,一半是 +0.1 m。用一个常数最小化平方误差时,最优输出是 0。概率模型可以保留两个峰,但“能表达多峰”不是“保证选择安全峰”:如果数据中没有可行路线、观察无法区分障碍,或采样落在低质量区域,仍会失败。

多峰也不等于多模态传感器。前者指动作分布存在多个高概率区域;后者指视觉、语言、触觉等不同输入类型。理解这个区别,才能知道扩散策略主要解决的是动作分布表达问题,而不是自动获得更多感官。

02 · 学习把被扰乱的示范修回来

去噪网络同时需要观察与噪声等级

  1. 取示范动作块

    从轨迹中截取对齐的观察条件与未来动作;处理轨迹末端和无效时间步。

  2. 采样噪声等级

    选择扩散步 k,并为动作数组采样高斯噪声;不是给真实电机发送随机动作。

  3. 条件去噪预测

    网络读取带噪动作、k 和视觉/状态条件,预测噪声或相应去噪量。

  4. 计算训练损失

    与已知噪声目标比较,只在有效维度和时间步上聚合误差并更新参数。

加噪发生在训练数据的数值空间。扩散步 k 是生成算法的内部索引,不是机器人运动的真实时间 t。
Ak=αˉkA0+1−αˉkϵ,ϵ∼N(0,I)A^k=\sqrt{\bar\alpha_k}A^0+\sqrt{1-\bar\alpha_k}\epsilon,\quad \epsilon\sim\mathcal N(0,I)
常见去噪扩散写法:ᾱ_k 是噪声日程的累计信号保留系数。动作先按训练约定缩放;不同维度的物理单位不能未经处理就混合比较。
Lnoise=EA0,Ot,k,ϵ ⁣[∥ϵ−ϵθ(Ak,k,Ot)∥22]\mathcal L_{\rm noise}=\mathbb E_{A^0,O_t,k,\epsilon}\!\left[\|\epsilon-\epsilon_\theta(A^k,k,O_t)\|_2^2\right]
展示常见的噪声预测训练目标,不规定所有实现都使用完全相同的参数化或权重。训练误差衡量去噪预测,不能当作碰撞率或任务成功率。

视觉编码器把图像变成特征,动作去噪器再利用这些特征生成序列。Diffusion Policy 论文讨论卷积式与 Transformer 式去噪网络;因此“扩散策略”不是某一个固定网络名字。条件是否充分、动作表示是否匹配和数据是否覆盖,仍然决定它能学到什么。论文机制。

以 ᾱ=0.64 为教学例,干净动作值 0.5、噪声 −0.2 时,带噪值为 0.8×0.5+0.6×(−0.2)=0.28。该过程只是构造一道已知答案的去噪题;训练时并没有真的让机器人移动到 0.28 对应的位置。

03 · 内部采样循环与外部控制循环

去噪多次,再执行短段,再看一眼

  1. 获得新观察

    读取带时间戳的图像与状态,形成当前条件。

  2. 内部多步去噪

    从随机动作数组出发,按采样器逐步生成动作块;尚未执行物理运动。

  3. 解码并执行前段

    还原动作尺度,检查接口与约束,仅执行约定的前 K 步。

  4. 重新观察

    根据最新状态再生成动作;不能假定后半段旧预测仍然正确。

滚动时域执行(Receding-horizon Execution)意味着不断更新未来动作。它不等同于显式使用动力学模型求最优控制的模型预测控制。

预测 16 步、每步 50 ms,覆盖 0.8 秒;若只执行 4 步,则 0.2 秒后重新观察。这里的 16 个动作时刻,与去噪时做 10 次还是 50 次网络计算,是两个独立概念。增加去噪步数不会直接让动作时间窗口更长,却会增加推理成本。

延迟预算 · 本文教学设定

动作块再连贯,也不能忽略它基于多久前的画面

假设视觉编码 8 ms、每次去噪网络计算 3 ms、采样 10 次,暂不计传输与控制器开销,总计约 38 ms;改为 50 次则约 158 ms。这不是某模型实测速度。它说明采样器、设备与批处理会改变闭环延迟,必须实测端到端耗时及波动,而非只报网络的平均速度。

缩短采样可降低延迟,但可能改变生成质量;异步计算能重叠执行与推理,却引入旧观察、动作块拼接和时间索引问题。每轮独立随机采样也可能导致行为模式切换,因此要观察动作连续性与任务进度,不能只看单次样本是否平滑。

04 · 能生成不等于能保证

把论文能力放回任务、数据和控制条件中

Diffusion Policy 在 RSS 2023 提出,并有 2024 年期刊扩展版。项目报告比较了 4 组仿真机器人操作基准中的 12 个任务,还展示推动 T 形物体、翻转杯子等真机案例。真实 Push-T 任务既要求把物体推入目标区域,也要求末端进入终止区;只看物体最后位置,会漏掉完整成功定义。项目与任务说明。

这类证据支持“条件动作生成是一条有效学习路线”,不支持“扩散总比其他策略好”或“采样自然满足约束”。末端轨迹平滑仍可能撞到桌沿;数据里的成功接触策略换一种摩擦材质也可能失效;扩散网络不会自动推断当前硬件的热限制或夹持力上限。

在物体入盒项目中,应使用同一训练/测试划分比较简单行为克隆、动作分块模型与扩散策略,并分别记录成功、恢复、动作跳变、推理延迟和干预。若只给某一种方法更多示范或更好的相机,比较的就不再只是动作生成方法。

扩散策略通常从示教中学习,因此属于模仿学习可采用的模型路线;它也可以成为视觉语言动作系统的动作头。模型是否使用语言、是否预训练和怎样生成动作,是可组合的设计轴,不是互斥的产品类别。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。