跳到正文
EMBODIED INTELLIGENCE · 示教与动作模型

模仿学到的是动作规律,不是面对所有意外的经验

示教把人的操作变成观察与动作配对,行为克隆再把配对关系学成策略。但机器人执行自己的动作后,会进入示范里没出现过的状态。理解训练分布、误差累积和纠正数据,才能解释为什么离线预测很准,现场却越做越偏。

人通过主手臂示范物体入盒,从手臂重复动作;淡色姿态轨迹表示经验,而不是逐帧复制必然成功。
直觉总览:人通过主手臂示范物体入盒,从手臂重复动作;淡色姿态轨迹表示经验,而不是逐帧复制必然成功。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 从“照着做”到统计学习

示范必须包含模型执行时能使用的线索

学骑车的人不能只背老师每一秒转了多少度:自己的速度和位置稍有不同,同样的转向就可能产生不同后果。机器人模仿学习也是如此。它需要根据当前观察选择动作,而不是机械回放一条录制轨迹。

模仿学习(Imitation Learning)用专家行为提供学习信号。最直接的方法是行为克隆(Behavior Cloning,BC):把示教中的观察、任务目标和动作组成监督学习样本。观察可以包含相机图像、关节状态和历史帧;动作必须明确是目标关节角、末端位移还是其他控制接口。

  1. 同步记录

    保存观察、机器人状态、目标与示范动作;保留时间戳和动作生效约定。

  2. 构造样本

    用当前或历史观察预测对应动作;按完整轨迹划分训练与测试。

  3. 优化策略

    比较模型输出与专家标签,更新参数;归一化统计只从训练集计算。

  4. 闭环执行

    在独立场景运行策略,记录失败与接管,而非只检查离线预测误差。

数据采集、监督训练与现场执行是三个不同过程。录制成功不代表数据对齐正确,拟合成功也不代表闭环任务成功。
LBC(θ)=1N∑i=1Nℓ ⁣(πθ(oi,gi),ai⋆)\mathcal L_{\rm BC}(\theta)=\frac1N\sum_{i=1}^{N}\ell\!\left(\pi_\theta(o_i,g_i),a_i^\star\right)
o 是可用观察,g 是任务条件,a★ 是专家动作,πθ 是策略。ℓ 可取连续动作回归误差或离散动作交叉熵;该式描述监督目标,不是任务成功率。

训练时看到未来图像、部署时却只能看到当前图像,会造成信息泄漏。专家靠手感调整夹持力,但模型只看到遮挡严重的单张图像,也可能缺失完成任务所需的信息。此时继续增加同样的成功视频,未必能补上触觉、视角或历史记忆的缺口。

数据量算例 · 本文教学设定

60000 帧不等于 60000 次独立尝试

100 条示范,每条 30 秒、20 Hz 采样,共约 60000 个时刻。但相邻帧高度相关,真正独立的场景、物体与初始状态可能很少。随机拆散视频帧会让同一条轨迹的近邻同时进入训练和测试;按轨迹划分只是第一步,若要测试新物体或新房间,还应按这些因素隔离。

02 · 动作会改变下一道题

小误差为什么会把机器人带离示范

专家抓取时夹爪总在物体正上方,训练图像自然集中在那里。模型第一次偏了几毫米,下一帧看到的物体就偏向画面边缘;再按陌生画面预测,可能继续偏。这里不是输入数据被随机抽样,而是策略自己的动作参与决定后续输入。

ot∼dπθat deployment,oi∼dπ⋆in demonstrationso_t\sim d_{\pi_\theta}\quad\text{at deployment},\qquad o_i\sim d_{\pi^\star}\quad\text{in demonstrations}
dπ 表示运行策略 π 时遇到的观察分布。部署策略与专家不同,所见分布也可能不同;低示教分布误差不能直接推出低部署分布误差。

用一个简化模型感受长任务的要求:假设每一步独立地有 99% 概率满足某个必要条件,且任何一步违反就失败,100 步全部满足的概率是 0.99¹⁰⁰≈36.6%。这不是行为克隆的真实成功率公式——机器人误差会相关、可恢复,也会改变后续难度——只是说明“单步看起来很准”不足以支持长流程结论。

另一个问题是多解:同一障碍可以从左绕或从右绕。若两类示范数量相当,确定性平方误差回归可能偏向二者平均,而平均路线恰好撞向障碍。先检查任务条件和历史是否缺失,再考虑概率模型、动作序列或多模态分布;不能把所有失败都归结为模型不够大。

03 · 学会从自己会犯的错中回来

纠正数据应覆盖策略真正遇到的状态

2011 年的 DAgger(Dataset Aggregation,数据集聚合)提出一种交互式思路:让当前策略产生访问状态,再向专家查询这些状态下应该做什么,把标注加入累计数据集重新训练。它针对的是“训练分布只由专家决定”的缺口,而不是简单多录几条正常成功轨迹。原论文。

  1. 运行当前策略

    在受控条件下收集策略实际访问的状态;必要时使用专家混合策略。

  2. 取得专家标签

    记录这些状态下合理的纠正动作,不把模型自己的错误输出当专家答案。

  3. 聚合与再训练

    保留原示范并加入新标注;注意采样比例、标签一致性和场景覆盖。

  4. 独立复测

    在未参与纠正的数据和环境上验证,区分改善与对测试场景的记忆。

DAgger 是有条件的学习算法,不是允许机器人任意试错的安全协议。真实系统常需限域、仿真、保护措施或人工接管。

失败轨迹不能不加区分地当正例:碰撞前的错误动作若被标成“应当模仿”,反而强化错误。失败数据可以用于发现分布缺口、训练失败检测,或配上专家纠正动作。实际人工接管数据也并不自动等于完整 DAgger:是否标注全部访问状态、怎样混合和怎样更新,都会影响方法及其理论条件。

04 · 示教不是模型的旁支工程

看真实系统,要同时看采集方式与验证范围

ALOHA(A Low-cost Open-source Hardware System for Bimanual Teleoperation,低成本开源双臂遥操作硬件系统)在 2023 年把遥操作与动作学习结合起来。其 ACT(Action Chunking with Transformers,使用 Transformer 的动作分块)预测一段动作,而非孤立一步;项目页展示每任务 50 条示范、物体沿 15 cm 参考线随机化的实验设置。它是限定分布下的真实案例,不是“几十条数据可学任意任务”的依据。项目与实验说明。

对“指定物体入盒”项目,第一版先固定本体、相机与动作定义,再改变物体初始位置;第二版加入遮挡与抓取偏差的纠正示范。至少分别报告离线动作误差、闭环完成率、人工接管次数、碰撞/异常接触和恢复表现。测试时悄悄帮助摆正物体,也应计入干预,而不能算完全自主完成。

模仿学习是学习信号的来源,VLA(Vision-Language-Action,视觉语言动作模型)是输入输出与模型组织范式:VLA 完全可以通过模仿学习训练。扩散策略和 ACT 也可学习同一批示教,它们主要改变动作分布与时间结构的表达,不会消除数据质量问题。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。