跳到正文
EMBODIED INTELLIGENCE · 数据、评测与真机工程

示教质量,从人的动作进入机器的那一刻开始

遥操作把人的意图映射成机器人动作,同时产生训练记录。映射方式、时延、视角、操作者策略与成功判定都会改变数据;能让人完成任务的接口,不一定能自动产生适合自主策略学习的样本。

操作者在独立控制台引导主手臂,从手臂在相机观察下搬运物块;人的示教、机器人执行与记录需要对齐。
直觉总览:操作者在独立控制台引导主手臂,从手臂在相机观察下搬运物块;人的示教、机器人执行与记录需要对齐。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 人的手不是机器人的关节

先定义控制的是什么,再追求操作顺手

玩赛车游戏时,方向盘和摇杆都能表达“向左”,但转动幅度、回中方式和响应不同。遥操作 Teleoperation 也有同样问题:人的动作不是可以原样塞进机器人的通用指令。

主从机械臂常用关节映射:人移动主臂,系统把对应关节目标发送给从臂。手柄、手势或虚拟现实接口则可能控制末端位姿,需要解算关节动作并处理可达性。身体形态不同,直接复制角度往往不成立;关节限位、工具朝向、夹爪行程和坐标轴正方向都需要校验。

Δprobot=sR Δpoperator\Delta p_{\mathrm{robot}}=sR\,\Delta p_{\mathrm{operator}}
仅描述平移增量的教学映射:R 把操作者坐标转到机器人坐标,s 是位移缩放系数。不包含旋转、逆运动学、碰撞检查或动力学;不能直接当作真机控制程序。

例如取右手坐标系绕正 z 轴旋转 +90° 的 R、缩放 s=0.5,操作者沿自身 x 轴移动 0.10 m,映射后是机器人沿 y 轴移动 0.05 m。若把 R 方向用反,目标就会朝相反一侧移动。旋转不能简单照搬这个位移公式,应明确姿态表示及参考系。

离合 clutch 允许操作者暂时解除映射、把手回到舒服位置,再继续控制。重新接合必须重设参考,避免手柄位置跳变变成机器人目标跳变。缩放和滤波能改善操作,但也改变动作分布;这些设置应记录到数据版本中。

02 · 人也在闭环里

一条顺滑示范,可能包含操作者对延迟的补偿

  1. 人看到环境反馈

    直接观察或通过相机;视野、遮挡、帧龄和网络延迟影响判断。

  2. 输入产生控制目标

    主臂、手柄或手势经坐标映射、缩放和限制生成目标。

  3. 机器人执行并回传

    控制器跟踪目标;同时记录命令值与实测状态,不用前者替代后者。

  4. 记录并核验任务

    对齐各源时间,标注停顿、接管、失败、结果和操作者信息。

遥操作既是控制闭环,也是数据生产线。人类能利用现场额外视角或常识补偿系统缺陷,自主策略却未必拥有同样信息。

人若看到的是 150 ms 以前的画面,可能提前减速或反复微调。记录得到的并非“无延迟最优动作”,而是该接口条件下的行为。网络延迟变化还会让同样状态对应不同纠正方式;训练时不能只保留动作而丢掉观察历史。

示教标签也要选对:主臂读数经过映射后才是从臂目标,从臂实测位置则包含控制滞后。若模型训练输出命令目标,不能未经说明就用同时刻实测位置替代标签。反过来,实测状态仍然很重要,因为它揭示命令有没有真正执行。

观察不对称

人看见的,模型可能看不见

操作者直接看见盒子侧面的入口,策略却只有正面相机,而入口在画面外。示教可以顺利完成,模型却面对信息不足的学习问题。要么增加部署时也有的传感器,要么调整任务与示教方式;不能用更多重复演示掩盖输入缺失。

03 · 采集设计先于按下录制

多样性来自有计划地改变条件

先确定任务边界、成功条件、对象与摆放范围,再规划哪些条件被训练覆盖、哪些留给测试。围绕入盒任务,可按物体位置、朝向、光照、背景和操作者分组。不要把同一位置连续演示一百遍称为一百种场景;也不要无限增加变量,导致每个关键条件只有一条不可复核样本。

录制前验证标定、时间同步、夹具、相机和停止机制;录制后抽样回放。成功不只看操作者按了“完成”:应有任务结果标签及其依据。暂停、重新摆放、人与环境互动、设备复位都要划清边界,不能把复位过程混成自主策略需要模仿的动作。

Nsteps=Nepisodes T fN_{\mathrm{steps}}=N_{\mathrm{episodes}}\,T\,f
每条轨迹时长相同且无缺帧时的教学计数。80 条、每条 25 秒、20 Hz,共 40,000 个记录步;这些相邻步高度相关,不是 40,000 次独立任务。

只计算有效动作时间也会低估采集成本。若每条有效演示 25 秒、复位和检查另需 35 秒,80 条至少占用 80 分钟;其中有效演示只有约 33.3 分钟,还未计校准、休息和失败重录。生产率应同时报告接受轨迹数、有效时长和实际工时。

04 · 失败不是垃圾,也不自动是正样本

保留失败原因,分清模型该学哪段动作

只留成功轨迹,策略可能从没见过物体滑落后的状态;把全部失败动作无差别当作模仿目标,又会教它重复错误。更合理的做法是保留完整原始记录,标明失败阶段、原因和接管范围,再按训练目标构建数据:成功策略、恢复策略、失败检测器需要的标签并不相同。

人介入纠正时,应记录切换发生的时刻、控制权归属、策略原始建议与人工最终动作。否则训练程序可能把模型自己犯错的动作当成专家纠正。用于学习恢复的片段还应包含足够的前置观察,让策略知道自己为什么进入这个状态。

多个操作者可能采用不同但有效的抓法。把动作直接求平均可能得到一条没有人执行过、甚至不可行的路线。可以保留操作者与策略风格信息,或采用能表示多种动作模式的方法;具体选择应通过独立闭环评测验证,而不是凭训练损失决定。

05 · 真实系统的采集取舍

硬件、接口与学习方法共同构成实验条件

2023 年 ALOHA使用主从双臂遥操作收集示范,并结合 ACT(Action Chunking with Transformers,基于 Transformer 的动作分块)学习。官方展示的一组实验每项任务使用 50 条示范,以 50 Hz 预测关节位置、动作块长度为 90;物体位置沿 15 cm 参考线随机化。它展示了限定设置下精细操作的可能性,不能外推成“任何任务录十分钟就能学会”。

DROID则强调跨场景采集:统一机械臂、腕部与外部相机、遥操作设备,并用可移动桌面进入不同环境。两种路线分别揭示了精细示范接口和场景覆盖的重要性;它们都不意味着采集人员可以绕过设备安全流程。

实际开始前,先沿数据合同做一条可回放、可解释的完整 episode,再扩大规模。把采集质量作为训练前的门禁,比训练失败后才猜测“是不是模型太小”更容易定位问题。真机操作的权限、保护和接管要求放在部署工程中统一检查。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。