跳到正文
EMBODIED INTELLIGENCE · 示教与动作模型

动作不是一串数字,而是一份身体、坐标和时间的合同

同样的七个数,可以表示关节角,也可以表示末端平移、旋转与夹爪。动作模型能否接上机器人,取决于控制量、参考坐标、单位、时间和归一化是否一致。再理解动作分块,就能分清预测了多远、执行了多久,以及何时重新观察。

机械臂的关节转动和末端移动轨迹并列出现,提示同一个任务可以用不同动作接口描述。
直觉总览:机械臂的关节转动和末端移动轨迹并列出现,提示同一个任务可以用不同动作接口描述。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 先问这些数交给谁

目标位置、速度和力矩不是同一种命令

“向前一点”只有在知道谁的前方、移动多远、花多长时间时,才是一条可执行指令。模型输出亦然。向机器人接口发送维度正确的数组,仅证明格式能被接收,不证明它代表正确运动。

JOINT

关节空间

动作可以是各关节目标角度、角速度或力矩。目标角度通常交给底层位置控制器;力矩命令则要求另一套反馈、动力学与保护能力。不同本体的关节顺序、范围和耦合不能直接互换。

CARTESIAN

末端空间

描述夹爪的位置与朝向,或它们的增量。中间仍需逆运动学或任务空间控制,把目标转换为关节运动;目标可能不可达、接近奇异点或存在多个解。

HYBRID

组合接口

机械臂位姿加夹爪开合、底盘速度加机械臂动作,都是常见组合。各字段单位不同,离散开合与连续宽度也不能混用;动作维度不是模型能力的直接度量。

自由度(Degree of Freedom,DoF)描述独立运动变量。一个六维末端位姿加一个夹爪变量可以形成七维动作,但这并不意味着机器人有七个旋转关节。反过来,七关节机械臂也可能使用六维末端目标,让控制器处理冗余姿态。

  1. 策略输出

    产生约定表示的动作;此时可能仍是归一化数值或离散编码。

  2. 解码与变换

    反归一化,转换单位和坐标,并核对本体及控制模式。

  3. 约束与控制

    检查可达性、限位、时效及其他约束,生成底层参考或控制量。

  4. 驱动与测量

    执行器响应,传感器报告实际状态;命令不等于实际到达。

这是接口分层示意,不要求每个系统都有独立进程。真实系统应明确每一项职责由谁承担,不能让多个组件重复变换或漏掉检查。
02 · 相同数值可能指向不同方向

绝对值、相对值和参考系必须一起定义

ptargetB=ptB+ΔpB,ΔpB=RBEΔpEp_{\rm target}^{B}=p_t^{B}+\Delta p^{B},\qquad \Delta p^{B}=R_{BE}\Delta p^{E}
B 为基座坐标,E 为末端坐标,R_BE 把末端系中的向量旋转到基座系。该式只展示平移增量;完整位姿还要明确旋转的表达、组合方向和参考时刻。

教学例:夹爪坐标系从与基座对齐的位置,按右手系绕基座正 z 轴旋转 +90°,在自身正 x 方向移动 1 cm,对应基座正 y 方向移动 1 cm。若直接把向量 (0.01,0,0) 当基座位移发送,动作就转错了方向。这里没有模型精度问题,而是接口语义错误。

相对动作还要区分“相对当前观测状态”“相对上次目标”以及“相邻预测点之间的差”。设初始位置 0.20 m,预测两项 [0.01,0.02] m:若都是相对初始位置,目标为 0.21、0.22 m;若是逐步增量,目标为 0.21、0.23 m。不能只看到 delta 一词就默认逐项累加。

旋转更不能随便逐项相加。欧拉角依赖旋转顺序并存在奇异性;四元数必须满足单位长度且 q 与 −q 表示同一旋转。采用旋转矩阵或连续表示也仍需保证解码后是合法旋转。应先确定数据与控制器使用的约定,再选择训练损失,而不是把所有字段当普通标量处理。

a~j=aj−μjσj,aj=σja~j+μj\tilde a_j=\frac{a_j-\mu_j}{\sigma_j},\qquad a_j=\sigma_j\tilde a_j+\mu_j
这是逐维标准化的教学例,σj 必须为正并由训练数据约定。实际模型也可能采用分位数缩放或区间缩放,不能未经检查就套用此式。

若某一维的 μ=0.02 m、σ=0.01 m,模型输出 0.5,解码后是 0.025 m,不是 0.5 m。跨数据集运行时,需要匹配训练时的统计、动作掩码和夹爪约定。OpenVLA 仓库中的动作反归一化接口就是一个具体例子;选错统计集会让正确格式对应错误物理量。

03 · 预测一段,不等于盲走一段

动作分块有三个不同的时间尺度

动作分块(Action Chunking)一次预测未来 H 个动作。它可以表达连续运动之间的关联,减少每一步都重新做完整决策的开销;但仍需决定每次实际执行多少步 K,以及何时根据新观察重新预测。底层控制器还可能以更高频率跟踪这些参考。

Tpredict=H/f,Texecute=K/f,1≤K≤HT_{\rm predict}=H/f,\qquad T_{\rm execute}=K/f,\qquad 1\le K\le H
假设等间隔命令以 f Hz 应用,H 个命令槽覆盖 H/f 秒,执行 K 个槽后重规划。若只计算首末采样点的时间跨度,则是 (H−1)/f,二者口径不同。
三种频率 · 本文教学设定

20 Hz 的动作,不代表模型每秒只推理 20 次或必须推理 20 次

设动作参考为 20 Hz,H=16、K=4,则预测窗口覆盖 0.8 秒,执行窗口为 0.2 秒;不计额外延迟时每秒约更新 5 次动作块。底层关节控制可以独立运行。若同步推理还需 80 ms,实际更新节奏不能再直接宣称是 5 Hz;异步推理则要处理旧块与新块的时间对齐。

2023 年 ACT 项目页展示的真实机器人设置是 50 Hz 关节位置动作、固定块长 90。那是该实验的设置,不是所有 ACT 实现的默认值。ACT 还可对不同时刻预测、但指向同一执行时刻的动作做时间集成;集成应对齐目标时刻,而非直接平均两段不同时间的数组。原项目。

块越长不总越好:它有利于表达连贯行为,却可能包含已过时的环境假设。K 较小意味着更频繁使用新观察,但增加推理需求;K 较大减少调用,却延长策略层未修正的时间。安全停止与关键传感反馈不能等整块执行完才处理。

04 · 让错误在接上电机前暴露

先验证动作合同,再讨论模型成功率

建议为每套数据与模型保存可核对的接口清单:本体标识、关节顺序、控制模式、坐标系、单位、旋转格式、相对基准、动作采样频率、归一化参数、夹爪方向、有效时间和限值。这里的“合同”是工程约定,不是某个统一协议的名称。

  • 用已知动作做编码—解码往返测试,确认单位和尺度不变。
  • 用基座与末端不平行的测试姿态检查坐标方向;轴对齐时错误可能被掩盖。
  • 输入已过期时间戳、越界值和非数值,验证拒绝行为,而非让驱动器猜测。
  • 先在日志回放、仿真或不驱动执行器的模式下检查输出,再按设备规范进行受控验证。

对不同机器人,共享“把物体放进盒子”的语义相对容易,共享同一组关节动作则未必有意义。跨本体模型需要本体条件、统一动作接口、转换层或各自解码器等设计;把不同数据补零成同样长度,只解决张量形状,不解决物理含义。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。