跳到正文
EMBODIED INTELLIGENCE · 数据、评测与真机工程

模型输出动作之后,工程责任才刚刚开始

真机部署需要把感知、推理、动作接口和控制器接成按时运行的闭环,并为旧数据、超时、通信断开和设备故障设计独立处理。模型能力、软件约束与硬件保护各有职责,任何单项都不能替代完整风险评估。

机械臂、相机和边缘计算机在工作区内协同,外部操作者与独立停止硬件分开布置;插画不是具体设备的合规或安全设计。
直觉总览:机械臂、相机和边缘计算机在工作区内协同,外部操作者与独立停止硬件分开布置;插画不是具体设备的合规或安全设计。 生成插画不承载精确结构、尺寸或安全保证,正文机制图为准。 查看原图 ↗
01 · 不同频率,各司其职

让大模型快一点,不能代替控制器按时工作

导航员每隔一会儿决定走哪条路,驾驶者持续调整方向,制动系统还要独立响应。机器人也常有不同时间尺度:感知与策略更新目标,控制器持续跟踪,驱动侧处理更底层的电气与机械反馈。

  1. 感知与状态

    读回带时间戳的图像、关节与故障;检查数据年龄和标定版本。

  2. 策略与目标缓冲

    输出有限时间范围的动作,携带坐标、单位、序号和有效期。

  3. 控制与执行监督

    按周期跟踪被允许的目标;处理限位、超时、模式与资源冲突。

  4. 硬件及环境反馈

    核实实际动作、接触与任务结果;独立保护按设备设计生效。

职责分层示意,不规定具体进程数或控制频率。独立停止与保护路径不能只依赖同一个可能卡住的模型推理过程。

Franka Control Interface官方文档描述通过 libfranka 以 1 kHz发送控制值并接收状态,即 1 ms 周期。这不是要求视觉语言模型每毫秒重新理解一次场景,而是要求接口使用者满足相应底层通信与控制条件。不同机器人协议不同,不应照搬频率或参数。

实时 real-time 的核心是满足截止时间,而不只是平均速度快。ROS 2 实时编程文档指出执行路径中的缺页、动态内存分配和无限阻塞等非确定性操作会影响时序;装上中间件或实时内核,并不会自动证明整个应用满足要求。

02 · 测量数据年龄,而不只测模型耗时

高帧率也可能在快速处理过期画面

Tend−to−end=Tsense+Ttransfer+Tqueue+Tinfer+Tdispatch+TactuateT_{\mathrm{end-to-end}}=T_{\mathrm{sense}}+T_{\mathrm{transfer}}+T_{\mathrm{queue}}+T_{\mathrm{infer}}+T_{\mathrm{dispatch}}+T_{\mathrm{actuate}}
串行链路的教学分解。真实系统可能流水并行,需用统一时间基准测量完整事件链,不能把重叠环节重复相加,也不能省掉排队与执行响应。

假设上述六项分别是 20、8、15、45、7、25 ms,总计 120 ms。物体以 0.3 m/s 匀速移动,这段时间可移动 3.6 cm;这只是平移量估算,不是停止距离。模型即使只占 45 ms,系统仍需要按 120 ms 的整链路信息年龄来分析控制误差。

记录中位数、尾部延迟、最大观测延迟和错过截止时间的次数;有限测试的最大值仍不等于数学上的最坏情况上界。负载、温度、日志写盘、网络拥塞和资源争用都可能改变尾部表现。一个平均达标、偶尔长时间停顿的系统,可能无法支持接触控制。

队列也不是越长越可靠。积压旧目标可能让机器人流畅执行已经失效的动作;直接丢弃所有中间命令又可能破坏轨迹连续性。必须按控制语义设计替换、插值与拒绝规则。动作块的剩余有效时间不足时,应按设计进入可验证的退化状态,不能无限保持旧的速度命令。

03 · 上线的是完整合同

数值正确,解释错了仍会出事

部署包除了模型权重,还需要相机与手眼标定、动作归一化、关节名称顺序、工具坐标、控制模式、限幅和时间策略。训练输出米,部署按毫米解释;训练夹爪 1 表示开,设备 1 表示关,这些都不是多跑几次推理能修复的问题。

INPUT

拒绝不可信的观察

缺帧、时间倒退、标定不匹配、状态过期或传感器故障必须显式处理。不能只检查数组维度。

OUTPUT

拒绝无效目标

检查非有限值、模式、范围、序号和有效期。单轴限幅不等于整条机械臂无碰撞,也不保证接触力安全。

LIFECYCLE

明确启动与重启

运行前确认设备状态和控制权;断连重连后不重放过期动作,不未经验证自动恢复运动。

时间比较需要一致且合适的时钟。跨设备时间戳应考虑同步误差,超时计时通常需要不受墙钟校时跳变影响的单调时间基准。未来时间戳也可能来自时钟错误,不能被计算成负年龄后自动视为“很新鲜”。

ros2_control 的控制管理器文档讨论控制循环抖动,以及模式切换、控制器错误处理对确定性的影响。故障流程本身也要测试时序,不能只测正常稳定运行。

04 · 安全不是一个模型分数

任务策略可以失败,保护不能只靠它自己判断

软件层可以检查目标范围、速度、力矩、工作空间和状态新鲜度,并记录异常;设备保护与工作区措施还需要依据硬件、用途和风险另行设计。本文不给通用安全阈值,也不把任何学习策略、框架或示意图称为认证方案。

急停、保护停止、正常停止和应用取消不是同义词。应用动作取消可能经历请求、接受、取消中和终态,不能替代独立硬件停止能力。停止方式也不是统一“断电”:悬挂负载、夹持物和重力都会影响后果,应遵循设备说明与专业风险评估。

Watchdog(看门狗)监控心跳或截止时间,但要考虑监控进程是否会与被监控进程一起卡住。恢复信号也不应自动清除所有保护状态并重新运动;重新启用需要明确条件和适当授权。人类接管必须知道当前控制权和最后可信状态,避免人与策略同时发令。

功耗和散热同样影响长期运行。模型短时推理速度达标,不代表持续高负载下不会降频;电机静止保持也可能发热。应在目标运行时长和代表性负载下测量温度、功耗、延迟与跟踪误差,而不是只跑一次冷启动演示。

05 · 从不能动到受控运行

分阶段验证,每次扩大范围都需要证据

先离线验证坐标、单位、模型输出和异常输入;再在仿真中验证闭环、延迟与故障;随后在符合设备要求的受控环境中进行接口核验与有限范围测试。低速不自动等于低风险,实际启用步骤应按硬件文档、人员资质与现场条件执行。

每次发布保存模型、数据、标定、代码与配置版本,记录所有尝试和接管。故障注入优先在仿真或不驱动硬件的环境测试:过期观察、非有限动作、未来时间戳、旧请求回包、推理超时与连接中断。不得为测试覆盖率在真机上随意制造危险情况。

最后把任务成功证据与运行可靠性、保护验证分开验收。可复现的仿真入盒项目可以检验数据和策略闭环,但没有真机证据就只报告仿真结果;它不是可以不加修改直接连接任意机械臂的控制软件。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图,或沿本专栏继续展开:

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置,不自动外推到其他模型与数据。