成功率有多高，要先问在哪些尝试里

什么算一次尝试，应该在运行前写下来

连续失败九次，最后成功一次，剪辑成视频可以显得很熟练。评测要保留十次尝试，而不是只留下最后一段。若允许恢复，也应分别报告首次成功与恢复后的最终成功。

先定义任务合同：初始物体和容器怎样摆放，目标身份如何确定，允许多长时间、多少次重试，人工何时可以接管，什么状态算成功。入盒不能只检查机械臂到达目标位置；需要检查物体进入指定容器、已释放，并满足约定的稳定条件。具体容差和观察窗口依任务确定，不能拿一个教程数字覆盖所有设备。

设备初始化失败如何计入，也要预先规定。若指标是端到端服务可靠性，初始化不可用通常不能悄悄排除；若只研究策略在已就绪状态下的能力，应报告排除数量与原因，不能把这个结果称为完整系统可用率。

预测得像、仿真能做、真机可靠，是不同结论

模型对每帧动作误差更小，但闭环成功率更低，并不矛盾：少数关键接触动作可能比大量静止帧更重要；误差还会改变后续观察分布。应分阶段查看接近、抓取、搬运和释放，同时保留整体任务指标，不能把子任务成功率简单相加。

同样比例，十次与一百次提供的证据不同

教学计算：8/10 的成功率为 80%，Wilson 区间约 49.0%–94.3%；80/100 仍为 80%，区间约 71.1%–86.7%。十次中成功八次并不支持“稳定达到 80%”的强结论。公式依据NIST 统计手册；这里的数值是教学算例，不是机器人实验结果。

95% 置信度描述重复抽样时构造区间的方法覆盖真实比例的长期性质，不是说这个固定区间内的固定参数有 95% 的随机概率。同一场景连续试验可能相关；跨任务成功概率也不同，此时不能不加分析地把所有帧或尝试当成独立同分布样本。应按任务、场景或采集会话分组报告，必要时采用分层或按组重采样分析。

零次事故也不等于零风险。一个简单教学界：若 n 次独立同分布试验中事件次数为零，单侧 95% 二项上界为 1−0.05^(1/n)。n=100 时约 2.95%。这只是理想统计模型下的事件率上界，不是安全认证，更不能据此批准高风险任务。

比较两个方法，应尽量使用相同测试条件和明确的随机种子方案，并报告逐任务差异。若试验成对设计，分析也要考虑配对；不能只看两个区间是否重叠就下显著性结论。调参后反复查看同一测试集，会削弱所谓“独立评测”。

换背景、换物体与换身体，不是一种难度

可以依次分开测：训练范围内的新初始状态；未见物体实例；光照或相机变化；未见任务目标；新的机器人本体。逐项改变有助于归因，组合变化则更接近复杂实际场景。两者应分别报告，不能用一种替代另一种。

2023 年 LIBERO研究提供 130 项仿真操作任务，组织为 Spatial、Object、Goal 和 LIBERO-100 四类套件；后者又拆分为 90 项预训练任务与 10 项下游终身学习任务。这个划分体现了空间、对象、目标与综合知识迁移的不同问题。论文或后续模型只评其中某些套件时，不能把得分描述成全部机器人能力。

OpenVLA 2024 年的比较也展示任务类型影响结论：专门训练的扩散策略在部分窄而精细的任务上更强，而语言条件、多对象任务体现不同优势。比较时要记录预训练数据、微调资源、控制频率、动作表示与任务协议，不能只把模型名和一个百分比放在一起。

可靠性报告应能解释失败，而不是藏起失败

至少同时报告首次成功率、最终成功率、超时率、接管率、恢复次数、端到端耗时和关键约束事件。只统计成功尝试的平均耗时会隐藏慢失败，应同时给所有尝试的耗时分布与超时数量。不同任务样本数不等时，宏平均（各任务等权）和微平均（按全部尝试计数）回答的问题不同。

例如任务 A 成功 9/10，任务 B 成功 10/100：宏平均是 (90%+10%)/2=50%，微平均是 19/110≈17.3%。没有哪一个自动“更真实”；关键在目标分布与报告口径。最好并列给出逐任务结果，避免一个汇总数掩盖弱项。

最后抽查成功检测器：假阳性会把掉在盒旁的物体判为成功，假阴性会让已完成任务继续动作。保存测试初始条件、完整日志和代表性失败，而不仅是成功视频。实践页将按这些原则分开报告基线、学习策略与恢复策略的实际结果。

把这一层放回完整机器人

返回具身智能知识地图，或沿本专栏继续展开：

• 一条机器人训练数据包含什么：轨迹、时间戳、坐标单位、任务与数据切分。
• 遥操作与示教：数据质量从采集开始：时间同步、动作映射、成功与失败数据。
• 真机部署：实时闭环与安全边界：延迟、功耗、限位限力、急停与日志。