认出杯子，还不等于知道手该伸向哪里

一个像素对应一条射线，不是一个空间点

远处的大杯子和近处的小杯子可能在图里一样大。仅凭像素位置，机器人知道的是“朝哪个方向看”，而不是“沿这个方向走多远”。单目模型可以利用经验推断距离，但这种推断不能自动变成经过标定的米制测量。

教学设定：fₓ=600 像素，cₓ=320 像素，目标像素 u=380，深度 Z=1 m，则 X=0.1 m。若深度实际为 2 m，同一个像素对应 X=0.2 m。仅知道图中“向右 60 像素”，无法唯一确定机械臂应向右移动多少米。

不同传感器，用不同线索换来距离

教学设定 f=600 像素、b=0.06 m、视差标准差 0.5 像素：1 m 处视差 36 像素，近似深度标准差 1.39 cm；2 m 处视差 18 像素，标准差约 5.56 cm。距离翻倍，误差在这个简化模型中约增至四倍。它不包含标定偏差、错误匹配或材质失效。

点云只是三维采样点的集合，不自动拥有连通表面和物体语义。Open3D 的体素降采样可减少点数与计算，法线估计提供局部表面方向；滤掉离群点可以改善稳定性，但过强滤波也可能抹去细杆、杯把等真正重要的结构。官方工程示例。

物体朝向决定怎样接近它

检测框回答大致在哪里，分割掩码回答哪些像素属于它；六维位姿回答物体相对相机的三维平移和三维旋转。这里“六维”是 3 个平移自由度加 3 个旋转自由度，不意味着旋转必须用三个欧拉角存储。

相同的杯子正放和侧躺，需要不同的接近方向。圆柱等对称物体还可能存在视觉上难区分的旋转：不能强迫每一帧都选一个唯一角度，再把角度跳动误认为物体剧烈转动。评测和下游抓取都需要考虑对象对称性。

视觉语言模型能补充对象语义与指令理解，例如“选择有把手的杯子”；几何模块提供可测的坐标和碰撞表面。融合时应保留每个结论的来源：语言推断不能覆盖传感器明确报告的未知深度。

未知区域应该改变行动，而不是被悄悄填平

杯子背面的表面可能来自模型补全，而不是直接测量。对展示模型，补全可以很有用；对夹爪通过间隙，未验证的补全不能当作绝对自由空间。规划接口应能区分可见表面、观测到的空闲空间和未观测区域。

抓取失败时先检查：是目标识别错了，深度无效，物体位姿偏了，还是相机到机械臂的标定错误？这些错误都可能表现成“抓偏”，但对应的修复手段不同。只继续扩大训练数据而不检查接口，可能把系统误差一起学进策略。

把这一层放回完整机器人

返回具身智能知识地图，或沿本专栏继续展开：

• 标定：让相机与机械臂说同一种位置语言：相机内外参、手眼关系与时间对齐。
• 状态估计与同时定位建图：传感器融合、里程计、回环与地图。
• 导航：从地图到动态避障：全局路线、局部控制与不断变化的障碍物。