强化学习优化的是奖励，不会自动理解你真正想要什么

奖励评价后果，策略选择动作

示教像教练直接告诉你怎么做；强化学习更像做完一段练习后，根据结果调整策略。但奖励只是设计者写出的信号：得分高不一定代表动作符合人的真实意图，更不意味着探索过程安全。

强化学习（Reinforcement Learning，RL）常用马尔可夫决策过程（Markov Decision Process，MDP）描述：状态 s、动作 a、转移规律、奖励 r 和折扣系数 γ。马尔可夫假设要求当前状态包含预测后续所需的信息；真实机器人只得到有限观察 o，可能需要历史、状态估计或记忆。

教学例：三个时刻奖励为 [1,1,10]，γ=0.9，回报为 1+0.9+8.1=10。若成功奖励出现得更晚，它在当前时刻的权重会更低。折扣是学习目标的一部分，不应被误读成“机器人更有耐心”之类心理属性。

密集奖励有帮助，也可能把目标改掉

物体入盒可以只在完成时给成功奖励，但早期探索很难偶然完成。加入“靠近物体”“抬起物体”等密集奖励能提供方向，却可能诱导策略只抬起不放下，或反复靠近刷分。奖励塑形必须与独立成功判据分开，不能用训练奖励本身验证任务完成。

如果只奖励向前速度，机器人可能通过摔倒冲过终点；如果只惩罚能量，站着不动可能得分更好。足式任务还需要考虑支撑接触、躯干姿态、滑移、关节限位和不期望碰撞。把这些项全塞进一个和式也不会自动解决冲突：应观察每个分项、轨迹和失败模式。

硬约束和奖励惩罚也不同：碰撞扣分允许策略在回报权衡中接受某些碰撞，而独立控制保护可以直接拒绝越界动作。有限训练中没撞过，不构成未来不会撞的证明。

优势和受限更新帮助学习，但不是稳定性证明

演员—评论家（Actor–Critic）方法把策略与价值估计分开：策略负责选动作，价值函数估计从当前状态继续能得到多少回报。优势（Advantage）表达一个动作相对当前预期有多好，帮助减少策略梯度估计的波动。

裁剪减少某些过大更新带来的激励，但不是对所有状态的严格策略距离限制，更不是机器人运动稳定性保证。训练批次、奖励尺度、探索强度和价值估计错误仍会影响结果。PPO 也不是唯一连续控制算法，算法选择应与数据重用、交互成本和任务结构一起考虑。

终止处理是容易忽略的实现细节。任务真正结束时，后续价值为零；若只是为了采样方便而在时间上截断，通常应从最后有效观察估计后续价值。Gymnasium 将 terminated 与 truncated 分开；自动重置时要使用结束前的最终观察，而非新回合起点。若任务本身有有限截止时间，还要把剩余时间等必要信息纳入状态。官方说明。

四足行走的“几分钟”需要读清实验条件

Rudin 等人的 CoRL 2021 工作研究大量并行仿真训练 ANYmal 四足机器人。作者在论文摘要报告：其设置下平地策略训练少于 4 分钟，复杂地形约 20 分钟，并在真机上验证迁移。这里是特定硬件、仿真、任务、奖励与训练实现的墙钟时间，不是任意机器人从安装到可靠部署的总耗时。论文与版本记录。

教学预算：2048 个环境各采样 24 步，一轮得到 49152 个转移。并行让采样同时发生，但仍需要处理这些数据，传感渲染、碰撞、策略推理与优化都占资源。环境数量变大也会改变批量统计与优化节奏，不能只按环境数线性外推训练速度。

课程学习让任务难度逐步变化，例如先练平地，再加入不同坡度与障碍。它可以改善探索，但测试必须包括训练课程之外的独立条件；只展示最适合当前策略的一组地形，会高估能力。

评测回报之外，还要看任务、尾部与干预

训练后冻结策略，使用独立随机种子、初始条件和扰动评估；分别报告任务成功率、跌倒/碰撞、能耗或力矩、动作平滑性、恢复和人工接管。平均表现不错但少数场景严重失效，不能靠一个高平均回报掩盖。

仿真可访问精确摩擦、接触力或地形真值，而现实未必可测。训练时给评论家额外信息是一种可能的设计，但部署策略不能依赖不存在的输入。先验证输入合同，再进行受控迁移；强化学习不授权真机无保护试错。

语言智能体的工具调用奖励，与机器人连续运动奖励，在反馈时间、动作空间和失败后果上差异很大。可以共享学习思想，但不能照搬一套聊天任务评测来证明四足平衡或机械臂接触可靠。

把这一层放回完整机器人

返回具身智能知识地图，或沿本专栏继续展开：

• 物理仿真：接触与摩擦如何计算：积分、约束、传感器模拟与计算代价。
• 领域随机化：为什么故意扰乱训练环境：视觉和动力学扰动、参数范围与鲁棒性。
• 仿真到现实：误差究竟出在哪里：系统辨识、标定、延迟与部署前验证。