跳到正文
EMBODIED INTELLIGENCE · 示教与动作模型

听懂目标只是开始，动作还要跨过身体与现实

视觉语言动作模型把图像与语言目标连接到机器人动作。它可以继承视觉语言预训练的语义能力，但动作输出仍需要机器人数据、明确的控制接口和闭环评测。用 OpenVLA 与 π₀ 两条历史路线，拆开离散动作编码和连续动作生成，而不是把模型名称当作能力保证。

相机观察杯子与容器，人的意图与机械臂动作连接起来；模型理解目标后仍需通过控制接口与现场反馈执行。
直觉总览：相机观察杯子与容器，人的意图与机械臂动作连接起来；模型理解目标后仍需通过控制接口与现场反馈执行。 生成插画不承载精确结构、尺寸或安全保证，正文机制图为准。 查看原图 ↗
01 · 从描述世界到改变世界

VLA 的关键变化是动作接口，不只是多看一张图

视觉语言模型可以回答“杯子在碗左边”，却未必知道这台机械臂下一刻应怎样移动。视觉语言动作模型 VLA（Vision-Language-Action Model）把视觉、语言条件与动作预测连接起来；具体输出可以是离散动作编码，也可以是连续动作序列。

视觉语言模型 VLM（Vision-Language Model）若只输出“抓杯子、放盒子”的文字计划，仍需要其他技能完成执行；这不等同于直接预测低层动作的 VLA。反过来，一个 VLA 也未必拥有完整长任务规划、地图、力觉和失败恢复能力。要沿真实输入输出判断职责，不能仅凭名字判断系统边界。

  1. 视觉与目标

    相机图像、语言指令，必要时加本体状态与历史；这些信息必须部署时可获得。

  2. 条件表示

    视觉与语言主干把任务线索变成模型可用的表示。

  3. 动作解码

    离散编码或连续动作头产生动作建议；核对动作定义、归一化和时间。

  4. 身体执行与反馈

    控制器与驱动执行，传感器确认结果，失败或不确定时停止、恢复或接管。

这是 VLA 系统的功能分层，不是一张所有模型共享的内部网络图。不同实现可能合并模块，也可能不包含某些输入。

“把橙色杯子放进盒子”包含两种难度：语言和视觉帮助选择正确对象；坐标、动作与接触控制帮助正确抓住并放下。选对目标但夹空，和抓得很稳却抓错对象，是不同失败，不能只用一个总成功率掩盖它们。

02 · 一条历史路线：动作写成离散符号

OpenVLA 把预训练表示接到动作预测

OpenVLA 的 2024 年发布版本是 7B 参数模型，作者报告使用约 970000 条机器人轨迹进行训练。其视觉部分融合 SigLIP 与 DINOv2 特征，通过投影层接入 Llama 2 语言主干，再预测离散动作 token（词元，即模型处理的符号单位）。这些符号要被解码为数值动作，而不是自然语言句子。官方架构与数据口径。

SigLIP（Sigmoid Loss for Language Image Pre-Training）是采用 sigmoid 损失进行图文预训练的视觉路线；DINOv2 是自监督视觉特征模型，DINO 名称源自 self-DIstillation with NO labels，即无标签自蒸馏。理解二者在这里提供视觉表示即可，不应把它们误当机器人控制器。

Δ=u−lB,a^=l+(b+12)Δ,b∈{0,…,B−1}\Delta=\frac{u-l}{B},\qquad \hat a=l+\left(b+\frac12\right)\Delta,\quad b\in\{0,\ldots,B-1\}
本文用均匀区间量化演示离散动作：范围 [l,u] 分成 B 个桶，用桶中心解码。此式是教学模型，不声明 OpenVLA 每个字段都采用同样范围或精确实现。
量化算例 · 本文教学设定

离散符号也有物理精度预算

假设一维位移范围是 −0.1 至 +0.1 m，分成 256 个等宽桶，则桶宽约 0.78125 mm；区间内按中心解码，理想量化误差不超过半桶，约 0.390625 mm。它仅是这一编码步骤的误差上界，不包括动作预测、标定、跟踪和接触误差，也不涵盖超范围截断。

解码得到数值后，还要使用对应数据集的反归一化统计和控制约定。自回归生成的多个动作符号之间也有推理开销；“能像语言一样预测 token”不意味着自动满足机器人控制周期，更不意味着直接产生安全电机电流。

03 · 另一条路线：连续生成动作块

π₀ 用动作专家连接语义与连续控制

π₀ 的 2024 年首发论文采用预训练视觉语言主干，并添加处理机器人状态与动作的独立动作专家，通过流匹配（Flow Matching）生成连续动作块。本文用该历史版本解释路线差异，不将其称作当前最新模型。首发论文。

直觉上，离散路线像为每个动作量选择一个编号；流匹配路线学习一个向量场，把噪声中的动作候选逐步运输到数据分布。这里的“流”是在动作数组空间中移动数值，不是让真实机械臂跟着每个内部计算步骤运动。

xs=(1−s)z+sA,v⋆=A−z,z∼N(0,I), s∈[0,1]x_s=(1-s)z+sA,\quad v^\star=A-z,\quad z\sim\mathcal N(0,I),\ s\in[0,1]
这是从噪声 z 到数据动作 A 的线性插值教学约定，s 是生成过程时间，目标速度为 A−z。具体论文可能采用相反时间方向、不同采样分布与权重；不能把 s 当物理动作时刻。

模型学习在观察条件下预测运输方向，再用数值积分生成动作块。连续输出避免了上述逐标量分桶，但仍有表示、数值求解和预测误差。一个动作块包含多个真实时间步，而流匹配积分步只用于内部生成，两者不能混为控制频率。

因此，VLA 与扩散/流匹配不是互斥类别：前者描述视觉语言到动作的范式，后者可以实现其中的动作生成部分。模型规模、预训练数据、动作头与执行策略是多条设计轴，不是一条“旧方法必然被新方法淘汰”的阶梯。

04 · 互联网知识不是机器人动作标签

迁移语义之后，仍要学习这具身体怎样做

图文预训练能提供对象、属性和语言关系的表示，但普通网页没有这台机械臂每一帧对应的关节目标。机器人训练数据把视觉、任务和动作配对，适配阶段再处理相机位置、工作空间、本体与任务差异。若相机被镜像、动作轴反向或统计范围选错，语义能力再强也可能执行错误。

跨本体数据不能仅按维度拼起来：同一个“向前”可能属于基座系或末端系，夹爪的 1 可能表示打开或闭合，动作采样间隔也可能不同。对齐这些定义、保留本体条件和缺失字段掩码，是数据工程的一部分，而不是交给网络自动猜的细节。

参数高效微调可以减少需要更新的参数，但不代表训练只占很少显存：激活、优化器状态、视觉输入和序列长度仍有开销。选择微调方式时，应固定目标任务、数据量、硬件和评测协议，而不是仅比较可训练参数百分比。

05 · 会执行一条指令，还不等于泛化

把“新”拆成可以检验的维度

OpenVLA 原项目在其适配实验中报告：扩散策略在较窄、精细的任务上更强，而 OpenVLA 在需要把语言落到多任务、多物体行为的设置中更有优势。这是该数据和实验范围内的比较，不能外推为所有 VLA 或所有机器人任务的排名。

  • 视觉变化：换光照、背景和干扰物，目标与操作是否保持一致？
  • 语言变化：同一场景换目标指令，是否真的选择了不同对象，而不是复现最常见动作？
  • 物理变化：尺寸、重量、摩擦或初始姿态改变后，接触与抓取是否仍成立？
  • 本体变化：换机械臂或相机后，是否经过适配？“零样本”究竟排除了哪些训练与校准？
  • 时间与恢复：连续执行时是否动作过期，发生失败后能否检测、恢复或安全交接？

对入盒项目，建议先做同一场景不同语言目标的对照，再逐步引入新物体、位置与干扰。记录所有尝试、失败与人工介入；演示视频中的一次成功不能估计可靠性。模型输出动作只是一次建议，任务完成要由外部状态和明确判据确认。

KNOWLEDGE CONNECTIONS

把这一层放回完整机器人

返回具身智能知识地图，或沿本专栏继续展开：

RESEARCH LEDGER

一手来源与证据边界

优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置，不自动外推到其他模型与数据。

V01
OpenVLA: An Open-Source Vision-Language-Action ModelKim et al. · 2024 发布版本

视觉语言主干、离散动作预测、7B 参数与 970k 机器人轨迹，以及限定任务比较。

 V02
OpenVLA official implementation官方实现 · 查询于 2026-10-20

图像预处理、动作反归一化与机器人数据适配。

 V03
π₀: A Vision-Language-Action Flow Model for General Robot ControlPhysical Intelligence · 2024-10-31 首发版本

视觉语言主干与连续动作专家、流匹配和动作块；明确历史版本口径。

 V04
LeRobot官方文档 · 查询于 2026-10-20

示教数据、不同策略与部署的共同工程链路。