生成式 VLM 可以从文本模型加接视觉接口，也可以在预训练期联合更新多模态模块。Tokenizer、embedding lookup、冻结范围和 loss 分支必须分别确认。
状态传导图
这是一条常见的因果语言模型训练基线，不代表掩码语言模型或所有 VLM 都必须采用同一个目标。
观察点 01
原始文本先经 tokenizer 变成整数 token IDs，再用输入 embedding 表查成向量。因果语言模型产生 logits，训练时用移位后的有效 labels 与 loss mask 计算交叉熵。
Token ID 是索引，不是带语义的浮点向量；Tokenizer 也不等于 embedding lookup。
状态传导图
若前向未用 no_grad/detach 截断，梯度仍可经过冻结模块；冻结只保证 optimizer 不改变这些参数。S2 的回答型训练只在 assistant 输出 token 上计算自回归损失。
观察点 02
S1 用 595K（59.5 万）条过滤后的 CC3M 图文对，冻结 CLIP ViT-L/14 与 Vicuna，只更新线性 projector。S2 用 158K（15.8 万）条视觉指令数据，继续冻结视觉塔，同时更新 projector 与 LLM。
“先训接口”是 LLaVA 1.0 的明确配方，不能扩写成所有生成式 VLM 的统一第一阶段。
状态传导图
混合采样不表示纯文本会经过 ViT：纯文本样本只走文本支路；含图样本才走 ViT→MLP。三模块在全局均可训练，但 optimizer 只更新当前样本计算图里实际收到梯度的参数。Qwen3-VL 又采用 S0 merger-only、S1–S3 全参数训练的另一种配方。
观察点 03
InternVL3 从预训练 ViT 与 base LLM 初始化、随机初始化两层 MLP，在同一个 native multimodal pre-training 阶段混合多模态与纯文本数据，并更新视觉编码器、MLP 和 LLM 的全部参数。
native / joint 表示训练组织方式，不自动等于统一离散 token，也不自动等于所有参数随机初始化。
你现在应该能解释：native / joint 表示训练组织方式，不自动等于统一离散 token，也不自动等于所有参数随机初始化。
LLM（Large Language Model，大语言模型）常以文本/代码 token（词元）做因果建模；VLM（Vision-Language Model，视觉语言模型）还要定义视觉表示怎样进入模型、哪些位置受监督、哪些参数可更新。常见模块化路线会增加视觉编码器和连接器，但对比式双编码器、主干内 cross-attention（交叉注意力）和统一离散 token 路线都有不同训练图。
detach / no_grad 切断时，梯度才可沿保留的计算图传播；optimizer（优化器）也只改变本阶段可训练的参数。图中红色虚线只是局部反传方向示意，不代表完整梯度路径。生成式 LLM 的常见预训练目标是预测下一个 token；生成式 VLM 还要把像素编码成条件表示或离散 token，并从配对、交错或指令数据中学习视觉与语言的对应关系。若从纯文本检查点改造，语言模型此前没有直接处理图像；若像 Chameleon 一样从随机初始化做混合模态早融合训练，就不存在必经的「先训完 LLM、再接眼睛」步骤。另一些所谓 native 路线仍会复用预训练组件，不能把 native 自动理解成“所有参数从零训练”。
| 维度 | LLM 训练 | VLM 训练（多了/变了） |
|---|---|---|
| 模态 | 文本、代码等离散 token 序列 | 文本 + 图像（+ 视频）；视觉可变成连续 embedding，也可量化成离散 token |
| 架构 | 常见为 Transformer 语言模型 | 生成式模块化路线常是视觉编码器（常见 ViT，Vision Transformer，视觉 Transformer）+ 连接器 + LLM；另有主干内 cross-attention 或统一离散 token。对比式 VLM 还可能是双编码器 |
| 数据 | 文本语料 | 图文对 / 交错图文 / OCR（Optical Character Recognition，光学字符识别）/ VQA（Visual Question Answering，视觉问答），配比与清洗是另一套学问 |
| 预训练目标 | 生成式模型常做 next-token；也有掩码等目标 | 可用图文对比、图文匹配、条件语言建模、grounding 或统一序列建模；不同目标读取的表示与标签并不相同 |
| 训练阶段 | 预训练 → 指令/偏好等后训练 | 常见分阶段 freeze/unfreeze，也可从头联合多模态预训练；阶段数没有统一标准 |
| Loss | 因果 LM（Language Modeling，语言建模）对移位后的有效标签位置计损失；padding 或提示位置是否 mask 由模板决定 | 取决于配方：回答型 SFT 常只监督 assistant 输出；CLIP 对图文相似度矩阵做双向对比；ITM（Image-Text Matching，图文匹配）常用匹配头；grounding（视觉定位）或图像生成既可用独立预测头，也可把坐标/离散图像 token 纳入统一自回归目标，须按模型确认 |
模块化生成式 VLM 经常复用视觉与语言检查点，因此需要明确每阶段哪些参数冻结、哪些参数更新（🔒=冻结，🔥=训练）。但阶段名不能跨论文硬拼：LLaVA（Large Language and Vision Assistant，大语言与视觉助手）1.0 是两阶段；BLIP-2（Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models，以冻结图像编码器和大语言模型自举图文预训练）的两阶段都训练 Q-Former（Querying Transformer，查询 Transformer），图像编码器始终冻结，第一阶段尚未接 LLM，第二阶段才接入冻结的 LLM；InternVL3 把多模态和纯文本混在一个 native pre-training（原生预训练）阶段并联合更新全部参数；Qwen3-VL 又采用只训练 merger（合并器）的 S0，随后进入全参数 S1–S3。下图并排展示具体论文口径，不表示三列属于同一模型。
576+12=588 个位置的标签设为 ignore，只在 8 个答案位置计算交叉熵；受监督位置占 8÷596≈1.34%。这只是示意：因果标签会移位，是否包含 EOS（End of Sequence，序列结束）和多轮 assistant token 取决于模板；CLIP 对比学习、BLIP-2 第一阶段会监督不同目标，图像生成则既可能像 Chameleon 一样对离散图像 token 继续做统一 next-token 交叉熵，也可能使用生成专用目标。讨论「原生多模态」时至少要分开两个问题：模型怎么接视觉，以及它从什么时候开始学视觉。二者并非一一对应。
双编码器：CLIP 分别编码图像与文本并对比对齐，不接生成式 LLM。
模块化生成：视觉编码器经 projector/Q-Former 接到语言骨干，或把 cross-attention 插入语言主干；LLaVA、BLIP-2、Flamingo 的连接位置并不相同。
统一离散 token / 早融合：Chameleon 把图像量化为离散 token，与文本/代码一起从头训练同一 Transformer，可理解并生成混合模态序列。
后接式适配：先有文本 LLM，再接视觉模块，如 LLaVA。
联合多模态预训练：从预训练期就混入视觉与纯文本；但“联合”仍可从已有权重开始。InternVL3 初始化预训练 ViT 与 base LLM、随机初始化 MLP，再联合更新全部参数；Chameleon 才是论文明确写出的混合模态从头训练。
因此“native/原生”“统一 token”“随机初始化”是三个不同判断，不能互相替代。
requires_grad，哪些又真正进入 optimizer 参数组？只看 native、end-to-end 或 early fusion 一个标签，无法还原训练计算图。| 数据类型 | 作用 · 代表 |
|---|---|
| 图文对image-text pairs | 最基础的「图像链接 + 文本描述」，规模大但匹配、版权、隐私与安全都需治理。LAION-5B（LAION = Large-scale Artificial Intelligence Open Network，大规模人工智能开放网络）论文报告 58.5 亿条经 CLIP 过滤的图文对；LAION 于 2023-12 下架原数据做安全修订，2024-08 发布 Re-LAION-5B。其官方说明称按合作机构截至 2024-07 提供的哈希表移除 2,236 个匹配链接，并经阈值过滤后保留 5,526,641,167 条；这代表已知列表与既定过滤流程，不是“数据已保证无风险” |
| 交错图文interleaved | 同一文档中图和文交替出现，可训练跨图上下文和少样本接口。Flamingo 使用交错图文/视频文本数据做生成式少样本学习；Chameleon 则把文本、图像与代码都离散化后在混合序列上训练 |
| OCR / 文档 | 让模型看懂图里的文字、表格、图表（DocVQA，Document Visual Question Answering，文档视觉问答） |
| VQA / 指令 | 「看图回答 / 按指令操作」，是指令微调的核心料 |
| grounding / 定位 | 带坐标框的数据，教模型「指出物体在哪」 |
关键：网络 alt-text（网页替代文本）往往有噪声，因此可用模型生成候选描述、再过滤不匹配样本。BLIP 的 CapFilt（Captioning and Filtering，描述生成与过滤）就是早期可核查案例：captioner（描述生成器）产生合成描述，filter（过滤器）去掉噪声。它说明重标和过滤能改善数据，但「质量一定比数量重要」仍要落到具体消融实验，不能当普遍定律。
当独立预训练的视觉编码器接到纯文本 LLM 时，维度、分布和信息粒度都可能不匹配；不能只因维度相同就假定可直接拼接。线性 projector、Q-Former、resampler 或主干层内 cross-attention 是不同接口，并非都必须存在。
生成内容可能提到目标图像中不存在的物体。POPE（Polling-based Object Probing Evaluation，轮询式物体探测评测）把它转成针对目标图像的物体存在性问题；这说明视觉幻觉要用图像证据评测，不能只看回答是否流畅。
缓解候选：改善图文/指令数据、显式 grounding、偏好训练与专门回归集；任何单一方法都不能保证消除。
多模态适配可能损害原检查点的语言或视觉能力，但这不是 VLM 独有风险；程度取决于数据配比、学习率、可训练参数和训练时长。
缓解候选：冻结部分模块、混入纯文本/回放数据并同时监控语言与视觉评测。InternVL3 在约 200B（2,000 亿）token 预算下报告语言:多模态为 1:3（50B:150B，即 500 亿:1,500 亿），也就是约 25% 纯语言；这是该论文实验得到的配方，不是通用最佳比例。
视觉位置数随图像面积、图数和视频帧数增长，而且模型间不能套用同一公式：InternVL3 论文写明 pixel unshuffle（像素重排）把每个 448×448 tile 表成 256 个视觉 token；Qwen3-VL 官方配置则是 patch size 16、spatial merge size 2，同样以预处理后的 448×448 图像手算，会先得到 28×28=784 个 patch 位置，再由 2×2 merger 压成 14×14=196 个送入语言侧的视觉 token（不含序列控制 token）。多图/视频仍会继续累加。
缓解候选：merger、resampler（重采样器）/Q-Former、动态分辨率、帧采样与图数预算；代价是可能丢失细节，需按任务验证。
页面于 2026-07-14 按原始论文与官方安全修订说明逐项复核。本文把 VLM 类型、融合架构、初始化来源、训练阶段和 loss 分支分别描述；freeze/unfreeze 与 loss mask 只作为具体模型配方，不写成行业统一规则。Qwen3-VL 等时效性内容以论文提交版本为准。
| 问题 | 答案 |
|---|---|
| 核心区别 | 生成式 LLM 主要建模文本/代码 token；生成式 VLM 还要定义视觉表示、跨模态接口、监督位置与可训练参数 |
| VLM 都接 LLM 吗 | 不是。CLIP 是图像/文本双编码器；本文主体聚焦能条件生成文本的 VLM |
| 架构多了什么 | 常见是视觉编码器 + 连接器；也有主干内 cross-attention、双编码器或图文统一离散 token |
| 预训练多了什么 | 可加入图文对比、匹配、条件生成或统一序列建模等目标 |
| 训练流程 | 按模型读：LLaVA 两阶段；BLIP-2 两阶段训练 Q-Former、第二阶段才接冻结 LLM；InternVL3 的 native 预训练单阶段联合，之后另有监督微调与混合偏好优化；Qwen3-VL S0 接口后全参数 S1–S3 |
| 读报告的轴线 | 表示/融合方式、初始化来源、何时加入多模态数据、每阶段可训练参数与 loss 分支要分别确认 |
| 数据 | 图文对/交错/OCR/VQA/grounding；重新打标提质 |
| Loss | 依任务而变：回答型 SFT 常只监督 assistant 文本；对比/匹配有各自目标；离散图像 token 可共享 next-token 目标，其他图像生成路线也可能另设目标 |
| 重点风险 | 接口错配、视觉幻觉、能力干扰，以及随分辨率/图数/帧数增长的视觉 token 成本 |