多模态 · Fusion Contracts

多模态融合不是“把图片塞进 LLM”，而是把四份接口合同接对

本文以视觉—语言模型（Vision-Language Model，VLM）为主线。一个系统先决定媒体怎样表示，再决定是否映射或压缩、在主干哪里注入，以及用什么训练目标约束输出。CLIP、LLaVA、BLIP‑2、Flamingo 与 Chameleon 并不是同一条三段式流水线。

01表示合同连续特征 / 离散码 02桥接合同映射 / 合并 / 重采样 03注入合同前缀 / Cross-Attn / 同序列 04输出合同文字 / 坐标 / 动作 / 图像

多模态生成的三条路线：图像或视频经视觉编码器得到连续特征后，可以映射、合并或查询重采样为视觉嵌入，与文本组成前缀送入 decoder-only 或 encoder–decoder 语言模型；也可以保留为视觉记忆，由插入语言层的 gated cross-attention 读取。另一条早期融合路线把图像与文本编码成离散码，在同一自回归 Transformer 中建模。CLIP 双编码器只对齐全局图文向量，并不等同于这三条生成路径。 — 先问“表示是什么”，再问“在哪里融合”。连续视觉特征可以变成前缀，也可以留在独立记忆里供语言层读取；统一离散路线则从 tokenizer 起就换了一套合同。CLIP 双编码器是重要的对齐地基，但本身不是生成式 LLM 桥接。

00 · 先抓住

“翻译”只是类比，真正接的是张量、注意力路径与训练损失

生活类比

视觉编码器像摄影师，bridge 像编辑，语言主干像作者。但编辑不只会翻译：它可能保留所有照片、合并四张缩略图、挑出 32 张摘要卡，或让作者每写一段就回看原始档案。

发票例子

问“金额是多少”时，常见 VLM 会编码整图或 tile，再由注意力利用相关证据；它不一定先显式检测金额框。只有训练数据、坐标序列或专门检测/OCR 模块定义了这条输出合同，系统才会稳定地产生可核对区域。

不能混为一谈	“向量维度相同”不代表语义已经对齐；“同一序列”也不代表图像和文字使用同一个 tokenizer。
成本从哪里来	视觉编码、bridge、LLM Prefill / KV、输出解码是四笔不同成本；减少视觉 token 只直接改变其中一部分。
能力从哪里来	架构提供信息路径，数据与 loss 决定模型是否学会描述、OCR、定位、视频时序、动作或图像生成。

01 · 四份接口合同

不要先背模型名，先追踪一份样本跨过了哪四道接口

“编码器 → 连接器 → LLM”适合入门，却会掩盖最关键的分叉。四份合同把张量形状、信息路径和监督目标分开，换模型时仍能复用。

CONTRACT 01

表示 Representation

媒体先变成什么？常见答案是 ViT patch/grid 的连续向量、音频帧特征，或图像/音频 codec 的离散码。

检查：dtype、shape、位置与时间轴

CONTRACT 02

桥接 Bridge

是否只改隐藏维度，还是做 2×2 合并、固定查询重采样或内容自适应删减？这一步决定送往下游的数量与保真度。

检查：N→N、N→M 还是可变 M

CONTRACT 03

注入 Injection

视觉嵌入可以与文字拼成前缀；视觉记忆也可由语言层 cross-attention 读取；离散码还能进入同一自回归序列。

检查：谁作 Query，谁提供 Key / Value（K/V）

CONTRACT 04

输出与 Loss

文字 next-token loss 不会自动得到精确框、mask、动作或图像码。输出序列化、专用 head 与监督数据必须明示。

检查：目标、mask、评测与拒答

一句诊断法

看到“统一多模态”时，至少追问三句：统一的是 embedding 维度、主干注意力空间，还是 离散 vocabulary 与自回归目标？三者含义完全不同，也可以只统一其中一部分。

02 · 架构家族

五类代表路线，融合点从“根本不生成”一直移到 tokenizer

路线 / 代表	表示与桥接	注入位置	边界
双编码器对齐 CLIP	图像、文字各自编码成全局向量，用对比目标拉近匹配对。	没有生成式 LLM 注入。	擅长共享语义空间、检索和零样本分类；不能据此宣称会生成图文对话。
连续前缀 LLaVA	原始 LLaVA（Large Language and Vision Assistant，大型语言与视觉助手）用线性投影把视觉特征变成语言 embedding 维度。	视觉嵌入与文本 embedding 组成送入语言主干的序列。	简单 projector 逐 token 映射时可 N→N；这不是所有 projector 的定律。
查询瓶颈 BLIP‑2	Q‑Former（Querying Transformer，查询 Transformer）用可学习 queries 读取冻结视觉编码器；论文实验使用 32 个 query。	经全连接适配后作为冻结 LLM 可解释的软视觉提示。	固定长度有利于预算，但小字、计数和空间细节可能在瓶颈中丢失。
层间 Cross-Attn Flamingo	Perceiver Resampler 把可变时空特征变成固定视觉记忆。	新插入的 gated cross-attention 层让文本 Query（查询）读取视觉 Key / Value（键 / 值，K/V）。	视觉 token 不必拼进每一层的文本自注意力序列，成本形状也不同。
离散早期融合 Chameleon	图像 tokenizer 量化为离散 image codes，文字另经 Byte Pair Encoding（字节对编码，BPE）tokenizer。	图像码与文本码在统一自回归 Transformer 序列中交错。	“统一序列”不等于原始像素和文字共用一个 tokenizer；量化重建会形成信息上限。

PREFIX / SOFT PROMPT

V = bridge(vision(x))
T = text_embed(prompt)
y = language_model([V; T])

连续视觉提示可进入 decoder-only 输入，或 encoder–decoder 的 encoder 侧。

CROSS-ATTN

M = resample(vision(x))
T = text_embed(prompt)
y = lm_layers(T, visual_memory=M)

文本 self-attention 与视觉 cross-attention 分开记账。

DISCRETE EARLY FUSION

I = image_tokenizer(x)
T = text_tokenizer(prompt)
y = ar_transformer([I; T])

输入、输出都可包含离散媒体码。

03 · CLIP 对齐

CLIP 学的是“哪段文字配哪张图”，不是把 patch 直接喂给 LLM

CLIP（Contrastive Language–Image Pre-training，对比式语言—图像预训练）在同一 batch 内计算图像全局向量与文本全局向量的相似度矩阵：匹配对在对角线，其他组合充当负例。训练同时做 image→text 与 text→image 分类。

公式

对称图文对比目标

symmetric contrastive objective

Sᵢⱼ = cosine(image_encoder(xᵢ), text_encoder(tⱼ)) / τ
L = ½ · [CrossEntropy(S, diagonal) + CrossEntropy(Sᵀ, diagonal)]

原论文真正报告了什么

从互联网收集 4 亿 image–text pairs 训练。
零样本 ImageNet 匹配原始 ResNet‑50 的准确率。
没有使用该 ResNet‑50 监督训练所需的 128 万 ImageNet 训练样本。

不能从中跳到什么结论

全局图文向量靠近，不等于 patch 与每个词已经精确对齐。
零样本分类不等于 OCR、框选或开放式生成。
后续 VLM 使用 CLIP 视觉塔，仍需 bridge、生成目标与指令数据。

04 · Token 与成本账

维度映射、数量压缩、分辨率扩张，是三种不同操作

操作	数量关系	代表机制	验收问题
逐 token 投影	`N → N`	Linear / MLP 分别处理每个视觉位置。	只是隐藏维度变化，还是内部还含 pooling / merger？
空间合并	`N → N / r²`	Qwen2‑VL 在 ViT 后用 MLP 把相邻 2×2 token 合为 1 个。	文字、细线、边界与坐标精度损失多少？
查询重采样	`N → M`	Q‑Former / Perceiver 用固定数量 latent queries 读视觉特征。	M 是否随任务、图数或视频长度变化？
Prune / Merge	`N → M(x)`	根据内容或相似度删减、聚合。	选择规则会不会系统性丢掉小目标或罕见区域？
Tiling / Dynamic Resolution	`sampled pixels / tiles ↔，N 可变`	切块、保留缩略图或按原始长宽动态采样；tiling 通常先扩张预算。	采样扩张之后仍可再接 merger 或 resampler，不能只凭“切块”判断最终 N。

可手算：448 / 14 的 token 账

把 448×448 图像按 14×14 patch 划分，忽略 CLS 等特殊 token，每边 448/14=32，所以得到 N=32²=1,024 个视觉位置；8 张图是 8,192。若假设每图经 resampler 变为 32 个 query，送入语言侧的视觉序列变成 8×32=256，是原来的 1/32。若做 2×2 空间合并，则单图网格从 32×32 变为 16×16，即 1,024→256。

边界：“32×”只描述这个假设下 prefix 路线的 LLM 侧视觉输入长度与逐层视觉 KV 存储主项；它不包含视觉编码器、resampler、文本、输出，也不等于端到端延迟或 FLOPs 降低 32×。Cross-attention 路线还要另算文本 self-attention 与文本→视觉记忆的读取。

01 · ENCODE

视觉编码账

原始像素、帧数、patch/tube 数、多尺度与视觉塔深度。

02 · BRIDGE

桥接账

投影、合并、query cross-attention 与压缩后的 M。

03 · FUSION

语言侧账

Prefix Prefill / KV，或每个 gated layer 的 cross-attention。

04 · OUTPUT

输出与工具账

文字 decode、坐标/图像码、OCR 工具与后处理延迟。

分辨率并非单调旋钮

Qwen2‑VL 的动态分辨率消融显示，没有单一固定 token 数在所有 benchmark 上最优；论文还报告 OCRBench 在过高 min_pixels 下明显下降，并推测是极小图被过度放大后偏离训练分布。结论应是“按目标域标定”，不是“越清晰越好”。

05 · 从图像扩到音频与视频

四份合同可复用，但时间轴不能假装成另一张图片

本文详讲的是视觉—语言主线，不声称覆盖所有音频/视频模型。扩模态时最先变化的是表示与位置合同，随后才是桥接和注入。

IMAGE · H × W

图像

patch、区域或离散图像码；重点是二维位置、长宽比、OCR 与小目标保真。

预算旋钮：resolution / tile / patch / merge

VIDEO · T × H × W

视频

除空间外还有采样率、tube、镜头边界和长时序。抽帧与时间压缩可能漏掉短暂事件。

预算旋钮：fps / clips / temporal merge

AUDIO · T

音频

可用波形、频谱特征或 codec token。语音对话还要处理时间戳、说话人、流式 chunk 与播放延迟。

预算旋钮：frame rate / codec / streaming

06 · 论文案例

同一张“多模态”标签下，数字依附的是不同实验合同

案例	一手结果 / 机制	正确读法
CLIP（2021）	4 亿图文对；零样本 ImageNet 匹配原始 ResNet‑50。	证明自然语言监督可学可迁移视觉表示；不是生成式 VLM 指标。
Flamingo（2022）	冻结视觉模型与语言模型，使用 Perceiver Resampler，并在语言层间插入新训练的 gated cross-attention。	它支持交错图像/视频/文本；不能画成“视觉 token 只在输入端拼一次”。
BLIP‑2（2023）	Q‑Former 实验用 32 个、768 维 query。Visual Question Answering v2（视觉问答，VQAv2）zero-shot 表中 BLIP‑2 为 65.0、Flamingo80B 为 56.3，相差 8.7 个分数点；论文概览表列 188M vs 10.2B 可训练参数，约 54×。	这是特定模型和 benchmark 的对比，不是“所有 Q‑Former 都省 54×”。
LLaVA（2023）	语言版 GPT‑4 根据 caption / box 的文本表示生成视觉指令数据，再连接视觉编码器与语言模型。ScienceQA 的 92.53% 是 LLaVA + GPT‑4 协同。	合成数据方法、单模型结果与集成结果必须分开。
Chameleon（2024；v2 2025）	图像、文字与代码都表示为离散 token，在同一 Transformer 中自回归建模；词表含 8,192 个 image codebook token。	论文同时指出图像 tokenizer 重建大量文字较弱，会限制重 OCR 任务。
Qwen2‑VL（2024）	动态分辨率产生可变视觉 token；ViT 后的 MLP 合并相邻 token；Multimodal Rotary Position Embedding（多模态旋转位置编码，M‑RoPE）分解 temporal / height / width 位置。	“MLP projector 一定不压 token”和“分辨率越高越好”都不成立。

07 · 常见误区

多模态系统最容易在“统一”二字里丢掉边界

误区 1：所有 VLM 都是固定三段式

双编码器、前缀、层间 cross-attention 与离散早期融合的信息路径不同。

误区 2：CLIP 对齐就等于会生成

CLIP 学全局图文匹配；开放式回答还需要生成主干、数据与目标。

误区 3：维度相同就语义相通

shape 对上只解决接口；语义要靠对齐、生成或联合训练目标学习。

误区 4：Projector 必然保留或压缩 N

逐 token 线性层常 N→N；带空间 merger 的 MLP 也能 N→M，必须看实现。

误区 5：更多视觉 token 一定更准

细节、分布偏移与语言侧预算共同决定曲线；应按 OCR、图表、定位和视频任务分层实测。

误区 6：主干能输出文字就自然会输出框和动作

坐标序列、结构化 schema、动作空间、训练监督与安全门都需要单独定义。

资料来源

主要论文与数字口径

来源	本文用来核对什么
CLIP	双编码器对比目标、4 亿图文对、ImageNet 零样本与 ResNet‑50 口径。
Flamingo	Perceiver Resampler、交错媒体输入与插入语言层的 gated cross-attention。
BLIP‑2	冻结两端、两阶段 Q‑Former、32 queries、VQAv2 65.0 / 56.3 与可训练参数口径。
LLaVA	视觉指令数据生成、投影连接与 ScienceQA 92.53% 的协同边界。
Chameleon	离散早期融合、统一自回归主干、image codebook 与 OCR 重建局限。
Qwen2‑VL	动态分辨率、视觉 merger、M‑RoPE 与分辨率消融。

核查日期：2026-07-14。本文讨论公开论文中的架构与实验口径；实际产品版本、输入上限和服务成本应以目标模型当日官方文档及本地 profiling 为准。