目标函数只要求预测后续 Token，能力来自整套训练系统
把观测文本错开一个位置，就能自动构造海量训练目标；但真正学到什么，还共同取决于数据分布、Tokenizer、架构容量、计算预算和优化过程。Next-token Loss 是梯度入口，不是事实、安全、推理或工具能力的保证书。
本文讨论标准 decoder-only Causal LM，不把一种目标写成所有语言模型
Causal Language Model（因果语言模型）按从左到右的条件概率分解文本：给定已经观测到的 Token 前缀 x<t，预测当前位置 xₜ。BERT 式 Masked Language Modeling、Encoder–Decoder 的条件生成，以及连续表示目标都不在这条公式的直接范围内。
L(θ) = − Σ mₜ log pθ(xₜ | x<t) ÷ Σ mₜ
mₜ=1 表示当前位置进入目标，mₜ=0 表示忽略；真实训练还要把样本、micro-batch 与数据并行 rank 的索引一起求和。分子累计有效位置的 Negative Log-Likelihood（负对数似然），分母累计同一范围的有效 Token 数。语料中观测到的后续 Token 是训练 target，却不因此成为客观世界的“正确答案”。
175B 参数 · 300B Token
GPT-3 论文让不同规模模型都训练 300B Token，并在不更新梯度的 few-shot / in-context 设置下评测。它是规模化实例，不是目标函数单独造成能力的因果证明。
70B / 1.4T 对 280B / 300B
Chinchilla 在与 Gopher 相同计算预算下，用更小模型和更多 Token 获得论文报告中的更好结果，直接反驳“参数越多就自然更强”的单轴叙事。
405B · 15.6T · 3.8×10²⁵ FLOPs
Llama 3 技术报告把规模、数据、模型结构与配方一起披露。现代预训练是系统工程，“目标很简单”不等于训练过程简单。
Self-Supervised Learning（自监督学习）不是“没有监督信号”：输入、目标与 Loss 都很明确，只是目标由原始数据按规则自动构造。它与“无监督学习”的术语边界在不同文献中并不完全一致，因此这里不做互斥断言。
标签对齐、可见范围、前缀来源与计分位置是四份合同
把它们都叫“mask”会制造实现错误：Shift 决定某个 logit 对应哪个目标；Causal Mask（因果遮罩）控制 Attention 能读谁；Teacher Forcing（教师强制）控制训练前缀来自真实数据；Loss / Label Mask 控制哪些位置进入目标函数。
Shift：把 logit 与下一位置目标对齐
上一节公式按“目标位置”编号，所以写 p(xₜ|x<t)；实现常按“输入位置”编号，于是位置 t 的 logit 监督 xₜ₊₁。两者是同一错位关系。有的 data collator 预先右移 labels，有的 model forward 内部 shift；两边都做会错两位，两边都不做则学成复制当前 Token。
Causal Mask：只限制信息流，不决定计分
完整序列可以一次进入 Transformer，但位置 t 的 Self-Attention 只能读取自己与左侧位置；未来 logits 不会泄漏回来。PAD mask、文档边界 mask 与 causal mask 可能组合，却不是同一个概念。
Teacher Forcing：训练读取观测前缀
预测「睡觉」时，输入是数据中的「猫在垫子上」；即使模型在更早位置把「在」猜错，也不会把那个猜测接回当前训练样本。这个术语来自循环网络时代，原则同样适用于自回归 Transformer。
Loss Mask：只改变哪些误差进入分子与分母
标准预训练常让有效正文目标计分，PAD 或无效边界不计；Supervised Fine-Tuning（监督微调，SFT）常让 Prompt 只作为可见上下文，仅对 assistant / completion 目标计分。PyTorch 的 ignore_index 是一种实现，不是唯一协议。
2 个有效 Token 的均值 1.0，8 个有效 Token 的均值 3.0
简单平均两个均值得到 2.0；按 Token 计算则是 (2×1.0 + 8×3.0) / 10 = 2.6。当 micro-batch 或数据并行 rank 的有效长度不同，训练系统必须实现同一个全局分子 / 分母目标；具体还要配合框架的梯度累积与 DDP reduction 语义，不能只在日志里重算均值。
把多个文档拼进定长序列能减少 padding，但跨文档能否互相 Attention 是配方选择。Llama 3 报告使用文档 mask 阻断同序列内不同文档；DeepSeek‑V3 预训练则明确采用 document packing、但不做 cross-sample attention masking。两种实例都不能被写成所有模型的默认。
共享参数会压缩可复用规律，也可能保存可提取的训练片段
同一组参数要在海量有效位置上降低 Loss。词序、实体关系、代码结构与示例映射若能跨样本复用，捕捉它们通常有助于更多位置；但目标函数没有“只许泛化、不许记忆”的约束。可测能力来自数据、架构、规模和优化的共同结果。
语言与篇章规律
搭配、句法、指代、体裁和篇章结构都会改变后续 Token 分布。模型学到的不是一张人工语法表，而是能否让许多上下文的概率分配更贴近训练数据。
关系与过程模式
事实陈述、教程、代码与推导提供实体共现和步骤结构。模型可能形成可迁移表示或计算，也可能复现错误、过时信息与表面捷径；下游评测才负责区分。
上下文内临时映射
GPT-3 在论文的 zero / one / few-shot 设置中没有做梯度更新，却能在部分任务上利用提示示例。它证明行为存在，不证明所有模型、任务或提示都可靠，也没有给出唯一机制解释。
「红→暖色，蓝→冷色，绿→？」
只看「绿」的全局常见后续不够；要续写这个格式，模型需利用当前上下文里的映射结构。训练数据若包含许多“示例—规则—补全”模式，共享参数可能学会这种条件化行为。这里的“可能”很重要：成功率会随任务、示例顺序、标签、模型与解码设置变化。
Carlini 等人在 GPT‑2 黑盒实验中提取出数百条逐字训练序列，其中一些只出现在一个训练文档，并包含公开个人信息。这个结果证明训练目标允许可提取记忆与隐私风险；它不代表每个模型、每条数据都以同样概率泄漏。
训练分布里的“像”不自动等于真实、合意、安全或可执行
交叉熵奖励观测后续 Token 获得更高概率。它没有内置权威事实库、用户意图、权限系统、工具回执或隐私删除机制；即使验证 Loss 持续下降，产品级承诺仍需独立证据。
不保证事实真实
数据可能错误、冲突、过时或覆盖不足；概率高只说明模型在当前条件下偏好该 Token，不等于陈述已由来源核验。
不保证符合用户意图
网页续写与“作为助手完成请求”不是同一行为分布。基础模型可能继续写问题、模拟其他角色，或生成形式正确但不合适的内容。
不保证外部行动成功
生成像 API 调用的字符串，不等于参数、权限、幂等键与外部结果正确。可靠行动需要工具协议、执行器、反馈和失败恢复。
不保证“学会”来自泛化
训练片段记忆会带来隐私风险；评测集若进入训练数据，分数还可能混入污染收益。去重、去污染与提取测试各自只能覆盖一部分风险。
应分别测 held-out Loss、任务成功、事实与引用、鲁棒性、安全、隐私、长尾语言和工具执行；同时冻结模型 revision、数据版本、Prompt、解码预算与评测 harness。不同证据不能被一个平均分代替。
现代预训练不总是“只有普通 NTP”，后训练也不是固定四步流水线
Next-Token Prediction（下一 Token 预测，NTP）是常见主目标；Fill-in-the-Middle（中间填充，FIM）可改写数据顺序后继续自回归训练；Multi-Token Prediction（多 Token 预测，MTP）可加额外未来目标。SFT、偏好优化、检索与工具则在不同层补行为与系统能力。
FIM：改写序列顺序，仍可做自回归预测
FIM 把文档中间片段移到序列末端，并用边界 Token 标示 prefix、suffix 与 middle。模型仍逐 Token 预测改写后的序列；论文在其规模和消融设置中发现较高 FIM 比例没有损害原始左到右 perplexity / sampling，不能无条件外推到任意配方。
MTP：主模型 NTP 之外增加未来监督
DeepSeek‑V3 在 14.8T Token 预训练中使用 0.1 的 FIM rate，并设置 MTP depth D=1：除精确下一个 Token 外，再预测一个额外未来 Token。它是具体模型配方，不能据此把所有 Causal LM 改写成“一次预测多个 Token”。
SFT 与偏好优化：改变示范分布或行为选择
SFT 仍可用 teacher-forced cross-entropy，但数据变成指令—回答，监督位置也常改变；FLAN 的 137B 模型在 60 多个数据集上做 instruction tuning，并改善论文设置中的零样本表现。偏好 / 安全优化再加入比较或奖励信号，两者都不能自动补齐最新事实。
检索、工具与护栏：接入模型参数之外的状态
Retrieval-Augmented Generation（检索增强生成，RAG）把证据放入上下文；工具执行器产生外部动作和回执；权限、schema、验证器与恢复协议约束副作用。模型仍可能选错工具、传错参数或误读结果，因此必须端到端评测。
训练可并行计算许多位置，基础自回归解码仍有逐步依赖
训练时完整真实序列已经存在，Causal Mask 让不同位置在一次 forward 中安全并行；生成时未来 Token 尚不存在，基础解码必须把刚选出的 Token 接回上下文。两阶段的前缀来源不同，但“生成永远一次只能计算一个候选位置”也过于绝对。
真实前缀 · 并行位置
一个长度 T 的样本可贡献多个有效监督位置；每个位置看不到未来，但矩阵计算可同时覆盖这些位置。早先预测错误不进入当前样本前缀。
模型前缀 · 逐步依赖
第 t+1 步依赖第 t 步实际选择的 Token；早期错误或低概率采样会改变后续条件分布，直到 EOS、长度或其他停止条件触发。
可以并行候选与验证
标准 Speculative Decoding（投机解码）让便宜模型先草拟多个 Token，再由目标模型并行验证，并用校正规则保持目标分布。它优化执行，不删除自回归分布依赖。
训练没有在同一目标下反复接住自己的错误历史
Teacher Forcing 中每个监督位置读取观测前缀；自由生成时，模型读取自己已经选出的 Token。这种差异常被称为 Exposure Bias（暴露偏差），但它不是所有生成失败的唯一原因。数据缺口、模型容量、目标错配、解码策略和系统状态同样可能造成偏差，必须通过受控评测归因。
一手来源与证据边界
优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置，不自动外推到其他模型与数据。
Decoder 输出错位与阻止位置关注未来 Token 的因果遮罩机制；只支撑标准 Transformer 定义，不代表所有现代实现细节。
Teacher Forcing（教师强制）的早期算法来源；现代 Transformer 沿用“训练时使用观测历史”的核心区分。
GPT-3 175B、300B 训练 Token 与无梯度更新的 in-context / few-shot 评测；论文也记录污染和失败边界。
Chinchilla 70B / 1.4T 与 Gopher 280B / 300B 的同计算预算比较，说明参数、数据与计算共同影响结果。
405B 模型、15.6T Token、3.8×10²⁵ FLOPs，以及文档遮罩、标准 next-token 目标和 SFT target-token mask 的公开实例。
Fill-in-the-Middle（FIM）通过改写数据顺序训练中间填充，同时保持自回归训练形式；论文结论限于其消融设置。
14.8T Token、FIM rate 0.1、额外一层未来 Token 的 MTP，以及预训练 packing 不做 cross-sample attention mask 的模型实例。
从 GPT-2 提取数百条逐字训练序列、包括单文档出现样本的攻击证据，用于说明泛化和记忆可以并存。
FLAN 在 60 多个数据集上指令微调 137B 模型并改善论文设置中的零样本表现，作为后训练改变行为分布的代表证据。
基础模型的广泛适配能力、同质化风险与下游继承缺陷；用于限定“基础能力”不等于系统承诺。
ignore_index 与 mean reduction 对非忽略目标的计分口径；分布式全局 Token 分母仍需训练系统显式实现。
标准投机解码可并行验证多个候选并保持目标模型分布，限制“生成只能一次算一个位置”的绝对化说法。
变长 token-level 任务应以累积窗口和设备范围内的总非 padding Token 归一化，而非简单平均局部 batch mean；文档同时展示 DDP world-size 补偿。