DeepSeek-V3 仍是 Decoder-only Transformer：MLA 改历史状态怎样缓存，DeepSeekMoE 改 FFN 怎样选路，depth=1 MTP 只在训练侧增加一个未来 token 目标。
状态传导图
对应官方 inference/model.py 的 absorb 路径；naive 分支才会显式缓存展开 K/V。
观察点 01
隐藏状态下投影成 512 维 KV latent，并另存 64 维 RoPE key。高效解码把 K 上投影吸收到当前 Query 侧，先聚合历史 latent 再做 V 投影，因此缓存始终保持压缩形态。
MLA 主要压缩每 token 的 KV Cache 与带宽，不会把 softmax 对历史位置的扫描变成线性注意力。
状态传导图
训练还根据全 batch 负载更新 bias，并保留系数 0.0001 的按序列辅助损失。
观察点 02
每个 token 先得到 256 个 sigmoid affinity；加动态 bias 的分数只用于 Top-8 选路，专家输出仍按未加 bias 的原始 affinity 归一化合并，并再加 1 个始终执行的 shared expert。
MoE 省每 token 专家计算，不意味着全部专家权重可以不驻留；负载控制也没有进入最终 mixing weight。
状态传导图
官方总览把 MTP module 约记 14B；细表为 11.5B unique，另共享 embedding/head。推理可丢弃或接成投机草稿。
观察点 03
V3 的 MTP depth=1：主模型维持标准 next-token 目标；训练时再把主干表示与真实 t+1 embedding 拼接，经过一个辅助 Transformer block 预测 t+2。
“预测 next 2 tokens”包含主头的一枚和辅助模块的一枚，不是两个 MTP 模块。
你现在应该能解释：“预测 next 2 tokens”包含主头的一枚和辅助模块的一枚，不是两个 MTP 模块。
原始 DeepSeek-V3 family 共享一套 Decoder-only（仅解码器）Transformer 主干：V3-Base 是预训练基座，DeepSeek-V3 是经 SFT / RL 的 Chat 模型。Multi-head Latent Attention（MLA，多头潜在注意力）改变解码时保存什么，Mixture of Experts（MoE，混合专家）改变每个 token 走哪些前馈网络，Multi-Token Prediction（MTP，多 Token 预测）改变训练监督，8-bit Floating Point（FP8，8 比特浮点）与 DualPipe 改变训练怎样跑。
本页审阅的是 2024-12-26 发布的原始 DeepSeek-V3 family。它包含独立的 V3-Base 与后训练 Chat checkpoint，不是后来的 V3-0324、V3.1、V3.2，也不是 DeepSeek-R1。
max_position_embeddings=163840 是实现字段，本页仍以论文与 README 明示的 128K 能力口径为准。671B是主模型容量，37B是作者的每 token 激活参数口径，685B是含 MTP 模块的发布总览近似值，$5.576M则是 Chat 完整训练 Graphics Processing Unit hours（GPU·h，图形处理器小时）按假设单价换算。任何跨列等号都需要额外证据。
“MLA 模型”和“MoE 模型”不是两条并列流水线。每个 Transformer block 都先做 MLA 注意力；前 3 个 block 的 Feed-Forward Network（FFN，前馈网络）是稠密层，之后 58 个 block 才把 FFN 换成 DeepSeekMoE。
| 组件 | 官方配置 | 它决定什么 |
|---|---|---|
| 主干 | 61 层，hidden size 7168，词表 129,280 | 稠密组件与残差流的宽度；不是 61 个完全相同的 FFN |
| MLA | 128 heads；Q 压缩秩 1536；KV 压缩秩 512；每头 q/k 非位置维 128、RoPE 维 64、V 维 128 | 当前 query 的表示、历史缓存宽度和注意力计算路径 |
| 稠密 FFN | 前 3 层，intermediate size 18,432 | 所有 token 都经过完整前馈层 |
| MoE FFN | 后 58 层；256 routed experts，每个宽 2048；Top-8 + 1 shared expert | 每个 token 只计算少量 routed experts，但完整专家池仍构成模型容量 |
| 激活口径 | 37B / 671B ≈ 5.51% | 作者统计的参数路径比例；不等于显存、Floating-Point Operations（FLOPs，浮点运算量）、时延或通信都只剩 5.51% |
稀疏路由把 FFN 计算集中到 8 个 routed experts，并始终加入 1 个 shared expert；注意力、路由器、稠密层与输出头仍然执行。
下一枚 token 可能选择不同专家，因此完整主模型权重必须在设备、节点或可接受的卸载层级上可用；还要支付 dispatch / combine 通信。
MLA 对 Key-Value（KV，键值）做联合低秩压缩：每个历史 token、每层只缓存 c_KV∈R^512 与带 Rotary Positional Embedding（RoPE，旋转位置编码）的 k_R∈R^64。关键并不只是“先压缩再解压”，而是高效实现用矩阵吸收，让完整 K/V 根本不必写回缓存。
naive 与 absorb 两条代码路径；生产级理解应以 absorb 路径为主，而不是把“显式恢复完整 K/V”画成必经步骤。查看原图 ↗当前隐藏状态下投影得到 c_KV 和解耦位置 key k_R；后续 token 不需要保存每个头展开后的 K/V。
结合律允许先算当前 token 的 q_nope × W_UK，再与所有历史 c_KV 做内积；RoPE 部分单独相乘后相加。
先计算 Σ p_j c_KV,j，再经过 W_UV 与输出投影；不用为每个历史位置物化完整 V。
128×(128+128)=32,768 元素 / 层 / token；MLA absorb 缓存为 512+64=576，元素数减少 1−576/32768=98.24%。官方 demo 的 naive MLA 分支还会缓存 128×(192+128)=40,960 个展开元素。两种比较都只谈缓存表示，不直接等于整机显存或吞吐提升。MLA 仍让当前 query 对全部历史位置计算 score 与 softmax：单步 decode 随历史长度线性增长，完整 prefill / 训练仍有二次注意力项。它压缩的是 KV Cache 与内存带宽常数，不是线性注意力。
V3 的辅助损失自由负载均衡最容易被说成“完全不用均衡损失”。真实机制更细：它用每个专家的动态 bias 改变 Top-8 选择边界，却用未加 bias 的原始 sigmoid affinity 合并专家输出；同时仍保留一个系数很小的 sequence-wise（按序列）辅助损失。
Router 为每个 routed expert 计算原始 s_i。配置还把专家分成 8 组、保留 4 组，再选最终 Top-8；训练时每 token 最多发往 4 个节点。
某专家过载就下调 bias，欠载就上调。更新速度前 14.3T token 为 0.001，最后 500B 置 0；这是控制回路，不是通过主损失反传的 gate 参数。
bias 只选专家，不进入输出权重。Top-8 routed outputs 加权后再与 1 个始终执行的 shared expert 相加；报告称训练和推理都不丢 token。
α=0.0001 的按序列均衡损失，以防单条序列出现极端不均；论文消融比较的是这种主策略与纯辅助损失方案，不能外推为任何 MoE 都应删除辅助损失。V3 的 num_nextn_predict_layers=1。这里的“predicts the next 2 tokens”是主模型的下一 token + 一个辅助未来 token，不是两个 MTP 模块，也不是默认一次向用户吐出两个未经验证的 token。两条分支复用 Language Model Head（LM Head，语言模型输出头）。
标准语言模型目标监督 t+1。
把主干表示与真实下一 token 的共享 embedding 拼接并投影。
一个 Transformer block 保留完整因果链，形成额外交叉熵目标。
| 阶段 | 官方披露 | 不能偷换成 |
|---|---|---|
| 训练结构 | depth=1；共享 embedding 与 output head，另有 projection + 1 个 Transformer block | 两个辅助头并行预测 t+2、t+3 |
| 损失权重 | 前 10T token 为 0.3，后 4.8T 为 0.1 | 主语言模型损失被 MTP 替代 |
| 发布权重 | 官方总览把 MTP module 约记为 14B；细表为 11.5B unique，另共享 0.9B embedding + 0.9B output head | 14B 全是独有增量，或 671B 主模型本身是 685B |
| 默认推理 | 可以完全丢弃 MTP，主模型独立生成 | 每步必定多输出一个 token |
| 可选投机 | 报告自测额外 token 接受率约 85%–90%，达到 1.8× Tokens Per Second（TPS，每秒 token 数） | 任何框架、batch、任务都固定提速 1.8× |
V3 的训练效率不能只归功于 FP8。低精度决定一次矩阵乘怎样表示，并行策略决定权重与专家放在哪，DualPipe 与定制 all-to-all kernel 决定通信等待怎样被别的 chunk 的计算覆盖。
Linear 的 forward、activation-gradient 与 weight-gradient General Matrix Multiplication（GEMM，通用矩阵乘）主要用 FP8，输出为 bfloat16（BF16，16 位脑浮点）或 32-bit Floating Point（FP32，32 位浮点）；activation 按 1×128 tile、weight 按 128×128 block 缩放，并周期性提升到 FP32 累加。Embedding、output head、MoE gate、normalization 与 attention operator 保留较高精度；master weights 与累积梯度保留 FP32，AdamW moments 用 BF16。
每节点 8 张 H800，节点内 NVLink/NVSwitch、节点间 InfiniBand。训练使用 16 路 Pipeline Parallelism（PP，流水线并行）、跨 8 节点的 64 路 Expert Parallelism（EP，专家并行）和 Zero Redundancy Optimizer stage 1（ZeRO-1，零冗余优化器第一阶段）Data Parallelism（DP，数据并行），报告称不需要 Tensor Parallelism（TP，张量并行）。
DualPipe 把 forward / backward chunk 拆成 attention、dispatch、Multi-Layer Perceptron（MLP，多层感知机）计算、combine 等部分，从流水线两端送入 micro-batch，并把不同 chunk 的计算与 all-to-all / pipeline 通信交错。每 token 最多跨 4 个节点，定制通信核用 20 个 Streaming Multiprocessor（SM，流式多处理器）饱和链路。
报告的“相对 BF16 loss 误差持续低于 0.25%”来自约 16B / 1.33T token 与 230B / 0.9T token 两个基线规模的对照，不是另训一份完整 671B V3 的 BF16 双胞胎；它验证训练方案的数值可行性，不证明所有下游指标误差都低于 0.25%。
| 最终训练阶段 | H800 GPU·h | 占披露总量 | 口径 |
|---|---|---|---|
| 预训练 | 2.664M | 95.55% | 14.8T token，最大序列 4K |
| 上下文扩展 | 0.119M | 4.27% | YaRN：32K，再到 128K |
| 后训练 | 0.005M | 0.18% | 从 Base 到 Chat 的 Supervised Fine-Tuning（SFT，监督微调）+ Reinforcement Learning（RL，强化学习）报告账目 |
| 合计 | 2.788M | 100% | 2.788M × $2/GPU·h = $5.576M |
MoE 的“激活参数”与“可用权重”是两种资源。若把 671B 主模型权重理想化为每参数恰好 1 byte，仅裸权重算术下限也约 671 GB（625 GiB）；真实部署还要计量化 scale、高精度权重、KV Cache、激活、通信缓冲和框架工作区。
不同 token、不同层可能选不同专家。可以用 EP 分片、量化或 offload 改变摆放方式，但不能由“本 token 只走 37B”推出其余权重永久不需要。
报告的最小 prefill 单元：attention TP4 + Sequence Parallelism（SP，序列并行）、DP8，MoE EP32，并部署 32 个冗余专家。它服务于发布方的 Service-Level Objective（SLO，服务等级目标）与吞吐目标。
报告的最小 decode 单元：attention TP4 + SP、DP80，MoE EP320；64 张 GPU 承载冗余与 shared experts。
32 / 320 H800 是 DeepSeek 披露的生产部署拓扑，不是任何框架加载 V3 的理论最少 GPU 数。其他引擎可用不同量化、并行、批量与 offload 取舍，但会改变吞吐、时延、成本与精度。
下表来自技术报告 Table 6 的 Chat 模型结果。对照模型、API 版本、题目窗口和提示都固定在发布时；这是发布方内部框架的同表比较，不是独立复现。Exact Match（EM，精确匹配）要求答案完全匹配，Pass@1 表示一次生成通过率，Chain-of-Thought（CoT，思维链）表示允许显式推理过程。
| Benchmark / 指标 | DeepSeek-V3 | GPT-4o-0513 | Claude-3.5-Sonnet-1022 | 读法 |
|---|---|---|---|---|
| Massive Multitask Language Understanding（MMLU）/ EM | 88.5 | 87.2 | 88.3 | 大规模多任务知识评测，报告同口径接近 |
| MATH-500 / EM | 90.2 | 74.6 | 78.3 | greedy decoding；报告把提升部分归因于 R1 数据蒸馏 |
| HumanEval-Mul / Pass@1 | 82.6 | 80.5 | 81.7 | 8 种编程语言 |
| LiveCodeBench / Pass@1-CoT | 40.5 | 33.4 | 36.3 | 题目窗口 2024-08 至 2024-11 |
| SimpleQA / Correct | 24.9 | 38.2 | 28.4 | 英文事实问答并非全面领先 |
V3 在同一发布表中的数学、代码与多项知识任务表现强，同时给出了模型配置、训练账与部分系统实现，公开证据密度高。
SimpleQA 等任务已有反例；闭源模型没有同口径训练账，后续模型也持续更新。发布方自评不能替代独立复现、真实业务集或当前榜单。
先问状态存什么（MLA）→ 再问每 token 算什么（MoE）→ 再问训练多了什么目标（MTP）→ 最后问硬件如何执行（FP8 / 并行 / DualPipe）。四个问题分开，参数、缓存、计算、通信和证据就不会串账。
本页优先使用 DeepSeek 一手材料。论文公式说明设计，官方配置固定超参数，官方推理代码用 naive / absorb 两个分支验证 MLA 实际缓存路径；三者冲突时不把二手图解当裁判。
| 证据层 | 一手来源 | 本页核查用途 |
|---|---|---|
| 技术报告 | DeepSeek-V3 Technical Report v2 | 671B/37B、架构、MTP、FP8、并行与 DualPipe、部署拓扑、GPU 小时、评测方法和数值 |
| 官方仓库 | DeepSeek-V3 GitHub；README_WEIGHTS | Base / Chat 两个 checkpoint；685B 总览近似值；MTP 11.5B unique + 共享 embedding/head 的细分；代码与原版权重许可 |
| 可执行配置 | 官方 config.json | 61 层、7168 hidden、128 heads、MLA ranks、专家数、Top-8、depth=1、routing scale 与 YaRN 字段 |
| 参考实现 | 官方 inference/model.py | 确认 absorb 分支只缓存 512 维 KV latent + 64 维 RoPE key，并把 K/V 投影吸收到 query / 输出两侧；确认 bias 与原始 affinity 的分工 |
| 版本时间线 | DeepSeek API Change Log；V3-0324 Release | 确认原始 V3 的 2024-12-26 身份，并区分后来改用 MIT 的 V3-0324 |
| 架构源流 | DeepSeek-V2 Technical Report；DeepSeek-R1 Technical Report | 追溯 MLA / DeepSeekMoE 与矩阵吸收的设计动机；确认 V3-Base 是 R1/R1-Zero 基座但训练流程不同 |