GLM-5 的 DSA 不是一条“稀疏 MLA”黑盒：独立 indexer 保存 128 维 key、返回 Top-2,048 位置，MLA latent cache 再提供内容；MoE、共享式 MTP 与异步 Agent RL 分别改写 FFN、草稿与后训练系统。
状态传导图
公开 GLM-5 config 没有固定 local-window 字段，不能自行加一条“近邻保底”。
观察点 01
当前 hidden 先形成 2,048 维 q residual，再展开为 32 个 128 维 index query；每个历史 token 另存一个 128 维 index key。点积分数经 ReLU 和当前 token 产生的 32 个权重合并，再做 causal Top-2,048。
Indexer score 与 MLA attention score 是两套投影；前者只返回位置 IDs。
状态传导图
最长窗口最后一个 decode query 只看 1.01%，但完整 causal prefill 的主候选约为 dense 的 2.01%，发布方实测只称 attention computation 约降 1.5–2×。
观察点 02
另一条路径把每个历史 token 保存为 512 维 latent KV 与 64 维 RoPE key。Top-2,048 IDs 只负责 gather；64 个 256 维 MLA heads 仍在选中集合内计算 attention 概率并聚合内容。
DSA 压候选数，MLA 压每个历史位置的缓存宽度；两份收益与两份 cache 要分开算。
状态传导图
MTP 可连续起草，但候选仍须主模型验证；接受长度不等于端到端加速倍数。
观察点 03
后 75 层的 router 用校正后的 sigmoid score 选 256 个 routed experts 中的 8 个，输出权重仍来自原始 score，另加一个 shared expert。Checkpoint 再附一套约 9.953B 的完整 DSA+MoE MTP block，训练时在三个预测深度复用。
40B active、8/256 与一个 MTP block 是三个分母不同的参数口径。
状态传导图
异步只描述 Agentic RL 主循环；完整后训练还包括 Reasoning RL、General RL 与最终跨阶段蒸馏。
观察点 04
Rollout GPU 经 TITO gateway 保存 token IDs、rollout log-prob、policy versions、failure/reward。Learner 对 importance ratio 越界 token 做 mask，整条丢弃过旧或环境崩溃样本，再周期同步新权重。
异步提高资源利用率，却把 token 对齐、off-policy bias、版本陈旧与环境噪声变成显式合同。
你现在应该能解释：异步提高资源利用率，却把 token 对齐、off-policy bias、版本陈旧与环境噪声变成显式合同。
GLM-5（Z.ai，2026-02-12）把 DeepSeek Sparse Attention（DSA，DeepSeek 稀疏注意力）接到 Multi-head Latent Attention（MLA，多头潜在注意力）上：独立 indexer 负责“看哪里”，MLA 才负责“读出什么”。Mixture of Experts（MoE，混合专家）控制前馈计算，Multi-Token Prediction（MTP，多 Token 预测）提供可选草稿，异步 Agent Reinforcement Learning（RL，强化学习）则属于后训练系统。
官方博客在 2026-02-12 发布 GLM-5，技术报告于 02-17 上 arXiv。核查日同一官方仓库已把 GLM-5.2 标为最新旗舰，所以本页把 GLM-5 视为可下载、仍可研究的历史型号，不把后续 GLM-5.1/5.2 的 IndexShare、1M 上下文或新 benchmark 倒灌回来。
GlmMoeDsaForCausalLM、默认 dtype 为 BFloat16（BF16，16 位脑浮点）。主体参数为 BF16，另有少量 FP32 路由校正 bias，见下表。num_hidden_layers=78。本页以可执行配置和附录分项为准，并保留这处报告内部差异。| 公开张量分组 | 精确参数数 | 怎样复算 |
|---|---|---|
| 78 层主干 + final norm | 742,008,052,992 | 按 config 的 attention/indexer、3 个 dense FFN、75 个 256-expert MoE 与 norms 汇总 |
| Token embedding | 951,582,720 | 154,880 vocab × 6,144 hidden |
| Untied output head | 951,582,720 | tie_word_embeddings=false，因此不是与 embedding 共用一张矩阵 |
| 额外 MTP block | 9,952,920,576 | model.layers.78：fusion 参数 + 一整层 DSA/MoE + shared-head norm |
| Hugging Face safetensors | 753,864,139,008 | 753,864,119,552 个 BF16 + 19,456 个 32-bit Floating Point（FP32，32 位浮点）参数；文件总字节约 1.508 TB / 1.371 TiB |
742.008B + 0.952B + 0.952B = 743.911B ≈ 744B，恰好复现“主干 + 两张词表矩阵、不含额外 MTP”的发布简称；但报告附录注释写的是“计 MTP、不计 embedding/output”。公开 checkpoint 无法让这两句话同时成立，因此本页直接标注冲突，不把约 10B 差异含糊地全归给词表层。
GLM-5 是 Decoder-only（仅解码器）Transformer。每个主干 block 都先执行 DSA/MLA attention；只有 Feed-Forward Network（FFN，前馈网络）不同：前 3 层是稠密 SwiGLU，后 75 层换成 MoE。换句话说，“3 dense + 75 MoE”描述 FFN 类型，不代表前三层没有注意力。
| 组件 | 发布配置 | 它决定什么 |
|---|---|---|
| 残差主干 | 78 layers；hidden 6,144；vocab 154,880 | 注意力、FFN 与词表矩阵的公共宽度 |
| MLA query | Q LoRA rank 2,048；64 heads；每头 192 non-RoPE + 64 RoPE = 256 | 当前 query 的低秩入口与注意力 head 几何 |
| MLA KV | KV LoRA rank 512；value head dim 256 | 优化式 decode 可保存 512 维 latent KV 与 64 维位置 key，而不是逐头完整 K/V |
| DSA indexer | 32 query heads × 128 dim；每位置一个 128 维 index key；Top-2,048 | 独立对全部可见历史位置打分，返回 MLA 要读取的位置 IDs |
| MoE FFN | 256 routed experts，Top-8；1 shared expert；expert intermediate 2,048 | 后 75 层每个 token 只执行 8 个路由专家，同时执行共享专家 |
| 上下文 | max_position_embeddings=202752；RoPE theta 1,000,000 | 公开配置的最大位置范围；不是整机一定能无条件承载的服务并发量 |
官方 active 口径包含稠密 attention、前三层 FFN、每层 router/normalization、Top-8 routed experts 与 shared expert 等路径的近似统计。
下一枚 token 可能选择另一组专家；完整 753.864B checkpoint 仍须在设备、节点或可接受的 offload 层级上可寻址，还要支付 Expert Parallelism（EP，专家并行）通信。
当前 hidden 先下投影成 q_resid∈R²⁰⁴⁸。Indexer 再把它展开为 32 个 128 维 query；每个历史 token 则从 hidden 独立投影出一个 128 维 key。32 组点积经 ReLU 后，由当前 hidden 产生的 32 个权重加权求和，得到“每个历史位置一个 scalar score”，最后施加因果约束并选 Top-2,048。
Indexer score path 没有跳过远处 token；它用更窄的表示和融合 kernel 完成粗排。省下的是后续 MLA 对未入选位置的主注意力计算。
短于 2,048 时全部保留；更长时按内容 score 选位。Top-k 是位置集合，不是 2,048 个 block，也不是固定最近邻。
MLA 的 query/key/value 参数与 indexer 分开训练；选中 IDs 只决定稀疏 mask，最终内容混合仍由主注意力概率完成。
| 202,752-token 窗口 | 算式 | 正确读法 |
|---|---|---|
| 最后一个 decode query | 2,048 / 202,752 = 1.0101% | 这一枚 query 的主 MLA 候选约少 99×；不包含 indexer、FFN、通信和其他层 |
| Dense causal prefill | L(L+1)/2 = 20,554,288,128 pairs | 完整因果三角形，不是每个 query 都有 L 个可见 key |
| Top-2,048 causal prefill | Σ min(t,2,048) = 413,139,968 pairs | 主 attention 候选为 dense 的 2.01%，约少 49.75×，不是 99× |
| 报告实测口径 | 长序列 attention computation 约降 1.5–2× | 发布方实验结论；不能换成 49.75× 端到端吞吐或成本 |
| batch=1、BF16、78 层主干的优化式逻辑缓存 | 每 token | 202,752 tokens |
|---|---|---|
| MLA latent + RoPE key | 78×(512+64)×2 = 87.75 KiB | 16.97 GiB |
| 独立 indexer K | 78×128×2 = 19.50 KiB | 3.77 GiB |
| 主干合计 | 107.25 KiB/token | 20.74 GiB |
这是按 config 做的 latent-cache 元素账，不含 MTP 层、batch、分页 metadata、量化 scale、allocator 碎片与 kernel workspace。通用 Transformers eager path 还可能物化展开后的 K/V；生产引擎的实际布局不能只由这张表推断。
DSA 相对 MLA：MQ-NIAH 100.0 vs 100.0、MV-NIAH 97.0 vs 95.5、SQuAD 86.0 vs 79.7，但 HotpotQA 63.0 vs 66.3。更准确的结论是“在这四项中接近且各有胜负”，不是数学上的 lossless。
“90% attention entries 冗余”来自报告对 DeepSeek-V3.2-Exp 先前结果的概括，不是 GLM-5 全层、全任务的直接标注；不同内容分布也不会固定命中同一稀疏率收益。
Agent RL 若把每个 token、每层的 2,048 个 index 全部 replay，按公开实现的 int32 粗算就是 78×2,048×4 = 638,976 bytes ≈ 624 KiB/token。报告因此没有存全部 indices，而是在 RL engine 使用确定性的 torch.topk，并默认冻结 indexer；作者称非确定性 CUDA/TileLang Top-k 会造成训练—推理选位不一致和快速退化。这是其大规模训练观察，不是所有 Top-k kernel 的通用定理。
后 75 层的 router 先对 256 个专家产生 sigmoid affinity s。公开实现用 s + e_score_correction_bias 决定 Top-8 indices，但真正混合 expert outputs 的权重来自原始 s：入选分数重新归一化，再乘 routed_scaling_factor=2.5；shared expert 不参加 Top-8，始终走另一条并行分支。
这是 routed expert pool 内的选择率。GLM-5 的 n_group=1，因此没有 DeepSeek-V3 那种“8 组先留 4 组”的跨节点分组筛选。
校正 bias 只移动选路边界，不直接乘 expert output；共享专家的完整输出再与 routed sum 相加。
一个 MoE 层的完整专家参数约 9.70B；跨设备 dispatch/combine、负载偏斜与小 batch 利用率决定能否兑现 40B-active 的计算优势。
| 报告架构消融 | HellaSwag | MMLU | RACE | BBH | GSM8K | HumanEval |
|---|---|---|---|---|---|---|
| GQA-8 | 77.3 | 61.2 | 79.6 | 53.3 | 47.6 | 38.5 |
| MLA | 77.3 | 61.5 | 77.8 | 48.9 | 46.2 | 33.5 |
| MLA + Muon Split | 77.8 | 62.5 | 79.9 | 51.8 | 45.0 | 36.7 |
| MLA-256 + Muon Split | 77.4 | 62.0 | 79.6 | 51.3 | 47.5 | 36.6 |
普通配方对 Q/K/V up-projection 的整张二维矩阵做 Muon 正交化；GLM-5 把它们按 head 拆成较小矩阵再分别处理，让不同 head 以不同尺度更新。它是 optimizer update 的组织方式，不是推理图里多出来的一个 layer。
公开 config 把 Q/K 拆成 192 non-RoPE + 64 RoPE。报告称相对原 MLA 把 head width 增至 256、head 数减三分之一，在训练计算和参数近似不变时降低 decode 工作量；表中并非每个任务都超过 GQA-8。
公开权重在 78 层主干之后还有 model.layers.78。它先分别归一化主模型 hidden 和当前 draft token embedding，拼接后投影回 6,144 维，再经过一整层 DSA + 256-expert MoE，最后复用主 Language Model Head（LM Head，语言模型输出头）产生草稿 logits。
| 层级 | 可确认事实 | 不能偷换成 |
|---|---|---|
| 权重结构 | num_nextn_predict_layers=1；额外 tensors 精确为 9.953B | 三套独立 MTP heads，或 744B 已完整包含这 9.953B |
| 训练深度 | 报告称同一套 MTP layer 参数在 3 个预测层共享 | 每个未来位置各有一套独立权重 |
| 作者私有实验 | 同为 4 speculative steps：GLM-5 accept length 2.76，DeepSeek-V3.2 为 2.55 | 公开 prompt 上可复现的接受率，或线上速度直接提升 8.2% |
| 普通生成 | 主模型可以独立逐 token 生成；MTP 是服务端可选优化 | 每次加载权重都会自动启用投机解码 |
每轮还要支付 MTP block forward、草稿采样、候选组织和目标模型验证；batch、采样温度、prompt 分布、kernel、Expert Parallelism 与拒绝位置都会改变收益。报告只给平均接受长度，没有公开端到端 Tokens Per Second（TPS，每秒 token 数）对照。
报告把 Base 总量写成 28.5T，同时披露 27T 常规预训练与三段 mid-training：32K / 1T、128K / 500B、200K / 50B。四个名义值相加为 27 + 1 + 0.5 + 0.05 = 28.55T，相差 50B（约 0.18%），说明至少一处采用了约数；这些披露不能反推精确训练日志。
通用、代码、数学与科学语料；报告称更早提高 code / reasoning 权重。
长文档、repo 级代码、issue/PR 与 agent trajectories 开始加权。
继续扩大长上下文与软件工程训练。
加入少量 MRCR-like 长对话数据；报告称也改善 128K 表现。
| 从 MLA 转到 DSA | 发布方披露 | 本页复算 / 边界 |
|---|---|---|
| Indexer warmup | 1,000 steps；每步 14 × 202,752 tokens；最高 learning rate 5e-3 | 1,000×14×202,752 = 2.838528B token |
| Sparse adaptation | 沿用 mid-training 数据/超参；20B token；constant learning rate 1e-5 | 两段名义合计 22.838528B；报告未说明已包含在 28.5T 内，还是发生其后另计，本页只并列披露，不相加也不扣除 |
| 论文对照 | DeepSeek-V3.2 为 943.7B adaptation tokens | 模型、起点、数据、优化和目标不同；不能推出通用“省 41×/47×” |
| SFT context | 最长 202,752 tokens；并做 INT4 quantization-aware training | 训练可见长度不等于每个服务请求都能在同一硬件上以相同时延运行 |
报告引言说“throughout this process”，但方法 Section 3.5 明确定义为 final stage：使用前面 SFT / RL 阶段的最终 checkpoints 作 teachers，混合对应 prompts，从 teacher log-prob 差构造优势以恢复先前能力。本页以方法章节为准，不画成每两个阶段之间都实时蒸馏。
Agent 轨迹长短差异很大，同步 RL 会让一批 Graphics Processing Unit（GPU，图形处理器）等待最慢样本。GLM-5 把 inference rollout 与 learner 放在不同 GPU：生成端持续采样，轨迹达到阈值后送去更新，训练端每 K 次 gradient updates 周期同步新权重。代价是同一条轨迹可能跨多个 policy version，天然引入 off-policy bias。
不同任务把 rollout/reward logic 做成独立服务，中央调度控制采样比例和生成速度，再统一成 message-list trajectory。这个数字是基础设施并发能力，不是 1,000 条都同时进入同一次 optimizer step。
若只回传 text，learner 重新 tokenize 可能因空格、归一化、special tokens、截断或 streamed fragments 改变边界。TITO gateway 拦截 generation request，记录 token IDs 与 metadata，保持 action—reward 对齐。
Direct double-sided importance sampling 使用 r=exp(log p_current−log p_rollout)，不再单独跑历史 old-policy inference。落在信赖区间外的 token 直接 mask 掉梯度；这与标准 Proximal Policy Optimization（PPO，近端策略优化）的对称值截断不是同一个算子。
若当前版本与轨迹最早版本差超过阈值，整条 sample 丢弃；sandbox crash 也排除。Group Relative Policy Optimization（GRPO，组相对策略优化）组若剩余有效样本超过一半就重复有效样本补齐，否则整组丢弃。
Data Parallelism（DP，数据并行）aware routing 用 rollout ID 做 consistent hashing，让多轮同前缀请求复用同一 rank 的 Key-Value Cache（KV Cache，键值缓存），再动态平衡 hash space；它优化增量 prefill，不等于跨 rank 同步 KV。
报告没有公开一个可独立复现的“训练吞吐提升 X×”，也不能把最终 benchmark 提升单独归因给异步。系统还使用 FP8 rollouts、MTP、Prefill–Decode disaggregation、heartbeat fault tolerance 和环境扩展；算法、数据、采样与基础设施共同变化。
下面只复述技术报告 Table 7 与 Appendix B 的设置。它们主要是发布方评测，且不同 benchmark 使用不同 harness、prompt、context strategy、timeout 或 judge；因此适合回答“原始 GLM-5 在这些明确设置下表现如何”，不能替代核查日排行榜。
| Benchmark | GLM-5 | 关键设置 / 读法 |
|---|---|---|
| SWE-bench Verified / Multilingual | 77.8 / 73.3 | OpenHands；tailored instruction prompt；temperature 0.7；16,384 max new tokens；200K context |
| Terminal-Bench 2.0 · Terminus-2 | 56.2 / 60.7† | 2h timeout、128K context；† 为作者修订歧义任务后的 verified version |
| Terminal-Bench 2.0 · Claude Code | 56.2 / 61.1† | Claude Code 2.1.14；移除 wall-clock limit；保留 CPU/RAM 限制；平均 5 runs |
| BrowseComp | 62.0 / 75.9 | 前者保留最近 5 turns；后者用 discard-all context management，不能把两列当同一上下文策略 |
| τ²-Bench | 89.7 | Retail/Telecom 调整 user-simulator prompt；Airline 采用 Claude Opus 4.5 system-card fixes |
| MCP-Atlas public set | 67.8 | 500 tasks；每题 timeout 从 4 延到 10 分钟；Gemini 3 Pro 作 judge |
| Vending-Bench 2 | $4,432 | Andon Labs 独立运行；低于同表 Opus 4.5 的 $4,967 与 Gemini 3 Pro 的 $5,478；余额不是通用 Agent 成功率 |
这是 BF16 主体参数与少量 FP32 bias 的 safetensors metadata 精确字节账，不含 KV Cache、激活、通信缓冲和框架 workspace。40B active 不会把完整权重自动缩到 80 GiB。
华为昇腾、摩尔线程、海光、寒武纪、昆仑芯、沐曦、燧原；报告详细展开的是 Ascend 案例，不是七个平台同配置同数据的横向测试。
报告称用混合精度把约 750B 模型放进一台 Atlas 800T A3 machine，并实现 Lightning Indexer、Sparse Flash Attention 与 MLAPO kernels。“一台 machine”不是“一颗 NPU”。
GLM-5 不是把所有成本都交给一个“稀疏”标签：Indexer压主注意力候选，MLA压历史内容状态，MoE压每 token 的 FFN 路径，MTP压验证轮次，异步 RL压训练等待。每个机制都引入另一份 cache、通信、验证或一致性合同；系统设计的关键是把这些账分开验。
本页优先采用 Z.ai 官方博客、技术报告、模型仓库与实现。参数总数、DSA 两套投影、MoE 选路和 MTP extra layer 以公开 config / safetensors / framework code 交叉复算；厂商 benchmark 只按原始 harness 复述。
| 证据层 | 一手来源 | 本页核查用途 |
|---|---|---|
| 发布公告 | GLM-5: From Vibe Coding to Agentic Engineering | 2026-02-12 发布时间、744B/40B、28.5T、产品定位与原始发布表述 |
| 技术报告 | GLM-5 Technical Report · arXiv:2602.15763 | DSA、Muon Split、MTP、训练数据、异步 RL、跨阶段蒸馏、平台适配与完整评测设置 |
| 模型与配置 | GLM-5 model repo；config.json | MIT、78 层、MLA/indexer/MoE 维度、Top-2,048、202,752 context 与 MTP count |
| 权重索引 | model.safetensors.index.json | 总字节数、model.layers.78、untied embedding/head 与精确参数分组复算 |
| 模型实现 | Transformers GLM-MoE-DSA implementation | Indexer Q/K 投影、ReLU/head weighting、独立 cache、Top-k mask、sigmoid router、selection bias 与 mixing weights |
| 后训练基础设施 | slime | 报告所用统一 RL stack 的 rollout customization、server-based execution 与训练/推理解耦背景 |
| DSA 前身 | DeepSeek-V3.2 Technical Report | GLM-5 报告引用的 DSA 来源与 943.7B adaptation 对照；不把前身实验当成 GLM-5 直接测量 |
| 长期任务复核 | Andon Labs · Vending-Bench 2 | 确认 $4,432 来自独立运行的模拟经营余额，而不是厂商自定义成功率 |
| 当前版本仓库 | zai-org/GLM-5 | 截至核查日的 5 / 5.1 / 5.2 家族状态、代码 Apache-2.0 与历史型号边界 |