跳到正文
ARCHITECTURE PREVIEW / FIELD NOTES
模型专题 · Alibaba Qwen / 通义千问

Qwen3.8-Flash-Next 没有缩小模型，它重写了每个参数何时上场

这是一份面向 Qwen4 的早期架构预览：Gated DeltaNet（门控 Delta 网络，GDN）把连续历史压进固定状态，Qwen Sparse Attention（Qwen 稀疏注意力，QSA）检索远程微块，51B N-gram Embedding（短语嵌入表）把局部模式移到主机内存，四路 Gated Residual（门控残差，GR）和 Muon 优化器共同守住深层训练。

沿 48 层看主干 先算部署资源
先给结论

Flash 的核心不是“只有 6B”，而是把计算、容量、记忆和稳定性拆成四份账。每 Token 激活 6B 只说明 MoE 热路径；完整 BF16 Checkpoint 仍接近 3600 亿字节，还要为 N-gram 表准备主机内存。

四条并行信息流先经过固定状态的压缩记忆站，再通过稀疏门户从大量历史微块中选出少数目标；下方主机查表向上预取局部模式，末端模块快速草拟后续输出
直觉总览：三层 GDN 像持续压缩的工作记忆，第四层 QSA 像从巨大档案库只调取少量相关微块；N-gram 表在下方按需供给局部模式，四路残差把深层信息流分开保管。精确结构与数字见下方 SVG。 查看原图 ↗
125B / 6B语言主模型总量 / 每 Token 激活
+51BN-gram 稀疏查表容量
+4BMulti-Token Prediction 模块
48 = 12×43 GDN + 1 QSA 的层节奏
262K → 1M原生窗口 / YaRN 扩展
≈335.28 GiBBF16 Safetensors Payload

核查时间：2026-08-28。架构、权重、Runtime 与云端 API 都是会变化的版本化事实。

01 · 先把身份和参数口径拆开

这是开放权重的多模态 MoE，也是 Qwen4 架构的“先行样机”

Qwen 团队把它定位为 Qwen4 架构的早期预览，角色类似 2025 年 Qwen3-Next 对 Qwen3.5 的预演。它接收文本、图像和视频，输出文本；主干是 Mixture of Experts（混合专家，MoE）因果语言模型，视觉侧另有 27 层编码器。[2][5]

LANGUAGE MAIN 125B 总量 / 6B 激活

48 层语言主模型；每个 MoE 层有 512 个路由专家，单 Token 选择 Top-10，再经过 1 个共享专家。

SPARSE CAPACITY +51B N-gram

由 Bigram / Trigram 确定性寻址，查到的少量行才进入当前 Token；表可放 Host Memory（主机内存）。

SPECULATIVE HEAD +4B MTP

Multi-Token Prediction（多 Token 预测，MTP）只有 1 个物理层，但训练时展开多步，服务时可递归草拟多个未来 Token。

PHYSICAL ARTIFACT 180B-class Checkpoint

上述发布方整数分项相加约 180B；权重索引记录 131 个分片、1,658 个 Tensor、359,999,963,128 字节 Payload。[6]

最容易踩的坑

6B active 是每 Token 参与主干计算的参数量，不是下载体积、GPU 常驻量或单卡门槛。参数“冷”下来并不等于权重从物理系统里消失：专家要能被路由访问，N-gram 表也要在 Host RAM 与设备之间预取。

公开 Config 的结构快照
子系统关键字段这意味着什么
语言宽度hidden_size = 2,560；48 层宽度不大，容量主要由超稀疏专家与外部查表扩展。
GDN48 value heads / 16 QK heads；head dim 128；conv kernel 4用固定形状递归状态持续更新，不为每个历史 Token 永久保留完整 KV。
QSA Core24 Q heads / 2 KV heads；head dim 256；Partial RoPE dim 64核心注意力仍精读 Token，只是先由 Indexer 筛掉大部分历史。
QSA Indexer4 Q heads / 1 shared K；block ratio 4；预算 2,048 Token先把 4 个 Token 聚成微块，再选最多 512 个完整微块并补上尾块。
MoE512 routed → Top-10；+1 shared；intermediate 640总专家容量很大，但单 Token 只走很少专家；共享专家提供公共路径。
视觉27 层；hidden 1,152；16 heads；patch 16；merge 2图像 / 视频先压成 2,560 维语言侧表示，最终仍只生成文本。
02 · 一枚 Token 的完整路线

48 层按“四拍”循环：三次压缩记忆，一次远程检索

主干不是 48 个同构 Transformer Block。它严格重复 12 次 3 × (GDN → MoE) + 1 × (QSA → MoE)：前三层用低成本递归状态推进，第四层恢复对完整历史的内容寻址；四路 GR 贯穿全部层。[1][5]

上半部分展示四十八层主干由三个 Gated DeltaNet 层和一个 Qwen Sparse Attention 层组成四层循环并重复十二次；下半部分展开单个语言层，四路残差先经门控读取进入 Token Mixer，再写回四路残差，随后再次门控读取进入 MoE，并进行第二次写回
精确到单层的结构：Token Mixer 与 MoE 不是共用一次残差包裹，而是各自执行 GR Read → 子层 → GR Write；四路状态贯穿全部 48 层。 查看原图 ↗
01 / INPUT

先统一模态表示

文本直接查词表；图像 / 视频经视觉编码器和合并器投到 2,560 维语言空间。多模态会额外消耗上下文与显存，不能只按文本 Token 估算。

02 / MEMORY

GDN 连续压缩

36 个 GDN 层更新固定大小状态，近似一本不断改写的工作笔记：空间不随历史线性增长，但早期细节会被压缩。

03 / RETRIEVE

QSA 周期检索

12 个 QSA 层先用轻量 Indexer 选区域，再由核心注意力精读；它补回递归状态不擅长的远程精确引用。

04 / EXPERTS

MoE 扩容量

每层从 512 个路由专家中选 10 个，并总走 1 个共享专家。计算稀疏、权重仍大，是 Flash 名字背后的第一份工程取舍。

BACKBONE RHYTHM主干四拍
48 layers=12×[3×(GDN→MoE)+1×(QSA→MoE)]48\ \mathrm{layers}=12\times\Bigl[3\times(\mathrm{GDN}\rightarrow\mathrm{MoE})+1\times(\mathrm{QSA}\rightarrow\mathrm{MoE})\Bigr]

“每四层一检索”是结构节奏，不代表每四个 Token 才做一次注意力；每个 Token 都会依次经过这些层。

03 · Attention：记住和找到是两种工作

GDN 保存压缩状态，QSA 保留稀疏的全局寻址

传统完整注意力既保存历史 KV，也让每个 Query 直接比较所有位置。Qwen3.8-Flash-Next 把它拆开：GDN 用固定状态承担高频记忆，QSA 每隔三层做一次全局检索。这不是“线性注意力取代 Attention”，而是两种记忆互补。

Gated DeltaNet 从当前隐藏态分别生成经过短卷积的查询、键、值和衰减写入门；旧状态先由 alpha 衰减，再计算值与旧状态预测之间的误差，以 beta 控制的低秩增量写入新状态，最后用查询读取并经过归一化、输出门和线性投影
GDN 不是一只模糊的“记忆盒”：q、k、v 都先经过 kernel=4 的 ShortConv；α 控制整体衰减，β 控制纠错写入，q 再从新状态读出当前结果。 查看原图 ↗
GATED DELTANET状态如何衰减、纠错、写回
S~t−1=αtSt−1et=vt−S~t−1TktSt=S~t−1+βtktetTyt=StTqt\begin{aligned} \widetilde{\mathbf S}_{t-1}&=\alpha_t\mathbf S_{t-1} \\ \mathbf e_t&=\mathbf v_t-\widetilde{\mathbf S}_{t-1}^{\mathsf T}\mathbf k_t \\ \mathbf S_t&=\widetilde{\mathbf S}_{t-1}+\beta_t\mathbf k_t\mathbf e_t^{\mathsf T} \\ \mathbf y_t&=\mathbf S_t^{\mathsf T}\mathbf q_t \end{aligned}
αt 衰减旧状态 βt 控制 Delta 写入 St 是固定形状的每头状态
展开等价的一步递推
St=αt(I−βtktktT)St−1+βtktvtT\mathbf S_t=\alpha_t\bigl(\mathbf I-\beta_t\mathbf k_t\mathbf k_t^{\mathsf T}\bigr)\mathbf S_{t-1}+\beta_t\mathbf k_t\mathbf v_t^{\mathsf T}
Qwen Sparse Attention 的 Indexer 有查询和键两条支路：历史 Key 每四个 Token 平均池化后做 RMS 归一化并加入块位置的部分旋转编码；当前查询经四个独立投影、RMS 归一化和 Token 位置旋转编码；两路汇合计算四头 ReLU 点积和，选择最多五百一十二个完整块，再加当前未完成尾块，展开为稀疏 Token 索引交给二十四查询头、两 KV 头的核心注意力精读
顺序很关键：Key 侧先对每 4 个 Token 做 Average Pooling，再 RMSNorm 与块级 Partial RoPE；Query 侧独立投影、归一化并编码当前位置。两路汇合打分后，Top-K 完整块与当前尾块取并集，Core QSA 才读取原始 Token。 查看原图 ↗
QSA INDEXER先按块评分，再展开 Token 集合
BLOCK SCORE
Iib={∑h=1HIReLU⁡ ⁣(⟨qih,kˉb⟩),pb+r−1≤i−∞,otherwiseI_{ib}=\begin{cases}\displaystyle\sum_{h=1}^{H_I}\operatorname{ReLU}\!\left(\left\langle\mathbf q_i^h,\bar{\mathbf k}_b\right\rangle\right),&p_b+r-1\le i\\-\infty,&\text{otherwise}\end{cases}
CAUSAL SPARSE SET
Bi=TopK⁡KB ⁣({Iib}b),KB=⌈Kr⌉=512,Si=Expand⁡(Bi)∪{r⌊i+1r⌋,…,i}\mathcal B_i=\operatorname{TopK}_{K_B}\!\left(\{I_{ib}\}_b\right),\quad K_B=\left\lceil\frac{K}{r}\right\rceil=512,\quad\mathcal S_i=\operatorname{Expand}(\mathcal B_i)\cup\left\{r\left\lfloor\frac{i+1}{r}\right\rfloor,\ldots,i\right\}

r=4 是微块压缩比，K=2,048 是 Token 预算，因此完整块预算 KB=512；未完成的当前尾块因因果可见而额外保留。

GDN · 固定状态

像一张不断擦写的工作白板

α 决定旧记忆衰减，β 决定新误差写入强度。优势是状态大小不随序列增长；代价是历史细节被投影和覆盖，不保证逐 Token 原样回放。

QSA · 稀疏全局 KV

像先查目录，再调阅原文

  1. 把 Key 按 4 Token 的非重叠微块平均池化。
  2. 对块表示加 Partial Rotary Position Embedding（部分旋转位置编码，RoPE）：Indexer 用 64 / 128 维，Core QSA 用 64 / 256 维。
  3. 4 个 Query 头对 1 个共享 Key 头评分，ReLU 后跨头求和。
  4. 选最多 512 个完整块，展开成 2,048 个 Token，再加未完成尾块。
  5. 24 Q / 2 KV 的 Core QSA 在原始 Token 上做精确注意力。
Stage 1Indexer-only dense distillation1,000 steps · LR 1e−3 · ≈2B Token

冻结主干，只教 Indexer 模仿完整注意力的重要性分布；每步 8 条 256K 序列。

Stage 2Backbone + Indexer sparse CPT8,000 steps · LR 2.5e−5 · ≈200B Token

主干与 Indexer 一起在稀疏路径继续预训练；每步 96 条 256K 序列。

性能数字要带边界

技术报告在 1M Token 的注意力模块测试中给出 Prefill 最高 7.6×、Decode 最高 4.9×；Prefill 使用 Chunking，Decode 包含 3 个 MTP 步。官方博客另给出“90% Prefix Cache 命中、1M 上下文”实验在线负载下，相对 Qwen3.7-Plus 的 Prefill 吞吐 8.6×。这些都不是任意硬件、并发与端到端请求的固定倍数。[1][2]

04 · Residual 与 Embedding：把深度和容量分开治理

四路残差防信号被搅散，N-gram 表把局部知识移出矩阵乘

GR 解决的是“网络越深，早期特征怎样不被反复混合稀释”；N-gram Embedding 解决的是“怎样增加常见短模式容量，又不让每个 Token 做 51B 参数的稠密计算”。二者都在扩展模型，但扩展的是完全不同的轴。

四条残差支路分别做 RMS 归一化后拼接，通过降维到三百二十维再升维的低秩网络生成四组逐元素读门，门控后的四路表示取平均送入 Token Mixer 或 MoE；子层输出再通过四个数据依赖标量同时写回四条支路
读门与写门不是同一种门：读取时每条支路有一组逐元素向量 Gᵢ，写回时每条支路只有一个标量 sᵢ。四路都会收到当前子层输出，最终职责由训练形成。 查看原图 ↗
GATED RESIDUAL四路表示的读取与写回
READ · ELEMENT-WISE GATES
R^i=RMSNorm⁡(Ri;γi),G=unvec⁡ ⁣[σ ⁣(WuSiLU⁡ ⁣(1nrWdvec⁡(R^)))],x=1nr∑i=1nrGi⊙R^i\widehat{\mathbf R}_i=\operatorname{RMSNorm}(\mathbf R_i;\gamma_i),\quad\mathbf G=\operatorname{unvec}\!\left[\sigma\!\left(\mathbf W_u\operatorname{SiLU}\!\left(\tfrac{1}{n_r}\mathbf W_d\operatorname{vec}(\widehat{\mathbf R})\right)\right)\right],\quad\mathbf x=\frac{1}{n_r}\sum_{i=1}^{n_r}\mathbf G_i\odot\widehat{\mathbf R}_i
WRITE · ONE SCALAR PER BRANCH
s=2σ ⁣(1nrWwvec⁡(R^)),Ri′=Ri+siy,nr=4\mathbf s=2\sigma\!\left(\tfrac{1}{n_r}\mathbf W_w\operatorname{vec}(\widehat{\mathbf R})\right),\qquad\mathbf R_i'=\mathbf R_i+s_i\mathbf y,\qquad n_r=4

Wd 把四路拼接表示降到 320=d/8，Wu 再生成四组向量门；写回系数乘 2，使初始化附近的可用范围覆盖恒等残差。

当前及前两个 Token 组成 Bigram 与 Trigram，通过技术报告未公开细节的确定性映射得到地址，在主机内存中查找两千万槽位、二千五百六十维、约五百一十亿参数的 N-gram 表；Runtime 在第一层计算时异步搬运命中行，并于第二层经过键值投影注入
N-gram 的工程重点是重叠：Layer 1 计算、Host 查表和 Host→Device 传输尽量并行；51B 扩大的是稀疏可查容量，但仍消耗主机内存与互联带宽。报告没有公开具体地址函数，本图不臆造 Hash 公式。 查看原图 ↗
GR 怎么读

先分路归一化，再逐元素开门

四条残差支路分别做 RMS Normalization（均方根归一化），低秩瓶颈 rank = 320 = d/8 读取全部支路并生成 Sigmoid 门；门控结果求平均后送进 Attention / MoE。

GR 怎么写

一个 Block 输出，四个写回标量

每条支路都有一个随数据变化的标量权重，控制当前 Block 输出写回多少。报告认为读写已足够表达，移除了 Hyper-Connection 中额外的分支混合算子。

N-gram 怎么查

短上下文直接生成地址

Bigram / Trigram 不是先跑另一个神经检索器，而是由当前及前序 Token 的局部模式确定槽位；取回向量再经 Key / Value 投影增强隐藏态。

N-gram 怎么搬

Layer 1 计算时，预取 Layer 2 要用的行

表放 Host RAM，通过异步 Prefetch（预取）覆盖一部分 PCIe / 互联等待。收益取决于主机内存、NUMA、互联和并发，不能只看参数量。

+1.58四路静态残差相对单路的发布方下游平均增益
+1.98再加入动态读写门的发布方下游平均增益

这组数来自报告中的 25B-A3B 受控消融。训练 Loss 差异比下游分数小，提醒我们：更低 Loss 与更好任务能力相关，但不是同一个指标。稀疏只读 Top-2 支路在预训练看似可行，却在后训练退化，因此最终没有采用。

05 · Optimization：Muon 不是整网替换 AdamW

先按参数的数学角色分组，再决定谁做正交化

Muon（MomentUm Orthogonalized by Newton–Schulz）为二维线性映射的更新做近似正交化；Embedding、MoE Router、GR 低秩门和向量型参数仍使用 AdamW，N-gram 表使用关闭 Weight Decay（权重衰减）的 Adam。模型把优化器选择当架构的一部分，而不是一个全局开关。

参数张量先按语义角色与矩阵几何分类；注意力、Gated DeltaNet、专家和 N-gram 键值投影等真正二维线性映射走 Muon，融合矩阵先拆成查询键值、门与升维等独立变换，再做八次 Newton Schulz 近似正交化和 Canzona 分片；Embedding、输出头、MoE Router、门控参数走 AdamW，N-gram 表走无权重衰减 Adam
参数 Shape 相似不代表统计角色相同。Router 用 Muon 在早期不稳定，因此回到 AdamW；融合 QKV、SwiGLU FC1 和 GDN 按头矩阵也要先拆成语义独立的线性变换，再分别正交化。 查看原图 ↗
MUON SCALE按矩阵形状校准更新幅度
γ(A,B)=0.2max⁡(A,B)\gamma(A,B)=0.2\sqrt{\max(A,B)}

A×B 是拆分后的单个线性映射形状；公式在正交化后校准更新幅度，因此“先按语义拆矩阵”会直接影响实际优化行为。

稳定性证据分为四组互不混用的实验：四倍最优学习率的一万九千九百三十二步恒定学习率压力测试中，AdamW 基线损失尖峰率为每一万步一百八十三次、裁剪阈值穿越共二百一十三次；三倍学习率的 GatedNorm 单因素消融把尖峰率从三十二降到三点二每一万步；二百七十六 B Token 生产早期训练以 Qwen3.5 加 Muon 为基线，门控残差降低零点零二六损失，完整配方降低零点零五八；另一个批量热身实验增加百分之十八点八优化器步数但无终点收益
把证据拆开后，结论才不会被夸大：4× LR 检验恒定高学习率稳定性，3× LR 只隔离 GatedNorm，276B Token 记录生产早期 Loss，Batch Warmup 又是另一组独立实验。 查看原图 ↗
Muon 路径
  • Attention 的 Q / K / V / O
  • GDN 的输入 / 输出投影
  • 路由与共享专家的 FC1 / FC2
  • N-gram 的 Key / Value 投影
AdamW / Adam 路径
  • Token Embedding 与 LM Head
  • MoE Router
  • GR 低秩投影、输出门和向量参数
  • N-gram 表：Adam，关闭 Weight Decay
工程化正交化
  • Newton–Schulz 迭代设为 8 次，以提高正交化精度
  • 采用 Polar Express 系数序列提高精度
  • CUDA Graph 降低小算子 Launch 开销
  • Canzona 按正交化 FLOPs 分发整矩阵，再用融合 All-to-All 重建

为什么报告花大量篇幅讨论“尖峰”

在 4× 最优学习率、19,932 步的恒定学习率压力测试中，AdamW 基线的 Loss Spike 率为 183 / 10K steps，并累计出现 213 次裁剪阈值穿越；报告的 Muon 配方均未穿越阈值，Muon + GR 还做到 0 次 Loss Spike。另一组 3× LR 单变量实验只把 RMSNorm 换成 GatedNorm，尖峰率便从 32.0 降到 3.2 / 10K。实际生产早期 276B Token 区间以 Qwen3.5 + Muon 为基线，GR 降低 0.026 Loss，完整配方累计降低 0.058。[1]

边界：这是发布方在特定模型、数据和超参数下的受控证据，能支持“配方更稳”，不能证明换一套规模或框架仍然零尖峰。

一个反直觉结论

常见 Batch Size Warmup（批量大小热身）从 6.3M 逐步升到 25.2M，在这套新架构上没有改善终点结果，却多做 18.8% Optimizer Steps；团队重新拟合 Scaling Law（缩放定律）后直接从目标 Batch 开始。

06 · Evidence：别把所有表格压成一个“更强”

架构消融、Base 能力、后训练 Agent 与 Kernel 速度是四套证据

技术报告给出的 Base 对比中，Qwen3.8-Flash-Next-Base 在 14 个任务里赢 8 个；发布方称它相对 Qwen3.7-Plus 使用约 1/3 激活参数、1/3 训练 Token、1/9 训练 FLOPs。这是同厂实验，说明效率方向有价值，但不是第三方复现，也不能从 FLOPs 直接推出服务成本。[1]

LONG CONTEXT ABLATION

短端互有胜负，进入 512K 后三项明显反超

报告在 256K 继续训练后比较稀疏与完整注意力。QSA 在 RULER 128–256K（99.62 vs 99.81）、MRCR 128K（95.98 vs 97.14）和 256K（93.00 vs 94.20）略低；进入右侧三个长端格子后优势尤其明显。它支持“短端相近、长端更强”的受控结论，不支持“所有长度都赢”。

RULER 512K–1M93.00QSAvs 90.08 Full
MRCR 512K40.53QSAvs 30.66 Full
MRCR 1M26.44QSAvs 20.71 Full
后训练模型卡：选取跨 Coding、Agent、推理与视觉任务的原始分数
方向BenchmarkQwen3.8-Flash-Next口径提醒
Agentic CodingDeepSWE 1.158.7Claude Code 与 mini-SWE-agent 两套 Harness 取高值
软件工程SWE-bench Pro62.5Claude Code Harness；发布方修订问题集后重测
工具使用Toolathlon Verified73.5Pass@1
科学推理GPQA Diamond91.7发布方模型卡口径
竞赛编程LiveCodeBench v691.9发布方模型卡口径
移动操作AndroidWorld84.5视觉 Agent 任务
桌面操作OSWorld 2.019.4 / 52.3Binary / Partial，两个指标不可互换
具身问答ERQA72.3视觉语言评测
Harness 会改变分数

DeepSWE 1.1 在 Claude Code 与 mini-SWE-agent 两套 Harness 中取最高值；SWE-bench Pro 使用 Claude Code Harness。它们不是“裸模型一次调用”。

内部集不能当公共基准

CoWorkBench 73.9、RecreationBench 49.9 都由发布方自建；本页不把它们放进跨厂商结论。

Judge 也是版本依赖

Vision2Web 使用 gpt-5.4-2026-03-05 作为 Judge；换 Judge、提示词或页面环境会改变排序。

Pass@K 不能混用

ClawEval-MM 同时报 Pass@3 64.4 与 Average 60.4；OSWorld 同时报 Binary 与 Partial。必须保留指标名，不能只摘一个百分数。

07 · Deployment：Flash 先过四道合同

Checkpoint、上下文、Runtime、License 少一项都不能上线

开放权重叫 Qwen3.8-Flash-Next，QwenCloud 的生产型号叫 qwen3.8-flash。前者原生 262,144 Token，可用 YaRN（Yet another RoPE extensioN）静态扩到 1M；后者是默认 1M 的托管服务。名字相近，不代表权重、Kernel、工具、价格和服务上限可以互抄。[8][10]

左侧开放检查点列出三百三十五点二八 GiB BF16、一百七十二点七八 GiB FP8、原生二十六万二千一百四十四上下文、至少五十一 GB 主机内存和 vLLM 初始并行限制；右侧云端 qwen3.8-flash 列出默认一百万上下文、国际站输入输出价格、长度上限和身份边界；底部是 Qwen Community License 一点零的署名与商业服务条款
部署规格是 2026-08-28 快照。尤其是 Day-0 镜像、硬件并行和平台支持会快速变化；上线当天应重查官方 Recipe 与模型页。 查看原图 ↗
01 · 权重与主机内存

BF16 约 335.28 GiB；FP8 约 172.78 GiB

这只是 Checkpoint 体积。运行时还要留出视觉编码器激活、KV / GDN 状态、临时 Workspace、通信 Buffer 和并发余量；N-gram Offload 另需至少 51 GB 加 Runtime Headroom 的 Host RAM。

02 · 并行拓扑

量化 Block 会限制 TP 组合

vLLM 官方快照中，GB300 上 FP8 至少 TP2、推荐 TP4；8×H200 用 TEP8，普通 TP8 与 128-wide 量化块不兼容。这里的 TEP 是 Tensor + Expert Parallel（张量并行 + 专家并行）。

03 · 初始软件边界

发布期不是“pip install 就结束”

官方 Recipe 使用 vllm/vllm-openai:qwen38-flash-next 专用镜像；N-gram Offload 初始先支持 NVIDIA，Pipeline Parallel（流水并行）、XPU / TPU 仍不支持。SGLang 也在 Day-0 支持阶段。

04 · MTP 与思考模式

草稿数和 Reasoning 都是运行时合同

MTP 可配置 3 个 Speculative Tokens（投机 Token），但收益取决于接受率和 Batch；模型默认思考，可用 enable_thinking、preserve_thinking 与 reasoning_effort 控制，具体支持仍看 Runtime。

QWENCLOUD · 2026-08-28

qwen3.8-flash 已上线

文本 / 图像 / 视频输入、文本输出，OpenAI / Anthropic 兼容协议，内置 Web Search、Code Interpreter 等工具。

Input
$0.15 / 1M Token
Output
$0.47 / 1M Token
Implicit Cache
$0.016 / 1M Token
Context
1M
Max input
991K；Thinking 983K
Max output / reasoning
131K / 262K
QWEN COMMUNITY LICENSE 1.0

开放权重，不等于 Apache 2.0，也不要直接写成 OSI 开源

  • 商业产品 / 服务超过 1 亿 MAU 或 2,000 万美元月收入，需显著展示模型名称。
  • 商业 Model-as-a-Service（模型即服务，MaaS）或 AI Work Assistant（AI 工作助理）业务，需要另行取得 Qwen 许可。
  • 对于 MaaS / AI Work Assistant 的额外许可门槛，如果仅供组织内部使用、没有第三方访问，许可证列有内部使用例外。
  • 这里只做工程摘要，不构成法律意见；正式发布、分发或商业化前应让法务阅读全文。[7]
研究架构优先开放 Checkpoint

能检查真实 Config、权重、Kernel 与中间状态。

高并发 Agent先验证云端生产型号

把质量、TTFT、TPOT、缓存命中、工具成功率与单位经济一起压测。

本地私有化从 FP8 + Host Offload 预算

先核对硬件拓扑和 Runtime 快照，再决定是否上 YaRN 与 MTP。

08 · Sources & Verification

所有时效性结论都回到版本化一手来源

本页以 2026-08-28 为核查日。论文 / 技术报告用于机制与受控实验，模型卡 / Config / 权重索引用于制品事实，框架 Recipe 用于部署快照，QwenCloud 用于托管价格和上限；四种证据不互相替代。

  1. 01
    Qwen3.8-Flash-Next 技术报告 ↗

    架构公式、QSA / GR / N-gram / Muon 消融、长上下文和训练稳定性实验

  2. 02
    Qwen 官方发布博客 ↗

    发布日期、Qwen4 预览定位、模型卡评测、托管型号与发布方效率口径

  3. 03
    Hugging Face 模型卡 ↗

    模态、参数分项、思考模式、评测说明、运行时入口与公开制品

  4. 04
    官方 GitHub README ↗

    Transformers、SGLang、vLLM、TokenSpeed、llama.cpp 与 MLX 当前接入入口

  5. 05
    模型 Config ↗

    48 层排布、QSA Indexer、MoE、GR、N-gram、MTP、视觉编码器与原生上下文

  6. 06
    Safetensors 权重索引 ↗

    131 个分片、Tensor 映射与精确 BF16 Payload 字节数

  7. 07
    Qwen Community License 1.0 ↗

    超大产品署名、MaaS / AI Work Assistant 与内部使用条款

  8. 08
    vLLM 官方 Recipe ↗

    BF16 / FP8 体积、硬件并行、N-gram Offload、MTP、YaRN 与初始限制

  9. 09
    SGLang 官方 Cookbook ↗

    Day-0 镜像、支持硬件与发布期部署快照

  10. 10
    QwenCloud 模型页 ↗

    qwen3.8-flash 的 1M 服务合同、价格、缓存、配额与内置工具

  11. 11
    QwenCloud 文本模型目录 ↗

    托管模型 ID、上下文、思考预算与功能矩阵

  12. 12
    FP8 Checkpoint ↗

    官方 FP8 自部署制品

  13. 13
    Qwen3-Next 发布说明 ↗

    前代 3:1 GDN / Attention、512 选 10 MoE 与 YaRN 背景

复核清单

页面上线前需再次确认：模型卡 Commit、权重索引总字节、Runtime 支持矩阵、QwenCloud 型号 / 价格 / 配额，以及许可证原文是否发生变更。任何部署命令都应固定镜像摘要与 Checkpoint Revision，而不是只写 latest。