语音助手真正难的，是边听边说时仍知道该等、该停、该继续
低延迟模型只是起点。一个可用的实时语音系统，还要把媒体流、轮次控制和业务动作拆成三份合同：声音怎样被表示，什么时候允许回答，哪些音频已经播放、哪些计划还能撤销。把这三层分开，才能读懂 ASR、TTS、端到端 Speech-to-Speech 的架构差异，也不会把论文首包写成产品体验承诺。
先问输入输出，再问模型；先拆媒体流，再谈“实时”
Automatic Speech Recognition（ASR，自动语音识别）、Text-to-Speech（TTS，文本转语音）和 Speech-to-Speech（S2S，语音到语音）不是同一指标上的三个等级。它们保留的信息、中间状态、可审计性和失败方式都不同。
内容合同：说了什么
输出文字、时间戳和置信信息，适合字幕、检索、会议纪要与指令入口。文字是好用的“窄腰”，却会压掉音色、重音、笑声和很多环境证据。
声音合同：怎样说出来
输出可播放波形，需同时管内容正确、发音、韵律、音色授权、首个可播块和流间连续性。流式 TTS 仍可能是文本 LLM 后的独立组件。
交互合同：何时听、说、停
可直接利用语气与非语言线索，也要处理重叠说话、短反馈、回声和打断。端到端并不自动意味着低延迟、会轮次管理或可安全执行业务动作。
文字相同，重音落点不同，语用含义可能相反
ASR 管线通常先保留句子，S2S 有机会继续消费重音、停顿和音色；但“模型能接收音频”不等于它稳定使用了这些线索。验收要做只改变重音或停顿的成对反事实音频，而不是让评审者凭一段演示猜能力。
媒体面负责把音频块送进去、播出来；控制面负责 wait / respond / interrupt / cancel；业务面负责查单、退款或外呼等动作。把三者塞进一个模型提示词，会让“听到退款”过早变成“已经退款”。
帧率、码率和 token 率是三本账，不能只说“压成几十帧”
波形按采样点记录振幅；Short-Time Fourier Transform（STFT，短时傅里叶变换）与 Mel 滤组把局部频率能量摊成特征图；神经 Audio Codec（音频编解码器）则用 Encoder、Residual Vector Quantization（RVQ，残差向量量化）和 Decoder 把声音压成可重建的离散编号。
30 秒约 3,000 个时间帧
论文先重采样到 16 kHz，用 25 ms 窗、10 ms 步长生成 80 通道 Log-Mel。30 秒输入约含 480,000 个采样点和 3,000 个时间步；Whisper 的原始训练 / 推理接口以 30 秒窗口为中心，外层连续分段不等于模型原生在线。
6 kbps 可由 75×8×10 复算
24 kHz 配置每秒 75 个 latent frame，并使用 8 个码本；每个码本各有 1,024 项，所以单个编号需 10 bit。因此 75 × 8 × log₂(1,024) = 6,000 bit/s。码率是信息量，不是“每秒只有 75 个 token”。
12.5×8×11 = 1.1 kbps
Mimi 每 80 ms 一个 frame，并行使用 8 个码本；每个码本各有 2,048 项，所以单个编号需 11 bit，约 12.5 × 8 × log₂(2,048) = 1,100 bit/s。第一个量化器受 WavLM 语义蒸馏约束，另外 7 个补声学残差；语义教师只用于训练，在线编码仍保持因果。
Log-Mel 不是可直接播放的压缩文件
它保留时间—频率能量，适合识别 Encoder，却丢失相位和细粒度波形信息。系统可以从 Mel 再用 vocoder 合成声音，但这需要另一个有损生成模型，不是把原录音无损还原。
“semantic / acoustic”是建模分工，不是自然界的两个抽屉
AudioLM 先预测 semantic token，再预测 coarse 与 fine acoustic token；Mimi 则在同一 frame 的 Split RVQ 中让一个码本接受语义蒸馏。两者都在分配内容与细节容量，却不是同一数据流。
帧率低，不代表自回归步骤自然就少
若把 8 个码本完全展平，12.5 frame/s 仍可变成 100 个离散编号/s。并行码本头、depth transformer 或 Multi-Token Prediction（MTP，多 token 预测）怎样调度，才决定真实生成步骤和算力。
“可以流式接收”不等于“模型按前缀在线决策”
判断一套语音架构，要分别追踪输入是否等待完整片段、文字是不是唯一中间接口、输出何时形成第一个稳定前缀，以及用户音频与模型音频是否能在同一时间轴并存。
窗口式 ASR：完整片段进，完整或分段文字出
Whisper 是代表：30 秒窗口适合批量转写和通过外层策略处理长音频，但它不是为每个新声学 frame 持续维护在线转导状态而设计。把 30 秒改成滑窗可以更早出字，也会引入重叠去重、修订和上下文边界。
在线 ASR：声学前缀到来就增量发射
Recurrent Neural Network Transducer（RNN-T，循环神经网络转导器）等路线把声学时间与输出标签对齐，可持续发 token；但“最后一个词已经出来”仍不代表用户这一轮结束，endpointing 还要综合停顿、词尾和任务上下文。
级联实时管线：streaming ASR → LLM → streaming TTS
组件可替换，中间文字便于审核、知识检索和工具调用。CosyVoice 2 说明 TTS 本身也可通过流式文本—语音 token 交织和 chunk-aware Flow Matching（分块感知流匹配）边生成边播；管线不必等整段回复写完。
双流模型：用户声道和模型声道在同一时间轴上
Moshi 用 Mimi 表示同时建模用户与模型音频，并预测时间对齐文字作为 Inner Monologue（内在文字轨）。它天然能训练重叠与短反馈，但 Full-Duplex-Bench 也显示，能低延迟发声不等于知道何时不应打断。
直接流式翻译：不必先等完整源句
SeamlessStreaming 使用 Efficient Monotonic Multihead Attention（EMMA，高效单调多头注意力）决定何时继续读源语音、何时写目标语音 / 文字。质量要与 Average Lagging（平均滞后）和 Ending Offset（结束偏移）一起报告。
Thinker 表示 + 双轨 Talker
音频按 2 秒注意力块进入 Thinker；Talker 同时消费 Thinker 高维表示与采样文字 token，经语音 tokenizer、滑窗 Flow-Matching DiT 和 BigVGAN 路线输出。报告没有给出可直接引用的统一首包毫秒数。
12.5 Hz 多码本 + MTP + Code2Wav
Talker 配方已变化：多码本 RVQ 由主输出和 MTP 补残差码本，再经因果卷积 Code2Wav。不能把 2.5 代“读取 Thinker 高维文字表示”的描述原封不动套到这一代。
ARIA 自适应交织
Adaptive Rate Interleave Alignment（ARIA，自适应速率交织对齐）让文字与语音 token 的交织节奏按内容调整，并使用 Hybrid Attention Mixture-of-Experts（Hybrid Attention MoE，混合注意力专家）Thinker / Talker。它是又一代配方，不是 Qwen3 的小版本别名。
单独型号的参数、权重、API 与部署边界进入站内 Qwen Omni 深度拆解。本页只抽取可迁移的表示、流式和控制面原理，不把某个服务的功能写成音频行业通用定义。
VAD 只回答“像不像有人说话”，不能单独决定“该不该回答”
Voice Activity Detection（VAD，语音活动检测）输出短窗里的 speech / non-speech 证据；endpointing（端点检测）判断一个输入段是否收口；turn manager（轮次管理器）还要考虑说话人、回声、语义、当前播放和业务状态。把三者合成一个静音阈值，安静时会迟钝，嘈杂或犹豫时会抢话。
AEC、NS、AGC 是客户端合同
Acoustic Echo Cancellation（AEC，声学回声消除）要拿到实际播放参考；Noise Suppression（NS，降噪）和 Automatic Gain Control（AGC，自动增益控制）会改变输入分布。W3C 的采集约束允许请求这些能力，但浏览器与设备实现仍要探测、记录和实测。
更快端点会换来删除错误
端点研究把 VAD、词尾 token 和延迟惩罚组合起来：等待更短能降低 endpoint lag，却可能截掉句尾、增加 deletion。最佳阈值依语言、噪声、任务和用户停顿习惯变化，不能全站硬编码一个毫秒数。
打断是一条状态迁移
检测新语音后，先标记当前 output item / turn epoch 被取消，停止生成与下发，清除服务端和客户端的未播放队列，并等待客户端确认真正停止的位置；已播放内容和已发生工具副作用不能假装回滚。OpenAI Realtime 的客户端事件 { type: "conversation.item.truncate", item_id, content_index: 0, audio_end_ms } 是按播放位置截断服务端音频的一种具体协议实例；停止生成与清客户端缓冲仍是另外的控制动作，这些字段也不是行业统一标准。
麦克风和扬声器同时开启只是 full-duplex media（全双工媒体）；系统还要区分扬声器回灌、旁人说话、用户 backchannel（“嗯”“对”式短反馈）和真正夺回轮次。没有 speaker / echo / turn 证据，VAD 一响就停会让助手频繁自我打断。
论文首包、服务端首包和用户听见第一声，不是同一个终点
本文把 Time to First Audio（TTFA，首段音频时间）限定为“从约定起点到首个音频包”；若要表达用户体验，应另报 audible start（设备真正开始出声）。测量前必须写清起点是首个输入包、用户停止说话，还是 endpoint 决策。
输入前缀：首个转写 token
说明识别器开始产生 provisional（可修订）文字的时间。它不能代替 endpoint：用户可能仍在说，最后的否定词也可能推翻先前意图。
用户停止 → endpoint：endpoint lag
User-Perceived Latency（UPL，用户感知 ASR 延迟）研究把它与 decoder catch-up lag（解码追赶延迟）分开；在其受控设置中 endpoint lag 占到 UPL 的至少一半。结论说明优化 RTF 不能替代优化轮次，不是所有产品的固定比例。
endpoint → 首个回复文字
这是理解、检索、工具和语言模型形成安全可说前缀的耗时。高风险动作不能为了首字更快而在意图仍可被后文否定时提前执行。
首个回复文字 → 首个音频包
包括 TTS / Talker 的文本等待、音频 token 生成、Codec 或 vocoder 首块。流式系统可重叠这些阶段，但仍要防止过短前缀造成错误韵律和频繁重启。
音频包 → audible start
下行网络、jitter buffer（抖动缓冲）、解码、操作系统音频队列和硬件共同决定用户何时听到。服务端已经返回首包，不代表设备已播放。
有效打断 → 扬声器停止
stop latency（停止延迟）常比 TTFA 更影响“抢话感”。要从轮次管理器确认有效 barge-in 开始，量到客户端播放游标停止，并检查旧 epoch 的迟到包不会重新响起。
理论 160 ms，L4 实践低至约 200 ms
发布方把 80 ms Mimi frame 与约 80 ms 声学延迟组成理论值，并在官方实现中报告 L4 GPU 上实践可低至约 200 ms。这是特定模型 / 客户端实现，不含任意网络、设备和端点策略的通用 SLA。
音频首包 234 / 728 / 1,172 ms
技术报告在其内部典型资源、vLLM、torch.compile 与 CUDA Graph 条件下，报告单并发、4 并发、6 并发分别约 234、728、1,172 ms；数字是“theoretical end-to-end first-packet”，不是跨产品排行榜。
Flash 235 / 298 / 352 ms
报告的音频首包在并发 1 / 4 / 8 时，Flash 为 235 / 298 / 352 ms，Plus 为 435 / 619 / 955 ms。版本、模型规模和报告栈都不同，不能与 Moshi 或 Qwen3 的数字直接做快慢结论。
Real-Time Factor（RTF，实时因子）小于 1，只说明平均处理速度追得上音频
10 秒音频用 5 秒处理，RTF 为 0.5；但系统仍可能先等用户说完 10 秒才开始，也可能被 700 ms endpoint、网络抖动或播放器缓冲拖慢。容量看 RTF / 吞吐，交互看逐段时钟，两本账都要有 P50、P95 和并发条件。
低延迟只是“能快说”，轮次评测才回答“该不该说”
Full-Duplex-Bench 把行为拆成 pause handling（停顿处理）、backchanneling（短反馈）、smooth turn-taking（平滑接轮）和 user interruption（用户打断）四维；HumDial-FDBench 又把中英双语、拒绝旁人 / 非目标语音与恢复加入挑战。二者都比单一首包更接近真实交互，也都有数据与自动裁判边界。
英语、五个子集、四类行为
216 个 Candor pause、119 个 Candor turn、55 个 ICC backchannel、200 个合成 interruption 与 137 个合成 pause，共 727 个样本。部分转写来自 NVIDIA Parakeet，打断语义评分使用 GPT-4o；作者也说明指标是描述性而非人类偏好真值。
Moshi 的反例很直观
在该论文表格的具体 harness 中，Moshi 平滑接轮延迟约 0.265 秒，却在合成停顿集出现 0.985 的 Take-Over Rate（TOR，接管率）：约 98.5% 的输出被判为既非静音、也非 backchannel 的夺轮语音。它证明“快”与“不抢话”必须分测，不证明所有 Moshi 部署都如此。
中英双语、人类录音，但并非自然闲聊
数据由专业演员录制双通道音频，覆盖打断与拒绝场景；对话脚本由模型生成，因此“human-recorded”不等于自发对话。最终评测还依赖 ASR 和 DeepSeek-V3 自动判断，适合作为回归集，不是用户研究替代品。
停顿：别把思考、呼吸和句内停顿当交棒
按停顿长度、句法位置、语言、噪声和用户群分桶；同时报告抢话率与等待时长。只降低一个固定静音阈值会在两项之间来回摆。
Backchannel：短反馈不能夺走用户轮次
“嗯”“明白”可提升自然度，却要控制频率、时机、音量和可取消性。它应是独立动作类型，不应让对话状态机误以为模型完成了一次完整回答。
打断与恢复：停播后还要接得上
分别测检测率、误打断率、stop latency、旧包复活、恢复时引用了多少已播放内容，以及被打断的业务动作究竟未发出、成功、失败还是结果未知。
说话人拒绝：声音活动不一定面向助手
电视、扬声器回灌、旁人和用户对别人说话都可能触发 VAD。专门的 speaker / address 判定可以降误响应，但涉及声纹时必须把相似度、认证和反欺骗拆开。
“帮我退款……算了，只查物流”怎样不被流式前缀带偏
这句话同时包含停顿、意图修正、可撤销的检索和不可轻率执行的退款。关键不是让模型猜对一次，而是让每个中间状态都只获得与确定性相匹配的权限。
客户端建立采集与同意会话
界面持续显示收音状态，提供静音 / 结束 / 删除入口；每个音频块带 session_id、seq、capture_ts。记录实际启用的 AEC / NS / AGC 与设备类型，丢包只标缺口，不用静音伪装完整输入。
转写分 provisional 与 final
“帮我退款”先形成可修订前缀和候选意图；服务端可预取当前用户有权查看的订单，但不提交退款。后续“算了”到来时，旧前缀被 revision 事件替换，不能悄悄覆盖审计轨迹。
轮次管理器签发新的 turn epoch
当 endpoint 证据足够，创建本轮输入快照、endpoint reason 和 epoch。模型只基于这个快照生成回复；迟到的旧音频、旧回复包和旧取消信号不能跨 epoch 污染当前轮次。
先说安全可说前缀，工具动作另走授权
助手可以流式说“我先帮你查物流”，同时调用只读查询；退款必须有最终意图、对象级权限、准确金额 / 订单和显式确认。声音自然度或模型置信度都不授予业务权限。
Barge-in 只清未播放队列
用户再次开口时，轮次管理器发 cancel(output_item, epoch)；服务端停止生成，客户端返回最后 played cursor。对话历史保留已经播放给用户的语句，避免下一轮假装用户从未听过。
审计账只留必要证据
保存同意状态、音频哈希 / 必要片段、seq 缺口、转写修订、endpoint reason、模型 / Codec 版本、output item、played cursor、取消和工具 receipt；原始声音、派生文字与声纹特征分别设访问权和保留期。
识别、听感、轮次、系统与安全必须各自有失败样本
一个总分会掩盖最危险的补偿：更激进的端点让延迟变好，却截掉句尾；更像目标说话人的声音让相似度变好，却扩大冒充风险；更长播放缓冲让音频更稳，却让打断停不下来。
WER / CER 之外还有实体与时间
NIST 的 Word Error Rate（WER，词错误率）为 (替换 S + 删除 D + 插入 I) / 参考词数 N。中文可补 Character Error Rate（CER，字错误率）；业务还要测姓名、金额、否定词、说话人归属、时间戳和 provisional 修订稳定性。
MOS / MUSHRA 要写清对象
Mean Opinion Score（MOS，平均主观评分）源于 ITU-T P.800 的主观传输质量方法；MUSHRA 全称 Multi Stimulus Test with Hidden Reference and Anchor（带隐藏参考和锚点的多刺激测试），适合比较中间质量音频。两者都要说明听音设备、语言、样本、参考、盲法和置信区间。
六时钟 + 四类行为
报告首个转写、endpoint、首个回复文字、首包、audible start、stop latency 的 P50 / P95；再测 pause、backchannel、turn-taking、interruption / resume、旁人拒绝和旧包复活。
在抖动、丢包与并发下重测
固定模型 / 硬件 / 精度 / Codec / 客户端版本，分 Wi-Fi / 蜂窝、近讲 / 远场、并发和地域。除 RTF 还看 underrun、重连、epoch 隔离、每分钟音频成本、峰值显存与能耗。
声音相似不等于身份认证
说话人 similarity、Automatic Speaker Verification（ASV，自动说话人验证）和 spoof detection（欺骗检测）是不同任务。ASVspoof 5 面向独立 TTS / Voice Conversion 深度伪造检测，以及 spoofing-robust ASV（SASV）；Physical Access 重放要另用 ASVspoof 2021 PA 或真实设备重放集。任何高风险身份决策仍需专用认证、活体 / 反重放与失败回退。
录音和工具副作用单独过门
验收收音指示、撤回、删除、最小保留、访问审计、声音克隆授权与输出标识；退款、外呼、付款等动作同时测确认绑定、幂等、结果未知对账和人工升级。
同一意图至少跨声音、网络和对话状态三条轴
声音轴放安静近讲、街噪、远场、重叠和另一说话人；网络轴放正常、抖动、丢包、断线重连；状态轴放句内停顿、说到一半改口、模型播放时打断、工具已发出但结果未知。每次发布保存完整媒体 / 控制事件和人工复核样本，才能定位是模型、端点、客户端还是业务状态机退化。
模型报告能解释机制，产品承诺必须从真实端到端链路重测
Qwen2.5-Omni、Qwen3-Omni 与 Qwen3.5-Omni 的 Talker、Codec 与首包设置不同；Moshi、Seamless 与 CosyVoice 2 又分别面向双流对话、流式翻译和流式 TTS。本文保留各自版本，不把后代结构倒灌前代，也不把开放权重、研究代码与托管 API 混为同一服务。
论文 / 官方仓库中的毫秒、RTF、TOR、WER 和主观分数只适用于其硬件、并发、输入、测量起终点与 harness。跨系统比较前要对齐客户端、网络、端点、Codec、并发和 audible start；未对齐数字只用于理解量级。
音频模型能描述情绪、场景或说话人相似性，不等于可靠识别心理状态、真实事件或身份；端到端 S2S 能保留更多线索，也会让中间证据更难观察。高风险结论需要专用评测、其他传感证据与人工复核。
语音同时携带内容、身份、生理与环境线索。工程上应做到明确收音指示、目的限制、数据最小化、分级保留、可撤回与可删除；具体录音、克隆、跨境与生物识别义务取决于法域和场景，本页不是法律意见。
一手来源与证据边界
优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置，不自动外推到其他模型与数据。
Whisper 的 16 kHz、80 通道 Log-Mel、25 ms 窗 / 10 ms 步长、30 秒输入窗口与长音频分段边界。
EnCodec 的流式 Encoder–Decoder、RVQ、24 / 48 kHz 配置、帧率、码本与码率口径。
semantic、coarse acoustic、fine acoustic token 的分层生成路线；不外推为所有 Codec 的统一结构。
并行用户 / 模型音频流、Inner Monologue、Mimi Split RVQ 与延迟构成。
Mimi 24 kHz、12.5 Hz、8 个码本且每码本 2,048 项、1.1 kbps，以及理论 160 ms / L4 实践低至约 200 ms 的发布方口径。
2 秒音频块、Thinker–Talker、TMRoPE、双轨 Talker 与滑窗 Flow-Matching DiT 解码路线。
12.5 Hz 多码本、MTP、因果 Code2Wav，以及单并发 / 多并发首包与 RTF 的报告配置。
ARIA 自适应文字—语音交织、Hybrid Attention MoE 与 Flash / Plus 不同并发下的报告首包口径。
EMMA 单调注意力、直接流式 S2ST / S2TT，以及 Average Lagging、Ending Offset 与表达性评测。
RNN-T 在线序列转导的基本建模思想，用于区分真正增量识别与离线窗口包装。
UPL、endpoint lag、decoder catch-up lag，以及 RTF / FLOPs 不能替代用户感知延迟的证据。
VAD 与词尾 / 端点信号组合、端点等待和识别删除错误之间的取舍。
流式文本—语音 token 交织、25 Hz 监督语音 token、chunk-aware Flow Matching 与流式 / 离线统一。
727 个英语样本、停顿 / backchannel / 轮次 / 打断四维评测、TOR 与自动裁判边界。
超过 100 小时中英双语双通道人类录音、打断 / 拒答 / 延迟任务与自动裁判口径。
echoCancellation、noiseSuppression、autoGainControl、latency 等采集约束，以及用户代理持续显示设备使用状态的建议。
WER = (Substitution + Deletion + Insertion) / reference words 的官方评测口径。
语音传输质量主观测试与 MOS 的标准来源和适用边界。
MUSHRA 中间质量音频主观评测方法；不把单一自动分当作完整听感。
TTS / Voice Conversion 深度伪造检测与 spoofing-robust ASV（SASV）两条赛道，支持“声音相似不等于身份认证”的边界。
真实物理环境中的 Physical Access（PA）重放评测；提醒工程验收另建真实设备 / 房间 / 播放链路的反重放集。
conversation.item.truncate 以 audio_end_ms 同步客户端已播放位置，是“播放游标 + 截断未听内容”的一个具体协议实例。