有道子曰4-R2T2登顶HF热榜：ASR下载量达20万，技术报告已上arXiv

9月21日开源，才过4天，网易有道的子曰 Confucius4-R2T2 就冲上了 Hugging Face 自动语音识别（ASR）热榜首位。眼下，这个模型连同各个量化版本，全球累计下载量已经到 20 万次。

社区围绕 R2T2 做了不少事：推出量化版本，适配不同运行环境，让更多开发者能上手体验高质量的实时语音转写。近日，Confucius4-R2T2 的技术报告也登上了论文预印本平台 arXiv。

这份热度背后，其实是实时语音应用对“快、准、稳”的共同诉求。

实时字幕、同声传译、语音智能体这些场景，要的不只是识别准确，还得及时、稳定。一段文字已经交给下游处理，若随后又被改写，字幕会跳动，译文要重写，推理也可能重复。所以 R2T2 盯的不光是“识别出了什么”，还有一个同样要害的问题：一句话还没说完，哪些字已经能提交？

提交太早，信息不全容易出错；等得太久，后面的翻译和交互又被拖慢。R2T2——Real Real-Time Transcription——就是冲着这个矛盾来的：让模型学会在证据够的时候交字，信息不足时接着等，而已经交出去的文本不再改动。

报告用最长稳定前缀监督、显式等待和流式提交策略，把“何时输出”塞进模型的学习与推理过程，试着在不回改已提交文本的前提下，同时兼顾识别质量和输出速度。

最长稳定前缀（LSP）：把“何时提交”纳入训练

R2T2 是在 Qwen3-ASR-1.7B 基础上做的，模型架构没动，靠约 1500 小时中英文音频的后训练，学会流式识别和稳定提交。

核心方法叫 Longest Stable Prefix，也就是最长稳定前缀，简称 LSP。

普通的语音识别训练数据一般只给“音频—完整文本”配对，并不会直接告诉模型：听到哪个时间点，哪些字已经够稳、可以马上交。

为此，R2T2 造出了部分音频下的监督信号：先用同一个基础模型识别完整音频，拿到参考输出，再以 80ms 为间隔逐步喂入音频前缀，把每个时刻的识别结果记下来。

到某个时间点，LSP 取的是这样一段文本：截至当下，模型曾完整输出过、并且整体与完整音频输出的开头对得上的最长那一段。

这意味着，训练标签得来自模型真的产出过的一次完整识别结果，不能从尾部带错的结果里随便截一段。音频继续增加时，已经定下的 LSP 也不会因为后面某次识别波动而变短。

拿“I have two cats”来说，系统只听到部分音频时，可能把“two”听成“to”或“too”；音频再多来一些，正确说法才慢慢清楚。LSP 的构造过程是这样的：

“I have”已经和完整参考对上，就能当作稳定前缀。后面识别在“to”“too”之间摇摆时，保留已确定的前缀，不确定的续写先压着。等更多音频进来，再把稳定前缀扩到“I have two”，直到整句完成。

为了表达“还得接着听”，R2T2 引入了显式的 WAIT 行为。训练时，落在稳定区间内的音频截断位置，用来监督稳定文本输出；落在区间间隙里的位置，则在稳定前缀后头加上 WAIT，教模型停掉当前轮生成，等更多音频。

这样一来，模型同时学两件事：现在听到了什么，以及现在能交到哪儿。

报告还从理论上说明了 LSP 的性质：它随音频推进保持前缀单调增长，在完整音频处与参考输出一致，并且在满足上述约束的候选标签里具有最大性。至此，“何时输出”有了明确的训练目标。

R2T2 的训练分监督微调和强化学习两个阶段。两阶段都冻结音频编码器与投影层，只更新语言解码器参数，保住预训练的声学表征及其映射，把适配重点放在识别输出和提交时机上。

第一阶段，学稳定前缀与 WAIT。

监督微调帮模型适应部分音频输入，学会什么时候吐字、什么时候接着等。训练中 90% 的样本用音频前缀截断，剩下 10% 保留完整音频与完整转写，让模型在学流式行为的同时，继续接受完整转写任务的监督。

第二阶段，进一步打磨识别与等待行为。

在监督微调的基础上，R2T2 用 GRPO 强化学习，通过多轮流式生成，评估模型随着新音频到来该怎么接着输出。奖励综合考量识别准确性、冗余内容、长度、重复、语言一致性、尾部续写、局部词级匹配，以及 WAIT 标记的位置等因素。

这些设计针对的正是实时场景里常碰到的毛病：把没说的字也生成出来、内容反复重复、尾巴补得过头，或者把转写做成了翻译。训练时还加入了噪声、混响和纯噪声负样本，让模型适应复杂的声学环境；另有一些样本会改掉语言标签、转写目标保持不变，逼着模型更多去看实际的音频内容。模型得在文字发布之前就做出判断，所以训练里很看重两件事：少犯过早提交的错，别生成没有音频依据的内容。

从训练走到推理，R2T2 还要把这种能力落到持续运行的语音系统里。训练给的是识别与等待的行为底子，推理阶段则靠提交策略保证已经发布的文本不再变动。报告还配合了缓存复用、有界上下文和暂定尾部验证，减少流式更新中的重复计算；音频块大小和暂定尾部长度则可调，供不同应用在质量与延迟之间做选择。这些选择带来什么表现，下面的实验会给出答案。

实验表现：稳定提交约束下的识别质量

主评估覆盖 8 个英文测试集和 5 个中文测试集，场景包括朗读、会议、演讲以及真实同传语音。英文看词错误率 WER，中文看字错误率 CER，数值越低说明识别错得越少。

识别质量这块，R2T2 给出两种推理配置。质量优先（U=1）会把末尾 1 个 token 暂留在模型内部，等后续音频进来再一起判断，然后才对外提交；低延迟（U=0）不保留这段暂定尾部，更看重早一点输出。两种配置对外都只给已提交的文本，提交过的内容一律不回改。结果如下：

13 个主测试集上，质量优先配置的综合宏平均错误率为 5.76%，低于 X-ASR 的 8.97%，也低于报告评测的三款商业 API。按报告的评测设置，这一配置在全部 13 个主测试集上的识别错误率，都低于参与排名的其他开源流式模型配置。综合宏平均是把各测试集的 WER 或 CER 百分比等权取平均；完整音频和 2 秒音频块的基础模型配置只作参考，不进排名。

基础模型同样用 160ms、U=1 配置时，综合宏平均错误率是 21.01%，R2T2 把它压到了 5.76%，与基础模型完整音频识别结果的差距只剩约 0.6 个百分点。针对性的后训练确实能明显改善小音频块下的识别表现，让稳定的流式输出逼近完整音频识别的质量。

再看文字什么时候能稳定输出。

160ms 音频块、低延迟配置（U=0）下，R2T2 的中文和英文平均回溯输出延迟分别约为 0.53 秒和 0.42 秒。质量优先配置提交得稍晚一些，识别错误率因此更低，中文和英文的平均延迟分别约为 0.75 秒和 0.76 秒。

换成 80ms 音频块、U=0 时，两种语言的平均回溯输出延迟都不到 0.5 秒，识别质量上则要作一定让步。同一个模型不用重新训练，就能按应用需求调整质量与输出速度。

最后看能力能不能迁移到更多语言。后训练只用了中英文数据，但在另外 10 种语言的 18 个测试集上，R2T2 在相同的 160ms、U=1 设置下识别错误率都低于基础模型。流式识别能力的提升，能迁移到后训练语言之外。

识别质量、输出延迟、跨语言迁移，这几项结果放在一起，展示了 R2T2 的技术价值：已提交文本保持不变，实时语音应用却能更早拿到准确、可持续使用的增量输入。

从实时转写，走向更多语音应用

稳定的增量文本，是实时语音应用把声音接到后续处理上的重要基础。字幕与听写里，它能减少已提交文字反复修改带来的阅读干扰；同声传译里，它给下游翻译提供持续增长的稳定内容；语音助手与智能体里，理解和处理可以更早开始，不必等整句转写完成。

开源之后，社区围绕 R2T2 做量化、适配运行环境，模型的用法也多了起来。从本地实时听写到不同场景下的评测与应用开发，社区的探索让模型在更多真实环境中得到验证，也给后续优化带回反馈。

在网易有道的子曰模型矩阵里，R2T2 承担的是实时语音识别这一块。目前该矩阵已覆盖多模态理解与推理、实时语音识别、流式翻译、语音生成几个方向，对应模型不止一款。

• 其中 Confucius4 是多模态模型，主攻视觉理解与数理推理，能同时结合文本和图像做问题分析与求解。

• Confucius4-R2T2 负责实时语音识别，把连续到来的语音转成稳定的增量文本，实时字幕、同传和语音交互都靠它提供输入。

• Confucius4-T3PO 面向流式翻译，会随着文本不断输入，动态判断是接着等还是先出译文；它还能和 R2T2 串联起来，支撑语音同传场景。

• Confucius4-TTS 做语音合成，可生成 14 种语言的语音，也支持无需参考音频转写文本的音色克隆，多语言语音表达因此有了支撑。

这几款模型合起来，为开发者提供了“听、理解、翻译、表达”一整套能力。网易有道方面表示，希望与社区一起探索实时语音技术的更多可能。