Rumble-2-Flash:0.5B参数语音模型,40种语言实时转录
Reson8开源了Rumble-2-Flash,这是一个仅0.5B参数的语音识别模型,支持40多种语言。它在准确率上媲美大它几十倍的模型,且在真实电话录音测试中表现优异,推理速度极快,原生兼容Hugging Face Transformers和vLLM,无需自定义代码即可部署。
小模型也能打:Rumble-2-Flash 正式开源
在语音识别领域,大家通常有个刻板印象:想要高准确率,就得堆参数、上大模型。毕竟,处理复杂的口音、背景噪音和多语言切换,对算力的要求一直不低。
但 Reson8 团队最近开源的 Rumble-2-Flash 有点反直觉。这是一个只有 0.5B(5亿)参数的语音识别模型,却声称能在 40 多种语言上,跑出媲美那些比它大 3 到 60 倍模型的效果。
更关键的是,它不是那种只能在特定硬件或定制框架里跑的“实验室玩具”。它基于 Apache 2.0 协议开源,原生支持 Hugging Face Transformers 和 vLLM。这意味着,如果你现有的技术栈能跑通常规的 Transformer 模型,那你几乎不需要改任何代码,就能把 Rumble-2-Flash 集成进去。
为什么是 0.5B?
Reson8 之前有一个更大的生产级模型叫 Rumble-2。这次发布的 Flash 版本,其实是通过对大模型进行“蒸馏”得到的。
传统的模型蒸馏,通常是让老师模型(大模型)生成标注数据,然后让学生模型(小模型)去死记硬背这些标注。但 Reson8 用了一种叫“在线策略蒸馏”(on-policy distillation)的方法。
在这个过程中,学生模型不是直接抄老师的作业,而是自己先试着听写音频。然后,老师模型会对学生的每一个输出 token 进行打分和纠正。简单来说,学生模型是在“实战”中学习,哪里错了改哪里,而不是仅仅记住最终答案。
这里有个技术难点:老师模型和学生模型的词表(tokenizer vocabulary)通常不一样。如果词表对不上,就没法逐个 token 比较概率。
为了解决这个问题,他们引入了一种叫 GOLD 的技术。GOLD 能合并两个不同词表中分割方式不同的 token,确保老师和学生在同一段文本上进行比较。对于两个词表都有的 token,直接比较概率;对于没有的,则通过排序后的概率分布来对齐。
这种做法的好处是,小模型学到的不是僵化的规则,而是更接近人类直觉的概率判断。这也是为什么一个 0.5B 的小模型,能在准确率上没有出现断崖式下跌的原因。
准确率:以小博大
在 Hugging Face 的 Open ASR Leaderboard 多语言测试中,Rumble-2-Flash 的表现确实有点出乎意料。
测试涵盖了中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语。Rumble-2-Flash 的平均错误率(WER)是 6.96%。
这个数字是什么概念?
Meta 的 omniASR-LLM 7B 模型,参数量是它的 15 倍,但表现并没有拉开明显差距。甚至在一些场景下,Rumble-2-Flash 还跑赢了著名的 Whisper large-v3。
在纯英文测试轨道上,它的平均 WER 是 6.6%。对于一个只有 5 亿参数的模型来说,这个精度已经非常接近当前业界的 SOTA(State of the Art)水平。
速度:半小时音频半秒搞定
除了准,它还快。
语音识别模型在实际落地时,吞吐量(throughput)是个硬指标。特别是在处理大批量音频文件时,如果推理速度慢,成本会直线上升。
Rumble-2-Flash 在批次满载的情况下,推理速度超过 7,000 RTFx(Real Time Factor)。换算成直观的时间,处理一小时的音频,大概只需要半秒钟。
这种速度优势,主要得益于它小巧的体积和对主流推理框架的原生支持。你不需要为了加速而去折腾复杂的算子优化或定制内核,直接用 vLLM 或 Transformers 就能吃到红利。
真实场景:电话录音才是试金石
很多模型在干净的录音室音频上表现完美,一到真实场景就“露馅”。
电话录音是语音识别的噩梦:音频被压缩过,带宽窄,背景有噪音,说话人可能有浓重口音,甚至还会打断对方。
Reson8 拿 AppTek 的一个呼叫中心基准数据集做了测试。这个数据集包含 302 小时的客服热线录音,涉及 14 种不同的英语口音。
结果如下:
- Rumble-2-Flash (0.5B): WER 7.86%
- NVIDIA Nemotron 3.5 Transcribe (30B): WER 7.78%
- Qwen3-ASR 0.6B: WER 8.7%
- Qwen3-ASR 1.7B: WER 7.4%
可以看到,Rumble-2-Flash 的表现几乎追平了 NVIDIA 那个 300 亿参数的大模型。虽然 Qwen3-ASR 1.7B 略胜一筹,但考虑到 Rumble-2-Flash 只有 0.5B 参数,这个性价比是非常高的。
这也说明,通过高质量的蒸馏和架构优化,小模型在抗噪和处理复杂口音方面,并不一定输给大模型。
功能细节:不只是转文字
除了核心的识别能力,Rumble-2-Flash 还提供了一些实用的控制选项,方便开发者根据业务需求调整输出:
- 自动语言检测:支持 40 多种语言,可以自动识别音频中的语种,也可以强制指定语言。
- 数字格式控制:可以选择将数字输出为阿拉伯数字(如 "123")还是单词(如 "one hundred twenty-three")。这在金融、地址等场景下很有用。
- 填充词处理:可以选择保留或过滤掉 “um”、“uh” 等填充词。
- 逐字重复:支持输出说话人的重复内容,适合需要完整记录对话场景。
如何上手
如果你想在本地试试,只需要几行代码。
首先安装依赖:
uv pip install torch transformers accelerate然后加载模型并运行:
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
# 准备输入,可以传入本地路径、URL 或 NumPy 数组
inputs = processor.apply_transcription_request(
audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
language="English", # 省略此参数可自动检测语言
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])目前,模型权重已经上传到 Hugging Face Hub,地址是 Reson8/Rumble-2-Flash。Reson8 也提供了 API 服务,方便不想自己部署的团队直接调用。
写在最后
Rumble-2-Flash 的出现,再次印证了一个趋势:在垂直领域,经过精心蒸馏和优化的小模型,正在成为更具性价比的选择。
对于大多数应用来说,我们并不需要一个大模型去理解宇宙真理,只需要它准确、快速地把语音变成文字。在这个目标下,0.5B 的 Rumble-2-Flash 提供了一个非常务实的解决方案。
当然,它也有局限性。比如在极度嘈杂的环境或极其罕见的方言上,可能还是大模型更稳健。但对于通用的多语言转录任务,尤其是需要高吞吐量的场景,它值得被纳入你的技术选型列表。
Reson8 团队也在 Hugging Face 的讨论区开放了反馈渠道。如果你在使用过程中发现了什么有趣的案例,或者有什么改进建议,不妨去聊聊。开源社区的魅力,往往就藏在这些真实的反馈里。