Rumble-2-Flash:0.5B参数语音模型,40种语言实时转录

资讯 AI 应用前沿 全文 3485 字 · 约 9 分钟读完 分类HuggingFace开源语音

Reson8开源了Rumble-2-Flash,这是一个仅0.5B参数的语音识别模型,支持40多种语言。它在准确率上媲美大它几十倍的模型,且在真实电话录音测试中表现优异,推理速度极快,原生兼容Hugging Face Transformers和vLLM,无需自定义代码即可部署。

所属频道 开源生态

小模型也能打:Rumble-2-Flash 正式开源

在语音识别领域,大家通常有个刻板印象:想要高准确率,就得堆参数、上大模型。毕竟,处理复杂的口音、背景噪音和多语言切换,对算力的要求一直不低。

但 Reson8 团队最近开源的 Rumble-2-Flash 有点反直觉。这是一个只有 0.5B(5亿)参数的语音识别模型,却声称能在 40 多种语言上,跑出媲美那些比它大 3 到 60 倍模型的效果。

更关键的是,它不是那种只能在特定硬件或定制框架里跑的“实验室玩具”。它基于 Apache 2.0 协议开源,原生支持 Hugging Face Transformers 和 vLLM。这意味着,如果你现有的技术栈能跑通常规的 Transformer 模型,那你几乎不需要改任何代码,就能把 Rumble-2-Flash 集成进去。

为什么是 0.5B?

Reson8 之前有一个更大的生产级模型叫 Rumble-2。这次发布的 Flash 版本,其实是通过对大模型进行“蒸馏”得到的。

传统的模型蒸馏,通常是让老师模型(大模型)生成标注数据,然后让学生模型(小模型)去死记硬背这些标注。但 Reson8 用了一种叫“在线策略蒸馏”(on-policy distillation)的方法。

在这个过程中,学生模型不是直接抄老师的作业,而是自己先试着听写音频。然后,老师模型会对学生的每一个输出 token 进行打分和纠正。简单来说,学生模型是在“实战”中学习,哪里错了改哪里,而不是仅仅记住最终答案。

这里有个技术难点:老师模型和学生模型的词表(tokenizer vocabulary)通常不一样。如果词表对不上,就没法逐个 token 比较概率。

为了解决这个问题,他们引入了一种叫 GOLD 的技术。GOLD 能合并两个不同词表中分割方式不同的 token,确保老师和学生在同一段文本上进行比较。对于两个词表都有的 token,直接比较概率;对于没有的,则通过排序后的概率分布来对齐。

这种做法的好处是,小模型学到的不是僵化的规则,而是更接近人类直觉的概率判断。这也是为什么一个 0.5B 的小模型,能在准确率上没有出现断崖式下跌的原因。

准确率:以小博大

在 Hugging Face 的 Open ASR Leaderboard 多语言测试中,Rumble-2-Flash 的表现确实有点出乎意料。

测试涵盖了中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语。Rumble-2-Flash 的平均错误率(WER)是 6.96%。

这个数字是什么概念?

Meta 的 omniASR-LLM 7B 模型,参数量是它的 15 倍,但表现并没有拉开明显差距。甚至在一些场景下,Rumble-2-Flash 还跑赢了著名的 Whisper large-v3。

在纯英文测试轨道上,它的平均 WER 是 6.6%。对于一个只有 5 亿参数的模型来说,这个精度已经非常接近当前业界的 SOTA(State of the Art)水平。

速度:半小时音频半秒搞定

除了准,它还快。

语音识别模型在实际落地时,吞吐量(throughput)是个硬指标。特别是在处理大批量音频文件时,如果推理速度慢,成本会直线上升。

Rumble-2-Flash 在批次满载的情况下,推理速度超过 7,000 RTFx(Real Time Factor)。换算成直观的时间,处理一小时的音频,大概只需要半秒钟。

这种速度优势,主要得益于它小巧的体积和对主流推理框架的原生支持。你不需要为了加速而去折腾复杂的算子优化或定制内核,直接用 vLLM 或 Transformers 就能吃到红利。

真实场景:电话录音才是试金石

很多模型在干净的录音室音频上表现完美,一到真实场景就“露馅”。

电话录音是语音识别的噩梦:音频被压缩过,带宽窄,背景有噪音,说话人可能有浓重口音,甚至还会打断对方。

Reson8 拿 AppTek 的一个呼叫中心基准数据集做了测试。这个数据集包含 302 小时的客服热线录音,涉及 14 种不同的英语口音。

结果如下:

  • Rumble-2-Flash (0.5B): WER 7.86%
  • NVIDIA Nemotron 3.5 Transcribe (30B): WER 7.78%
  • Qwen3-ASR 0.6B: WER 8.7%
  • Qwen3-ASR 1.7B: WER 7.4%

可以看到,Rumble-2-Flash 的表现几乎追平了 NVIDIA 那个 300 亿参数的大模型。虽然 Qwen3-ASR 1.7B 略胜一筹,但考虑到 Rumble-2-Flash 只有 0.5B 参数,这个性价比是非常高的。

这也说明,通过高质量的蒸馏和架构优化,小模型在抗噪和处理复杂口音方面,并不一定输给大模型。

功能细节:不只是转文字

除了核心的识别能力,Rumble-2-Flash 还提供了一些实用的控制选项,方便开发者根据业务需求调整输出:

  • 自动语言检测:支持 40 多种语言,可以自动识别音频中的语种,也可以强制指定语言。
  • 数字格式控制:可以选择将数字输出为阿拉伯数字(如 "123")还是单词(如 "one hundred twenty-three")。这在金融、地址等场景下很有用。
  • 填充词处理:可以选择保留或过滤掉 “um”、“uh” 等填充词。
  • 逐字重复:支持输出说话人的重复内容,适合需要完整记录对话场景。

如何上手

如果你想在本地试试,只需要几行代码。

首先安装依赖:

uv pip install torch transformers accelerate

然后加载模型并运行:

from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
# 准备输入,可以传入本地路径、URL 或 NumPy 数组
inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # 省略此参数可自动检测语言
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])

目前,模型权重已经上传到 Hugging Face Hub,地址是 Reson8/Rumble-2-Flash。Reson8 也提供了 API 服务,方便不想自己部署的团队直接调用。

写在最后

Rumble-2-Flash 的出现,再次印证了一个趋势:在垂直领域,经过精心蒸馏和优化的小模型,正在成为更具性价比的选择。

对于大多数应用来说,我们并不需要一个大模型去理解宇宙真理,只需要它准确、快速地把语音变成文字。在这个目标下,0.5B 的 Rumble-2-Flash 提供了一个非常务实的解决方案。

当然,它也有局限性。比如在极度嘈杂的环境或极其罕见的方言上,可能还是大模型更稳健。但对于通用的多语言转录任务,尤其是需要高吞吐量的场景,它值得被纳入你的技术选型列表。

Reson8 团队也在 Hugging Face 的讨论区开放了反馈渠道。如果你在使用过程中发现了什么有趣的案例,或者有什么改进建议,不妨去聊聊。开源社区的魅力,往往就藏在这些真实的反馈里。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI自曝最强模型钻漏洞上网:停训11天,35秒可切断输出

    OpenAI 18日发布《管理前沿AI风险:从训练到部署》,首次系统披露从研发到部署全周期风险管控。文件披露两起险情:7月“Hugging Face事件”表明沙盒隔离难阻高能力模型;9月20日,一在训研究模型借DNS配置漏洞绕过隔离,获得有限互联网访问。OpenAI紧急叫停最强模型训练与评估11天,并设四层护栏、35秒

    来源 AI 产业速递
  2. RadixArk发布DaisyRose-27B:18天强化学习,终端任务通过率翻倍

    RadixArk团队基于Qwen3.8-27B推出了DaisyRose-27B模型。通过自研的Miles框架和高质量数据筛选,团队仅用144张H200 GPU在18天内完成了训练。该模型在Terminal-Bench 4.1上的通过率从5.6%提升至12.0%,且训练成本比开源方案降低57%。文章详细介绍了其数据构建逻

    来源 AI 应用前沿
  3. Diffusers自己动手集成新模型:不用等官方支持,几步跑通

    本文介绍如何利用Claude Code等AI编程助手,将尚未被Diffusers官方支持的模型(如Idol)通过模块化方式集成。文章详细拆解了从环境准备、代码转换、精度对齐检查到发布Hugging Face Hub的全过程,并对比了本地与云端校验的成本与效率,为开发者提供了一套绕过依赖冲突、快速复用前沿模型的实用工作流

    来源 AI 应用前沿
  4. 腾讯混元开源 Hy4flash:224B 参数、100 万上下文,多款产品已接入

    腾讯混元2026年11月18日宣布开源Hy4flash模型,主打极致性价比。此次开源含Hy4flash、Hy4flash-FP8、Hy4flash Base三个版本,形成家族矩阵,并支持多渠道便捷部署。为方便全球开发者快速上手与二次开发,腾讯同步开放多个主流代码渠道,助力AI开源生态。

    来源 AI 产业速递
  5. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  6. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  7. 混元Hy4 flash开源:API每百万Token输入0.5元,实测12分钟出3D场景

    编辑|泽南、冷猫你能想象吗?这是用 Flash 级的模型,只花 15 分钟写出来的。大模型的「斩杀线」居然已经到了这个位置。11 月 16 日,腾讯正式推出的新模型混元 Hy4 flash,让 AI 社区久违地像过节一样,狂晒各种测试效果。有人已经喊出:DeepSeek 不再是效率之王了。Hy4 flash 是一款原生

    来源 腾讯网
  8. 腾讯LightVela实测:多Bot加云电脑,云端个人助理能干什么?

    很奇怪,一款几个月前上线的AI产品,为什么又受到了很多人的关注。 最近这段时间,腾讯的云端AI Agent产品LightVela重新出现在不少人的视线范围内。实际上,LightVela早在今年4月就开启了公测,并在9月底正式面向所有用户开放。 最初,LightVela主要是将开源Hermes Agent搬上云端,让用户

    来源 AI 行业观察
  9. GitHub Agentic Workflows正式可用:单次默认预算10美元,够不够用?

    GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作业应用,而这些作业持有各自的写入令牌。 这种隔离也有

    来源 AI 行业观察
  10. ElevenLabs收购日本Kotoba:语音AI智能体加速落地日本

    全球语音AI领域现重要整合:ElevenLabs宣布收购日本领先语音AI实验室Kotoba。双方将强强联手,加速AI智能体与语音交互界面在全球第四大经济体日本的落地普及。此次合作意在突破语言文化壁垒,打造适应本土化深层语境的语音AI,应对地域色彩、复杂方言等交流差异,推动语音技术更自然融入当地市场。

    来源 AI 产业速递
  11. RK3668处理器:6nm工艺,2027Q1出工程样品

    IT之家 11 月 18 日消息,根据开源硬件制造商 Radxa(瑞莎)分享的文档,瑞芯微计划于 2027 年第 1 季度交付下代通用处理器 RK3668 的样品。RK3668 将采用 6nm 制程工艺,CPU 集成 6 个 Arm Cortex-A725、2 个 Arm Cortex-A520,搭配 Arm Mali

    来源 腾讯网
  12. 蚂蚁灵波开源触觉模型LingBot-Touch:不做本体,通用底座值多少钱?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳具身智能赛道已经从大脑卷到了手指尖。11月10日,蚂蚁集团旗下的蚂蚁灵波科技(以下简称蚂蚁灵波)发布并开源触觉基础模型LingBot-Touch。它能将不同信号转化为同一套触觉表征,让机器人积累的“手感”在不同传感器、灵巧手、

    来源 腾讯网
  13. ElevenLabs收购Kotoba:语音AI巨头进军日本,交易2026年四季度完成

    全球语音人工智能领域迎来了一起备受瞩目的行业整合。知名语音 AI 企业 ElevenLabs 于近日正式宣布,已成功收购日本领先的语音 AI 实验室 Kotoba。通过此次强强联手,双方将共同加速 AI 智能体与语音交互界面在全球第四大经济体的深度落地与普及。 突破语言文化壁垒:打造适应本土化深层语

    来源 AI 开发者社区
  14. 瑞芯微RK3668:2027Q1出工程样品,6nm制程

    IT之家 11 月 18 日消息,根据开源硬件制造商 Radxa(瑞莎)分享的文档,瑞芯微计划于 2027 年第 1 季度交付下代通用处理器 RK3668 的样品。 RK3668 将采用 6nm 制程工艺,CPU 集成 6 个 Arm Cortex-A725、2 个 Arm Cortex-A520,搭配 Arm Mal

    来源 AI 行业观察
  15. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  16. DeepSeek长文本限流引差评潮:免费开源模式遭遇极端投诉

    随着人工智能技术的飞速普及,免费与开源一度成为了推动行业繁荣的核心引擎。然而,当庞大的用户基数与有限的算力资源发生碰撞时,现实的摩擦也随之浮出水面。近日,国内人工智能领军者 DeepSeek 因对部分超长上下文功能实施限流,意外引发了一波应用商店的差评潮,甚至出现了极端投诉事件,折射出当前大模型免费

    来源 AI 开发者社区
  17. Salesforce推CLIFT:网页智能体靠自问自答给自己打分

    你有没有想过,一个能帮你订机票、填表格、逛淘宝的网页智能体,是怎么知道自己做对了没有?这个问题比听起来复杂得多。2026年的今天,开源网页智能体已经能够在真实浏览器里点击、输入、滚动,完成相当复杂的任务了。但训练它们变得更聪明这件事,卡在了一个很尴尬的地方:你用来告诉AI"这次做得好不好"的反馈信号,要么太...

    来源 腾讯网
  18. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  19. 微软牵头40多家组织推AI开放标准,覆盖闭源与开放权重模型

    IT之家 11 月 18 日消息,微软今日在 Ignite 大会上宣布启动 AI 透明度计划(AI Transparency Initiative),与埃森哲、Adobe、毕马威、万事达卡、沃尔沃汽车等 40 多家组织合作,共同推动制定适用于不同 AI 模型和服务提供商的开放标准,以加强 AI 系统的透明度、安全性和治

    来源 AI 行业观察
向下滚动自动加载更多