SOV-Transcribe-1:4亿参数如何破解真实场景语音识别难题?

资讯 AI 应用前沿 全文 3234 字 · 约 9 分钟读完 配图 1 张 分类Salesforce开源模型开源模型发布开源生态语音

Salesforce发布了SOV-Transcribe-1,这是一个拥有40亿活跃参数的开源语音识别模型。它在英文转录准确率、关键实体识别以及口音适应性上表现突出,尤其在嘈杂环境和特定领域术语识别上优于同类开源模型。该模型支持通过指令调整输出风格,并允许开发者通过上下文偏置优化专有名词识别,适合构建企业级语音应用。

所属频道 模型发布开源生态

新模型为何受关注

语音识别用了这么多年,落到真实场景里还是常出岔子。地铁里嘈杂,你给同事发语音,转出来“下午三点”成了“下无三点”,邮箱地址里的下划线也能丢。普通人手动改改就过去了;可客服系统、医疗记录、法律笔录这类靠语音交互的企业应用,一处错就可能捅大娄子。

2026年11月12日,Salesforce Sovereign Intelligence团队放出SOV-Transcribe-1。它并非只活在论文里的实验品,而是开源权重模型,面向真实世界的语音场景。目标说得很直白:开源该有的灵活性保留,同时把传统语音识别在噪音、口音和关键信息提取上的老毛病解决掉。

40亿活跃参数,规模与效率怎么取舍

SOV-Transcribe-1做的是非流式自动语音识别(ASR)。活跃参数40亿个,总参数量260亿。放在当下的开源模型里,这个体量有点微妙:比几亿参数的轻量模型聪明,又比动辄几百亿参数的巨无霸好部署。

Artificial Analysis的基准测试里,开放权重模型的非流式语音转文本任务,SOV-Transcribe-1排第一,全部模型里排第七。字错率(WER)为2.28%。横向看同行:NVIDIA的Nemotron 3.5 Transcribe活跃参数数量相同,字错率2.81%;Mistral的Voxtral Small活跃参数240亿,是SOV-Transcribe-1的6倍,字错率2.77%。其他同等规模的开源模型,字错率一般在4%左右。

算力花得更少,准确率反而更高。对要控成本的企业,这吸引力很实在。

关键实体识别:听清不够,还得听对

多数语音识别模型看字错率,也就是整体错了多少字。可真实业务里,每个字的分量并不一样。日常对话少个“的”字,理解不受影响;语音助手把用户邮箱“john_doe@example.com”识别成“johndoe@example.com”,或者把账号数字“1024”听成“1025”,任务直接失败。

BeSimple的VoiceCodeBench基准测试为此设了两个指标:任务成功率(TSR)和规范令牌/实体匹配(CTEM)。TSR要求录音里每个目标实体——电话号码、邮箱、URL、代码符号——全部正确才算过;CTEM衡量的是实体恢复的比例。

SOV-Transcribe-1在这项测试里很扎眼:76.3%的录音测试通过,实体恢复率93.4%。23个参与测试的系统里(闭源开源都算),它排第二;开源模型中排第一。拿它搭一个要提取用户关键信息的语音Agent,可靠性会比不少通用模型高出一截。

口音与噪音下的表现

英语是全球语言,各地人说起来差别很大。旧金山训练的模型,碰上格拉斯哥、新加坡或孟买口音可能就没办法。真实录音环境也很少是安静录音棚,咖啡馆、街道、呼叫中心才是常态。

AppTek呼叫中心对话基准测试用了覆盖14种英语口音的长形式代理-客户呼叫录音。SOV-Transcribe-1平均字错率8.21%。澳大利亚、英国、苏格兰、威尔士、爱尔兰、印度、墨西哥和新加坡这8种口音上,它的表现都是最好的。训练数据吸收得够杂,没有过度偏向某一种标准口音。

HALAS基准测试更难——基于真实财报电话会议音频的人工标注数据集,专门测模型在容易“幻觉”(编造不存在的内容)的场景下表现如何。SOV-Transcribe-1字错率25.69%。阿里巴巴Qwen3-ASR 1.7B为26.01%,Mistral Voxtral Small 24B为27.35%,NVIDIA Nemotron 3.5 Transcribe为31.59%,IBM Granite Speech 5.0 2B为34.51%。嘈杂、术语密集、容易混淆的真实环境里,它更稳。

风格控制:转录结果可按需调整

不同场景对转录结果要求差得远。律师要逐字稿,所有的“嗯”“啊”等填充词都得留着,好分析证人的犹豫;普通用户用语音输入法,想要的是干净、标点正确、没有冗余的文本。

传统ASR模型一般只给一种输出格式,开发者得在后期做大量处理。SOV-Transcribe-1加了“风格引导”(Style Steering)机制:默认逐字转录,但能用自然语言指令调整输出格式。比如指示它“将数字写成阿拉伯数字”,或者“去除所有不流畅的表达”。

Preference-ASR基准测试评估的是模型遵循格式请求的能力。给出明确指令时,SOV-Transcribe-1的偏好感知字错率5.05%。比IBM Granite Speech 5.0 2B(4.70%)略高,但明显好于阿里巴巴Qwen3-ASR 1.7B(5.96%)和NVIDIA Nemotron 3.5 Transcribe(6.16%)。同一个模型能服务多种下游应用,不必为每种场景单独微调。

上下文偏置:专有名词难题怎么解

销售电话、医疗咨询里,罕见的人名、公司名、药物名常常冒出来。这类词在通用语料里出现得少,发音又容易跟常见词撞上,识别起来很费劲。SOV-Transcribe-1对此支持“上下文偏置”(Context Biasing):给模型一组关键词,或者对音频内容做个简短描述,它就会据此调整识别概率,更倾向于挑符合上下文的词。

研究人员在Contextual Earnings-22测试中切了真实财报电话会议的15秒片段,每段都围绕一个特定人名、公司名或产品名展开。测试设了三种情形:不给关键词;只给片段里出现的词;把整小时通话的关键词全给过去,其中大部分是干扰项。

结果,只提供片段相关关键词时,SOV-Transcribe-1的关键字F1分数(衡量名称转录准确性的指标)从71.9升到96.8,幅度不小。就算关键词列表里塞满干扰项,它的得分仍有94.0,在开源模型中排第一。说到底,只要事先知道通话里可能涉及哪些术语,把这些词交给模型,识别效果就能明显变好。

如何获取和使用

SOV-Transcribe-1以Apache 2.0许可证发布,开发者和企业可以自由使用、修改、分发,不用操心复杂的授权限制。对想搭建自主可控语音体验的企业,这是个重要的基础组件。目前模型权重已在Hugging Face上公开,开发者能拿它做语音助手、听写工具或呼叫中心转录系统,把关键智能留在自己掌控的基础设施里。详细技术报告还没发布,但现有基准测试数据已能说明它在开源领域的竞争力。

正在找高性能、可定制、成本可控的语音识别方案的团队,可以把SOV-Transcribe-1当作一个新选项试试。它未必在每个指标上都压过闭源巨头,可在开源生态里,它确实立了一个新标杆:智能要够用,能处理复杂任务;也要够灵活,接得住真实世界的混乱与多样。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. VeriSpoof:音频取证为何需要统一大模型?

    墨尔本大学推出VeriSpoof,一个2.85B参数的音频大模型。它不依赖专用分类头,而是通过问答形式完成真伪检测、系统溯源和同源验证。在Speech-DF-Arena基准测试中,其合并EER为2.14%,位居开源模型第一。该模型支持可核实的推理输出,能定位伪造片段并解释判断依据,适合媒体审核、金融反欺诈及司法取证等场

    来源 AI 应用前沿
  2. 文心5.5 Flash Preview发布:280B参数MoE,主打游戏与3D工作流

    百度发布文心5.5 Flash Preview,采用280B总参数、14B激活参数的MoE架构,支持1M超长上下文。该模型重点强化了游戏开发、3D建模和视频创作等Agent工作流能力,能端到端完成复杂任务。API已在千帆平台上线,权重预计11月25日前开源。相比同类模型,其在特定垂直场景的工程化落地能力更为突出。

    来源 AI 应用前沿
  3. 谷歌发布Gemini 4 Hydrogen:跑分超Argon,搜索免费用

    一觉醒来,谷歌又发 Gemini 4 模型了。11 月 12 日,谷歌正式发布 Gemini 4 Hydrogen,并同步推出了多模型智能调度系统 Orchestrator。这是一个 Flash 级别的大模型(也是 Gemini 3.8 Flash 的继任者),原生多模态,输入、思考和输出共享 100 万 token

    来源 腾讯网
  4. 李彦宏发布词元所:大模型交易平台上线月余,日均调用Token破7000亿

    李彦宏表示,当一个开发者或者一家企业,真正想把模型用起来的时候,往往会发现模型越多,选择越困难。同一款模型有的贵,有的便宜,来源五花八门,质量参差不齐,选来选去就是不放心,不敢用。词元所就是为了解决这个难题而生,宣称是一个中立、可信的大模型交易平台。

    来源 IT之家
  5. TensorFlow 2 语音识别实战:从环境搭建到 CTC 的完整路径

    这本书不讲虚的,直接上手TensorFlow 2.1。从安装GPU驱动开始,讲清楚Keras API、ResNet残差块、LSTM时序处理,最后用MFCC和CTC算法跑通一个完整的中文语音转文字项目。适合想跳过理论推导、直接看代码怎么写的开发者,也适合需要补充底层原理的初学者。

    来源 AI 应用前沿
  6. 百度上线词元所:模型交易平台日均调用Token超7000亿

    【TechWeb】11月12日消息,百度世界2026开幕式上,百度创始人李彦宏表示,模型迭代速度非常快,今年前9个月,几乎每天都有不止一款新模型发布,与此同时,对模型的调用需求也迎来大爆发。由此催生的一批词元中转站,“并不对模型的效果、服务的稳定性、响应速度等负责,甚至连模型的真实性都无从考证”。 为解决这一落地难题,

    来源 AI 行业观察
  7. MiniMax H3 Image开源:原生4K直出,10秒生成

    编辑|泽南、杨文「GPT is cooked.」这两天,这句话在 AI 社区里反复出现。让人坐不住的是 MiniMax 刚发布的图像模型 MiniMax H3 Image。这是一个原生 4K 直出、10 秒级生成、支持 16 张参考图的模型,本周二刚刚开源,刷新了开源图像模型的 SOTA。从大家的第一波反应看,这个说法

    来源 腾讯网
  8. Claude Fable 5.2发布:写代码生成视频,5.75美元渲染4K短片

    Anthropic 新发布的 Claude Fable 5.2 展示了通过编写 Blender 和 JavaScript 代码生成视频的能力。开发者仅用一条提示词,就让模型自动建模、安排镜头并调用 GPU 渲染出 4K 短片,成本仅 5.75 美元。这种“代码生成视频”的方式在精确控制和可编辑性上优于传统像素生成模型,

    来源 AI 应用前沿
  9. 谷歌Gemini Decisions API上线:100个问题0.41秒,输出Token不收费

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月12日消息,今日,谷歌宣布推出Gemini Decisions API,该API可通过同日新发布的模型Gemini Decision 1调用。与传统生成式模型不同,Gemini Decision 1可以直接评估输入内容,并针对最多1000个预设问

    来源 腾讯网
  10. 文心5.5 Flash Preview实测:编程提速,网页游戏双场景交付

    在11月12日开幕的百度世界大会2026上,这家曾开国内AI先河又略显波折的巨头发布了一系列前沿新品。其中尤为引人注目的,就是最新基础模型文心5.5 Flash Preview(ERNIE 5.5 Flash Preview)。百度基础模型研发部负责人孙天祥也首次公开亮相,介绍了这款新模型的参数规模和核心优化方向。按照

    来源 腾讯网
  11. DeepMind用AI验证Signal加密协议,四周生成600万行Lean代码

    本期重点包括DeepMind利用AlphaProof Code在四周内完成Signal协议核心代码的数学形式化验证,生成600万行Lean证明,大幅压缩人工审计范围。Google发布Gemini Decisions API,支持单次处理1000个多模态问题,价格极具竞争力。百度千帆上线深度思考与微表情模型。此外,AWS

    来源 AI 应用前沿
  12. Claude Fable 5.2登顶两项评测,百度新模型以代码生成场景

    本期速报关注两大模型动态:Anthropic的Claude Fable 5.2在Web开发与智能体评测中表现强劲,但单次任务成本高达10美元以上;百度文心新模型展示通过纯代码生成《后室》场景并快速切换画风的能力,且计划开源。此外,AWS推出跨框架智能体评估系统UAEF,昆腾动力机器人进入物流规模化交付阶段,酒店洗衣机器

    来源 AI 应用前沿
  13. Matrix-Game4.0上线Reactor:单张RTX5090跑480p、60FPS实时游戏

    昆仑万维宣布其10月发布并开源的Matrix-Game4.0正式上线实时世界模型平台Reactor,为开源后首次平台化开放,可在浏览器进入城堡、古埃及与城市赛车三个世界「边玩边生成」。Reactor总部位于旧金山,以统一SDK与API、全球分布式GPU网络支持几行代码接入,11月7日官宣上线。 Matrix-Game4

    来源 AI 开发者社区
  14. 黄仁勋离职,英伟达的开源路线还能走多远

    黄仁勋的辞职让外界重新审视英伟达对开源AI的投入。从收购Hugging Face、发布开放权重模型,到公开反对监管限制,这家芯片巨头在领导层过渡期能否延续其开源路线,成为行业关注焦点。本文梳理英伟达开源战略的三大支柱及其面临的不确定性。

    来源 AI 科技快讯
  15. Hugging Face CEO 哀叹黄仁勋从英伟达离职:承诺继续力挺开源 AI

    IT之家 11 月 13 日消息,黄仁勋昨日(11 月 12 日)辞去英伟达总裁、首席执行官及董事职务,即刻生效。Hugging Face 首席执行官克莱芒 · 德朗格(Clement Delangue)随即在领英发文,称这是“令人无比难过的一天”,并表示将继续更坚定地推动开源人工智能。 IT之家昨日报道,联合创始人黄

    来源 AI 行业观察
  16. 黄仁勋辞任英伟达CEO:委员会拍板或拖慢决策,美国开源AI恐成输家

    SemiAnalysis创始人Dylan Patel指出,失去“创始人模式”的英伟达恐陷入“委员会决策”的低效泥潭,极难维系对供应链的低价绝对掌控。受此波及,高度依赖英伟达资金与算力的美国开源生态将成最大输家,而算力结构更多元的闭源巨头Anthropic反成受益者。此外市场需高度警惕监管扩圈,算力云租赁及“AI合成数据

    来源 华尔街见闻
  17. 谷歌Gemini眼镜395美元起:隐私优先能否避开Glass老路?

    谷歌正式发布首款搭载Gemini AI的智能眼镜,起售价395美元。产品由谷歌联合三星、Gentle Monster和Warby Parker共同打造,主打隐私保护,试图避免Google Glass当年的覆辙。在Meta Ray-Ban智能眼镜打开市场后,谷歌携大模型能力重返可穿戴赛道,智能眼镜的AI助手之战正式打响。

    来源 AI 科技快讯
  18. OpenRouter并入Stripe:75亿美元交易打通模型路由与支付

    本期关注AI基础设施与企业级落地的几个关键动作。OpenRouter以约75-80亿美元并入Stripe,打通模型路由与支付;AWS推出本地云服务模拟器及Bedrock联网搜索接口,并接入OpenAI Codex以统一企业治理;NVIDIA发布仅117M参数的Déjà View三维重建模型;a16z数据显示H100租价

    来源 AI 应用前沿
  19. AlphaGenome 2发布:30分钟复现一年半实验,无需重训即可查致病细胞

    DNA突变究竟会在哪种细胞里惹出病?现在,AI也能帮我们查了! 现在,Google DeepMind发布了新一代DNA序列预测模型AlphaGenome 2。 它既能预测DNA突变会在哪类细胞中起作用、影响哪些基因,也能帮科学家们追查疾病根源、寻找更精准的药物靶点,为癌症、糖尿病等疾病的针对性治疗提供新方向。 而且,它

    来源 AI 行业观察
向下滚动自动加载更多