科大讯飞SparkAudio 1.0发布:99种语言202种方言,识别错误率17.17%
当别人发来语音:“你可真行啊!” 如何理解这句话? 答案显而易见,这可能是一句夸赞,也可能是一句嘲讽。我们只要通过语气、音量和语境等信息很快就可以得出结论。但是如果想让机器也能充分理解这句“你可真行啊!”背后的含义,恐怕需要理解能力更上一层楼。现在,这个问题已经得到了真正解决。 近日,科大讯飞首个基于全国产算力训练的语
如果有人发来一句语音“你可真行啊!”,这话到底该怎么理解?
可能是真心夸赞,也可能是在讽刺。人只需要听语气、音量和上下文,很快就能判断出来。换成机器,想弄明白这句“你可真行啊!”背后到底是什么情绪,就没那么容易了。眼下这个问题已经有了实际解法。
科大讯飞近日正式发布 SparkAudio 1.0,这是其首个基于全国产算力训练的语音基座大模型。对比上一代,星火语音基座 SparkAudio 1.0 的升级集中在三个方面:
听得更宽:覆盖99种语言、202种方言,语音沟通的边界被进一步打开;
理解更深:从单纯的语音识别扩展到多维音频理解,声音里夹带的信息也能读出来;
用得更广:训练全程落在全国产算力上,开发者和行业应用拿到的是一套自主可控的语音智能底座。
SparkAudio 1.0 靠三项技术创新撑起来——“半监督音频编码器、动态分段端到端建模、双范式协同解码”。效果上整体提升20%,响应时间缩短15%,成本下降60%。和市面上同类模型比,用户体验相当甚至更好,调用费用却远低于市场平均价。机器不光要听懂声音,还得读懂场景,这才谈得上适用千行百业。
多语言、复杂场景、深度理解一步到位
多种复杂场景精准识别现实里的声音远比实验室的标准语音难对付:背景嘈杂、音量微弱、几个人同时说话,都会拖累识别效果。SparkAudio 1.0 在这些真实场景里适应能力较强。中文小音量语音识别测试中,它的错误率为17.17%,比多款对比模型明显更低。
讯飞还基于这一语音基座推出了面向语音识别场景专项优化的 Spark-ASR-2.0。该模型在 SparkAudio 1.0 基础上做了专项微调,中文识别、高噪声、小音量等场景的效果进一步提升,同时通过解码优化加快响应速度,实测效果如下。
99种语言、202种方言一步到位
SparkAudio 1.0 覆盖99种语言、202种方言,多语言语音识别与翻译任务都能处理。公开评测中,英文语音识别错误率只有2.25%,14种主流语言识别错误率为2.81%,均优于参与对比的多款模型;中文方言识别错误率14.29%,识别能力同样不弱。跨语言交流也好,不同地域的方言沟通也好,模型都能给出更广的语音理解支持。
复杂音频推理能力,打开应用边界
上面这些案例展示的是模型在语音识别上的能力,但这只是基座模型能力矩阵的一小块。SparkAudio 1.0 更值得看的地方在于:它不只做识别,还能理解语音的深层含义。
SparkAudio 1.0 是通用语音基座模型,能识别环境声音、判断说话人性别和年龄段、捕捉情绪线索,也能围绕音频内容回答问题。和它不同,Spark-ASR-2.0 专注把语音转成准确文字,SparkAudio 1.0 的目标更远:听懂声音里的人、情绪、环境和事件。先从听见声音到理解声音,再围绕声音完成更多任务,这构成了它作为语音基座模型的能力边界。
有了这种能力,音频就不再只是等着转写的声音文件,而成了可以进一步分析、提取信息的数据来源。
SparkAudio 1.0 目前能落地到智能客服、汽车座舱、跨语会议、医疗病历、内容审核等多种场景。综合理解语音内容、说话人、情绪和环境声音之后,模型不仅听得清用户说了什么,还能结合上下文判断表达意图和所处场景,多轮交互因此更自然,语音技术也就能真正进入千行百业。
“三大技术”破解理解难题
降本提效夯爆了
全栈训练与优化,实现“耳脑同频”从整体架构看,SparkAudio 1.0 没有针对某一项语音任务做单点优化,而是用统一的音频基座把声音感知、理解与推理能力整合到一起。核心在于音频编码器、预训练、后训练三部分的全栈训练与优化。
拿培养人的听说能力打个比方:音频编码器相当于耳朵,先把听到的声音准确捕捉下来;预训练阶段像人长期学习和积累,慢慢听懂不同语言、语气和环境里的声音;到了后训练阶段,模型开始接受针对性训练,学会按不同场景和具体要求完成识别、翻译、理解等任务。
走完这三个阶段,模型才算从“听得到声音”长成“听得懂、能理解、会处理”的智能助手。
SparkAudio 1.0 训练全程依托全国产算力,是一款语音基座大模型。讯飞在智能语音领域多年攒下的自主技术,在这款模型上有了集中体现;后续的持续迭代和产业化落地,也因此有了自主可控的技术底座。
支撑它从“听清”走到“听懂”的,是三处技术创新。
SparkAudio 1.0 眼下能接文本和语音两种模态的输入,输出则是文本模态,可完成语音转写、多语言翻译、多方言识别、环境音识别、说话人分离、情感分析,以及较为复杂的音频问答等任务。智能语音之所以能从“听清”跃升到“听懂”,靠的是讯飞的三项技术:半监督音频编码器、动态分段端到端建模、双范式协同解码。
这套机制说白了就是“先快速生成,再按需修正”:并行解码先快速给出识别结果,接着由大语言模型判断哪些地方还需要调整,只在必要位置动手修。所有内容不必都走一遍复杂的逐步推理,识别质量保住了,计算开销和响应时间也压了下来。
有了这三项技术创新,SparkAudio 1.0 相比上一版本 SparkAudio 1.0-Preview,整体效果提升 20%,响应时间降低 15%,成本降低 60%。放到市面上同类型模型里比,用户体验相当甚至更好,调用费用却远低于市场平均价格。从软件到硬件,从语音输入到实时交互,SparkAudio 1.0 正把底层的语音能力变成用户能直接感受到的产品体验。
结语
语音技术对科大讯飞来说,是不必解释的技术强项。三十余年耕耘下来,讯飞语音每拓展一次边界,都会碰上新的工程难题,也都会生出新的技术思路。近两年,这些积累被重新组织了一遍:全国产算力托底重训基座,专用任务模型在具体场景里单独打磨。语音因此从一项能力,变成了一套能按场景组合的能力。
目前,讯飞星火语音基座大模型 SparkAudio 1.0 已在讯飞开放平台上线 API 服务,开发者可以直接接入调用,也欢迎体验后反馈真实感受。
体验链接👉
API地址👉
往期回顾