科大讯飞SparkAudio 1.0上线API:覆盖99种语言与202种方言
IT之家 11 月 12 日消息,科大讯飞今日宣布,讯飞星火语音基座大模型 SparkAudio 1.0 已在讯飞开放平台上线 API 服务,开发者可直接接入调用。 SparkAudio 1.0 支持文本和语音两个模态的输入以及文本模态的输出,可支持语音转写、多语言翻译、多方言识别、环境音理解、说话人分离、情感分析以及
科大讯飞在11月12日对外公布,讯飞星火语音基座大模型SparkAudio 1.0已登陆讯飞开放平台,API服务正式上线,开发者能够直接接入并调用。
这款模型可接收文本与语音两种模态输入,输出为文本模态,语音转写、多语言翻译、多方言识别、环境音理解、说话人分离、情感分析以及较复杂的音频问答等任务,都能借助它落地。
科大讯飞方面提到,以往处理音频普遍走级联路线——先做语音转文字,再交由大模型去理解。这条路子存在两处明显缺陷:
-
一是信息丢失。文字记下的只是说了什么,语音本身携带的语气、情绪以及背景环境音等关键内容会被舍弃,模型对场景的判断由此不完整,最终结果也跟着受影响。
-
二是链路割裂。语音转写、声纹识别、语音翻译这些能力被拆成各自独立的模块再串起来运行,模块之间有断点,错误容易一层层累积,用起来还会碰上延迟和卡顿。
按照介绍,语音基座大模型正好补上了这些缺口:它不再局限于把语音变成文字,而是对语音做直接理解。人声、环境音、音乐等,模型一次就能听懂,声音当中的语义、情绪与场景同样在理解范围内。
与上一代模型相比,星火语音基座SparkAudio 1.0的升级集中在三个方面:
-
听得更全:覆盖99种语言、202种方言,多语言的语音识别与翻译任务均可处理;
-
理解更深:能力从语音识别延伸到多维音频理解,能把握语音的深层含义,智能客服、汽车座舱、跨语会议、医疗病历、内容审核等场景均有对应支持;
-
用法更宽:训练在全国产算力上完成,开发者和行业应用由此获得一个自主可控的语音智能底座。
相关链接: