小米开源MiDashengLM-Spatial:首个端到端空间音频理解大模型
IT之家 10 月 16 日消息,小米昨日宣布,带来 Dasheng 系列的重要新成员 ——MiDashengLM-Spatial,完整公开模型权重和推理代码,并以 Apache 2.0 许可证发布。 过去两年,小米先后发布并开源了声音基座模型 Xiaomi Dasheng 及声音理解大模型 MiDashengLM-7
10月16日,小米宣布推出Dasheng系列新成员MiDashengLM-Spatial,模型权重和推理代码全部公开,采用Apache 2.0许可证发布,发布时间为昨日。
小米过去两年陆续发布并开源了声音基座模型Xiaomi Dasheng以及声音理解大模型MiDashengLM-7B。这些技术已在小米智能家居、汽车座舱等场景落地超过30项应用,可统一感知和理解语音、环境声音与音乐。
据小米介绍,新模型基于MiDashengLM-7B打造,给声音理解大模型装上了“一双耳朵”——既能听懂声音内容,也能判断声音从哪里来、在空间里怎么分布。小米称,MiDashengLM-Spatial是业界首个开源的端到端空间音频理解大模型,它在保留基础音频理解能力之外,还拥有空间感知与推理能力,让音频大模型从“听懂声音”走向“理解声音所处的空间”。
该模型将逐步落地小米智能家居、汽车座舱等场景,用空间听觉能力提升“人车家全生态”的交互体验。相关测试数据如下:



相关链接: