港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理
本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA
本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreAI。此次提出的 ConvexLLM,通过创新的
论文标题:ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence
论文链接:https://arxiv.org/abs/2610.23539
研究单位:香港中文大学(深圳)数据科学学院、微软 CoreAI、微软亚洲研究院
大模型已经学会了知识与推理。给它接上一对 “耳朵”,这些能力能不能一起接过来?
这是语音大模型绕不开的一道题:同一个问题,写出来能答,换成语音,表现却可能明显下降。声音已经被编码成向量,语言模型也足够强,两者之间还缺什么?
来自香港中文大学(深圳)与微软的研究团队,把目光放在了声音进入语言模型的接口上。ConvexLLM 把音频表示约束在语言模型原有文字词向量的
视频链接:https://mp.weixin.qq.com/s/pwsBRtN37rQzdXpObJG3dg
ConvexLLM Demo 演示
什么是 “
这个看起来增加了限制的设计,带来了亮眼的语音知识与推理表现。
在论文报告的同量级开源权重模型对比中,ConvexLLM 以 75.36 分取得
此项研究把一个值得整个多模态领域追问的问题推到了眼前:文字词向量组成的连续空间,到底能承载多丰富的声音信息?
欢迎访问 ConvexLLM 论文网站: https://mhhsu1006.github.io/convexllm/
一、让声音用上语言模型熟悉的坐标
文本大模型在预训练中积累了大量知识、推理模式与指令遵循能力。做语音大模型,一个核心目标就是让用户直接开口说话,也能调用这些能力。
声音经过编码器后,需要通过接口转成语言模型的输入。常见的
它的核心接口
从这一视角看,对于表达相同内容的语音和文字,模态差异未必意味着语义本身不同,也可能体现为它们在共享表示空间中展开的
让声音用大模型熟悉的表示,调用它已经学会的智能。
二、固定的是词向量,自由的是组合方式
“把声音放进文字空间”,最有意思的地方在于连续组合。
可以把语言模型的词向量想象成一块调色盘。颜料已经固定,但改变配比,就能调出丰富的颜色。C-Gate 对声音做的事情与此类似:每个音频位置先形成查询,从词表中选出最匹配的 16 个词向量,再学习它们的混合权重。
这些权重非负、总和为 1,因此混合后的表示落在文字词向量的凸包内。随着声音变化,选中的向量和混合比例也随之改变,各个音频位置的表示依次构成文字词向量凸包内的一条时序轨迹。固定的是表示空间的参照,变化的是声音在其中展开的路径,以及这条路径承载的信息。
图 1|C-Gate 将选中的 Top-16 冻结词向量连续混合,让声音进入语言模型。
这里保留了一个关键的表达自由度:音频表示可以落在多个词向量之间,无须对应某一个离散词,也无须先形成一段可读转录。语言模型读入的,仍然是一串由声音决定的连续表示。
连续混合的重要性,在支持集大小实验中表现得尤为鲜明:在论文的 2B 配置下,每个位置只选择 1 个词向量时,扩展到 16 个词向量的连续组合后,综合分达到 60.35。组合的自由度,让这个固定的词向量空间变得更有表现力。
训练也围绕这个接口逐步展开:先训练接口,再加入编码器,最后联合适配编码器、接口与解码器模块。文字词向量表始终固定。主模型还通过
三、75.36 分,声音接上了更强的知识与推理
一个接口设计的价值,最终要看它把多少能力带到了语音端。
在覆盖语音交互、问答、指令遵循与推理等任务的 VoiceBench 上,ConvexLLM 的 11 项任务综合得分达到 75.36,高于 MiniCPM-o 4.5 的 73.04、Kimi-Audio 的 70.26 和 MiMo-Audio 的 67.01。
图 2|ConvexLLM 以 75.36 分领跑 VoiceBench 11 项任务综合得分。
最抓人的结果,集中在知识与推理。ConvexLLM 在
图 3|四项知识与推理任务均超过各自最强基线,
其中,BBH 从最强基线的 71.60% 提升到 80.40%,这些任务要求模型听完问题后,继续调用知识、分析条件、完成推理。提升发生在我们最希望语音大模型获得的能力上:听懂之后,真正把问题想明白。
对语音助手、口语学习、知识问答和专业咨询等应用研究而言,这提供了一个很有吸引力的方向:让语音接口更好地连接语言模型已经具备的思考能力。
四、文字的凸包,也能承载环境声与音乐
ConvexLLM 进一步把同一套接口用于语音、环境声和音乐理解。
在
这给了 “文字空间” 一个更有想象力的含义:原本服务于文字的词向量,可以被连续组合,用来承载多种声音任务需要的信息。词表是有限的,组合却为音频保留了丰富的变化空间。
基于已有的声学编码器与语言模型,ConvexLLM 在适配阶段的音频使用量上界为 27.1 万小时。一个结构清楚的接口,已经足以支撑从语音识别到知识推理、再到非语音音频理解的完整研究系统。
五、接口本身,就是一个值得认真研究的变量
如果你正在做
研究团队在 Qwen3.5-2B 上,对比了规模都在 170 万参数左右的
图 4|同一 2B 骨干下,C-Gate 的语音综合分最高,与对应文字输入的差距也最小。
C-Gate 的语音综合分达到 60.35,高于
表示分析则给出了更直观的线索。在另一组 2B 诊断模型中,到第 7 个解码器模块,C-Gate 的语音与对应文字表示的
这让接口研究有了很具体的抓手:声音进入语言模型时站在哪里,又如何影响后续的知识调用与推理?ConvexLLM 把这个问题变成了一套可以实现、比较和分析的实验设计。
六、下一篇研究,可以从这个接口开始
ConvexLLM 最值得继续挖掘的地方,是它提供了一个简洁、明确、容易形成研究问题的出发点。
做语音大模型,可以从更强的能力迁移开始
把 C-Gate 纳入 bridge 对照,在同一骨干上研究更强的语音指令遵循、复杂问答与推理。接口给声音一个稳定的文字参照,后续可以继续探索蒸馏信号、数据配方与训练阶段如何配合,把更多语言能力带到语音端。
做表示学习,可以直接追问文字空间能装下什么
内容、情绪、说话人、时间顺序和环境事件,可以沿着同一个接口逐项研究。改变混合词向量的数量、输入压缩程度或骨干模型,就能观察哪些信息进入了表示,哪些信息又真正被解码器用起来。有限的词向量,能组合出多丰富的声音世界?这是一个足够具体,也足够大的问题。
做多模态适配,可以把它作为
ConvexLLM 的接口思路为进一步探索提供了清楚的实验起点:固定词向量表,学习输入的组合方式,再比较不同编码器、固定或可训练解码器,以及新的模态与任务。它把 “现有语言智能能接住什么” 变成了可以逐步检验的设计选择。
对研究者来说,这种价值很直接:它有明确的结构、有可比较的结果,也留下了大量有意思的问题。你可以把它放进自己的实验,研究一个改动究竟让声音多带进了什么,又让大模型多用上了什么。
文字词向量原本是语言模型认识文字的入口。ConvexLLM 让我们看到,这个入口也能向声音打开。
从这个角度看,文字的边界,也可以成为探索声音智能的新起点。