港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

资讯 腾讯网 作者:机器之心 全文 3180 字 · 约 8 分钟读完 分类微软开源模型开源大模型多模态

本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

所属频道 大厂动态模型发布开源生态

本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreAI。此次提出的 ConvexLLM,通过创新的

  • 论文标题:ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence

  • 论文链接:https://arxiv.org/abs/2610.23539

  • 研究单位:香港中文大学(深圳)数据科学学院、微软 CoreAI、微软亚洲研究院

大模型已经学会了知识与推理。给它接上一对 “耳朵”,这些能力能不能一起接过来?

这是语音大模型绕不开的一道题:同一个问题,写出来能答,换成语音,表现却可能明显下降。声音已经被编码成向量,语言模型也足够强,两者之间还缺什么?

来自香港中文大学(深圳)与微软的研究团队,把目光放在了声音进入语言模型的接口上。ConvexLLM 把音频表示约束在语言模型原有文字词向量的

视频链接:https://mp.weixin.qq.com/s/pwsBRtN37rQzdXpObJG3dg

ConvexLLM Demo 演示

什么是 “

这个看起来增加了限制的设计,带来了亮眼的语音知识与推理表现。

在论文报告的同量级开源权重模型对比中,ConvexLLM 以 75.36 分取得

此项研究把一个值得整个多模态领域追问的问题推到了眼前:文字词向量组成的连续空间,到底能承载多丰富的声音信息?

  • 欢迎访问 ConvexLLM 论文网站: https://mhhsu1006.github.io/convexllm/

一、让声音用上语言模型熟悉的坐标

文本大模型在预训练中积累了大量知识、推理模式与指令遵循能力。做语音大模型,一个核心目标就是让用户直接开口说话,也能调用这些能力。

声音经过编码器后,需要通过接口转成语言模型的输入。常见的

它的核心接口

从这一视角看,对于表达相同内容的语音和文字,模态差异未必意味着语义本身不同,也可能体现为它们在共享表示空间中展开的

让声音用大模型熟悉的表示,调用它已经学会的智能。

二、固定的是词向量,自由的是组合方式

“把声音放进文字空间”,最有意思的地方在于连续组合。

可以把语言模型的词向量想象成一块调色盘。颜料已经固定,但改变配比,就能调出丰富的颜色。C-Gate 对声音做的事情与此类似:每个音频位置先形成查询,从词表中选出最匹配的 16 个词向量,再学习它们的混合权重。

这些权重非负、总和为 1,因此混合后的表示落在文字词向量的凸包内。随着声音变化,选中的向量和混合比例也随之改变,各个音频位置的表示依次构成文字词向量凸包内的一条时序轨迹。固定的是表示空间的参照,变化的是声音在其中展开的路径,以及这条路径承载的信息。

图 1|C-Gate 将选中的 Top-16 冻结词向量连续混合,让声音进入语言模型。

这里保留了一个关键的表达自由度:音频表示可以落在多个词向量之间,无须对应某一个离散词,也无须先形成一段可读转录。语言模型读入的,仍然是一串由声音决定的连续表示。

连续混合的重要性,在支持集大小实验中表现得尤为鲜明:在论文的 2B 配置下,每个位置只选择 1 个词向量时,扩展到 16 个词向量的连续组合后,综合分达到 60.35。组合的自由度,让这个固定的词向量空间变得更有表现力。

训练也围绕这个接口逐步展开:先训练接口,再加入编码器,最后联合适配编码器、接口与解码器模块。文字词向量表始终固定。主模型还通过

三、75.36 分,声音接上了更强的知识与推理

一个接口设计的价值,最终要看它把多少能力带到了语音端。

在覆盖语音交互、问答、指令遵循与推理等任务的 VoiceBench 上,ConvexLLM 的 11 项任务综合得分达到 75.36,高于 MiniCPM-o 4.5 的 73.04、Kimi-Audio 的 70.26 和 MiMo-Audio 的 67.01。

图 2|ConvexLLM 以 75.36 分领跑 VoiceBench 11 项任务综合得分。

最抓人的结果,集中在知识与推理。ConvexLLM 在

图 3|四项知识与推理任务均超过各自最强基线,

其中,BBH 从最强基线的 71.60% 提升到 80.40%,这些任务要求模型听完问题后,继续调用知识、分析条件、完成推理。提升发生在我们最希望语音大模型获得的能力上:听懂之后,真正把问题想明白。

对语音助手、口语学习、知识问答和专业咨询等应用研究而言,这提供了一个很有吸引力的方向:让语音接口更好地连接语言模型已经具备的思考能力。

四、文字的凸包,也能承载环境声与音乐

ConvexLLM 进一步把同一套接口用于语音、环境声和音乐理解。

在

这给了 “文字空间” 一个更有想象力的含义:原本服务于文字的词向量,可以被连续组合,用来承载多种声音任务需要的信息。词表是有限的,组合却为音频保留了丰富的变化空间。

基于已有的声学编码器与语言模型,ConvexLLM 在适配阶段的音频使用量上界为 27.1 万小时。一个结构清楚的接口,已经足以支撑从语音识别到知识推理、再到非语音音频理解的完整研究系统。

五、接口本身,就是一个值得认真研究的变量

如果你正在做

研究团队在 Qwen3.5-2B 上,对比了规模都在 170 万参数左右的

图 4|同一 2B 骨干下,C-Gate 的语音综合分最高,与对应文字输入的差距也最小。

C-Gate 的语音综合分达到 60.35,高于

表示分析则给出了更直观的线索。在另一组 2B 诊断模型中,到第 7 个解码器模块,C-Gate 的语音与对应文字表示的

这让接口研究有了很具体的抓手:声音进入语言模型时站在哪里,又如何影响后续的知识调用与推理?ConvexLLM 把这个问题变成了一套可以实现、比较和分析的实验设计。

六、下一篇研究,可以从这个接口开始

ConvexLLM 最值得继续挖掘的地方,是它提供了一个简洁、明确、容易形成研究问题的出发点。

做语音大模型,可以从更强的能力迁移开始

把 C-Gate 纳入 bridge 对照,在同一骨干上研究更强的语音指令遵循、复杂问答与推理。接口给声音一个稳定的文字参照,后续可以继续探索蒸馏信号、数据配方与训练阶段如何配合,把更多语言能力带到语音端。

做表示学习,可以直接追问文字空间能装下什么

内容、情绪、说话人、时间顺序和环境事件,可以沿着同一个接口逐项研究。改变混合词向量的数量、输入压缩程度或骨干模型,就能观察哪些信息进入了表示,哪些信息又真正被解码器用起来。有限的词向量,能组合出多丰富的声音世界?这是一个足够具体,也足够大的问题。

做多模态适配,可以把它作为

ConvexLLM 的接口思路为进一步探索提供了清楚的实验起点:固定词向量表,学习输入的组合方式,再比较不同编码器、固定或可训练解码器,以及新的模态与任务。它把 “现有语言智能能接住什么” 变成了可以逐步检验的设计选择。

对研究者来说,这种价值很直接:它有明确的结构、有可比较的结果,也留下了大量有意思的问题。你可以把它放进自己的实验,研究一个改动究竟让声音多带进了什么,又让大模型多用上了什么。

文字词向量原本是语言模型认识文字的入口。ConvexLLM 让我们看到,这个入口也能向声音打开。

从这个角度看,文字的边界,也可以成为探索声音智能的新起点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航

相关推荐 按相关度与热度排序

全部资讯 →
  1. 港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

    语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

    来源 AI 产业速递
  2. 蚂蚁灵波开源触觉模型LingBot-Touch:不做本体,通用底座值多少钱?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳具身智能赛道已经从大脑卷到了手指尖。11月10日,蚂蚁集团旗下的蚂蚁灵波科技(以下简称蚂蚁灵波)发布并开源触觉基础模型LingBot-Touch。它能将不同信号转化为同一套触觉表征,让机器人积累的“手感”在不同传感器、灵巧手、

    来源 腾讯网
  3. 多模态大模型投影器研究:十分之一数据够用,还能线性混合

    2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。但奇怪的是,没人真正说清楚这第一步到底在干什么。更奇怪的是,不同团队的实验结论还互相矛盾。有的

    来源 腾讯网
  4. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  5. DeepSeek长文本限流引差评潮:免费开源模式遭遇极端投诉

    随着人工智能技术的飞速普及,免费与开源一度成为了推动行业繁荣的核心引擎。然而,当庞大的用户基数与有限的算力资源发生碰撞时,现实的摩擦也随之浮出水面。近日,国内人工智能领军者 DeepSeek 因对部分超长上下文功能实施限流,意外引发了一波应用商店的差评潮,甚至出现了极端投诉事件,折射出当前大模型免费

    来源 AI 开发者社区
  6. 微软牵头40多家组织推AI开放标准,覆盖闭源与开放权重模型

    IT之家 11 月 18 日消息,微软今日在 Ignite 大会上宣布启动 AI 透明度计划(AI Transparency Initiative),与埃森哲、Adobe、毕马威、万事达卡、沃尔沃汽车等 40 多家组织合作,共同推动制定适用于不同 AI 模型和服务提供商的开放标准,以加强 AI 系统的透明度、安全性和治

    来源 AI 行业观察
  7. 微软商业业务 CEO:黄仁勋辞任英伟达 CEO,或促使客户寻求 AI 芯片替代方案

    IT之家 11 月 18 日消息,据彭博社今天(18 日)早间报道,微软商业业务 CEO 贾德森 · 阿尔托夫认为,黄仁勋辞职引发的英伟达人事风波,可能促使客户寻找英伟达 AI 芯片之外的选择。阿尔托夫透露,早在黄仁勋辞职之前,客户就已经表达了希望拥有更多选择的意愿,而最近的消息确实让人们更加确信,多一些选择是件好事。

    来源 腾讯网
  8. 阿姆斯特丹百人抗议微软数据中心,算力扩张遭遇落地抵触

    11月6日,100多名抗议者聚集在阿姆斯特丹一座计划供微软使用的数据中心工地,部分人进入现场、爬上起重机。路透社报道,组织这轮行动的联盟要求暂停大规模建设,直到政府制定更清楚的规则。项目业主表示愿意与当地各方沟通,微软则表示尊重和平表达意见的权利,但不赞同违法行为。

    来源 网易科技
  9. 微软数据中心工地遭抗议,弗吉尼亚经验揭示机房落地难在哪

    11月6日,100多名抗议者聚集在阿姆斯特丹一座计划供微软使用的数据中心工地,部分人进入现场、爬上起重机。路透社报道,组织这轮行动的联盟要求暂停大规模建设,直到政府制定更清楚的规则。项目业主表示愿意与当地各方沟通,微软则表示尊重和平表达意见的权利,但不赞同违法行为。 从云计算到人工智能,数据中心承接的需求越来越多,落地

    来源 AI 行业观察
  10. 微软推出Decision-1.1决策模型:跑赢GPT-6 Luna,速度翻倍

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)宣布正式推出 Microsoft-Decision-1.1 决策 AI 模型,目前已在 Microsoft Foundry、OpenRouter 和 Vercel 平台上线。 该模型面向企业级软件中的高频决策场景,可帮助应用在路由、分类、优先级排序、内容核

    来源 AI 行业观察
  11. 微软Decision-1.1决策模型发布:68分排第8,速度提升2倍

    智东西11月18日消息,今日,微软发布新一代决策模型Microsoft-Decision-1.1。在Artificial Analysis决策指数榜单中,Microsoft-Decision-1.1获得68分,排名第8,比微软首款决策模型高出6分,领先于Jev 1.14、谷歌Gemini Decision 1以及Ope

    来源 AI 行业观察
  12. 微软推出 Decision-1.1:决策基准拿 68 分,跑赢 GPT-6 Luna

    微软17日推出决策模型Microsoft-Decision-1.1,已登陆Microsoft Foundry、OpenRouter和Vercel。它不闲聊,专攻企业软件高频决策:路由、分类、内容核验与工作流控制。模型只在开发者规则内从允许操作中选答案,并输出校准置信度;信息不足时弃权或提示人工介入,避免关键业务风险。评

    来源 AI 产业速递
  13. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  14. 张朝阳再谈搜狐不碰大模型:平台暂不挣钱,不等于没做事

    11月18日,据《光明日报》消息,搜狐张朝阳再次回应搜狐“躺平”相关话题。如果中国互联网有“初代选手”名单,搜狐一定在列。1998年,搜狐靠做导航起家,一举成名;后来做门户、孵化搜狗、做搜狐视频、做畅游游戏,不少产品一度家喻户晓。AI浪潮的当下,外界却说搜狐“躺平”了。对此,张朝阳表示,当年自己有了创立搜狐的...

    来源 腾讯网
  15. 官宣!英特尔拿下微软先进封装大单!

    当地时间11月18日,英特尔与微软共同宣布扩大双方长达数十年的合作关系,并签署长期协议,进一步推进Azure云计算与人工智能(AI)基础设施建设。此次合作的一大看点是,微软将成为首家宣布在Azure自研芯片中采用英特尔代工业务EMIB先进封装技术的企业。这也意味着,英特尔先进封装业务首次获得微软这一大型云服务商的明确公

    来源 腾讯网
  16. 微软高管:Claude 和 ChatGPT 能做的,Copilot 能做的更好且更便宜

    IT之家 11 月 19 日消息,据彭博社报道,微软表示,企业客户之所以选择旗下 Copilot 人工智能助手,而不是 Anthropic 的 Claude 和 OpenAI 的 ChatGPT,一个重要原因是 Copilot 的使用成本更低。 微软商业业务首席执行官贾德森 · 阿尔索夫(Judson Althoff)

    来源 AI 行业观察
  17. 微软英特尔扩大合作:EMIB封装首次用于自研芯片,Xeon供货锁定多年

    11月18日,微软与英特尔宣布扩大战略合作,签署长期协议共推Azure云与AI基础设施建设。微软成为首家采用英特尔代工EMIB先进封装技术用于自研芯片的企业,下一代Maia AI加速器和Cobalt CPU将采用该技术封装。协议同步锁定多年期Xeon处理器供货,含下一代"Diamond Rapids"。

    来源 华尔街见闻
  18. 微软MAI Realtime 1发布:语音对语音模型价格仅对手三分之一

    微软在 Ignite 2026 发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂或多人同时说话时也能听懂请求;需深度思考时可调用更强推理引擎,连接企业系统完成预订、客服等操作,语气风格可用提示词调教。价格是重头,基础语音对语音使用费按音频计,定价

    来源 AI 产业速递
  19. 纳德拉解释微软6万人买断:AI改变工作本质,让员工自己选

    微软在2026年10月向6万名员工提出买断方案,CEO纳德拉首次公开解释这一决定。他指出,AI正在改变工作的本质,与其再次大规模裁员,不如让员工主动选择去留。这背后是微软对AI时代组织形态的深层思考,也折射出整个科技行业在AI浪潮下的转型阵痛。

    来源 AI 科技快讯
  20. 微软发布 MAI Realtime 1:每音频分钟 0.01 美元,能被打断会打电话

    在昨日(11 月 17 日)的 Ignite 2026 大会上,微软发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂环境或多人同时说话时也能听懂请求。任务需要深想时还能调用更强推理引擎,连接企业系统完成预订、客服处理等操作,语

    来源 AI 开发者社区
向下滚动自动加载更多