港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

资讯 AI 产业速递 全文 575 字 · 约 2 分钟读完 分类微软大模型多模态

语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

所属频道 大厂动态模型发布

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。

核心创新:C-Gate 架构与“凸包映射”原理

传统语音交互链路往往需要先将语音转写为文本,再交由大语言模型处理,这不仅可能带来信息损耗,也增加了中间环节的延迟。

ConvexLLM 则通过创新的 C-Gate 架构,将语音等音频信息直接映射到大语言模型原有的文本词向量“凸包”之中。具体而言,该架构利用冻结词向量的非负加权组合来生成音频表示。通过这种方式,声音信号无需先转写为文本,便能够直接接入并调用大模型在预训练阶段积累的庞大知识与推理能力,从而实现语音与语言的统一建模。

评测表现与泛化能力:基准测试领先,支持多类音频理解

在能力验证方面,ConvexLLM 展现出了较为突出的性能表现。在 VoiceBench 等多项基准测试中,该架构取得了同量级开源模型的领先成绩;其中在 BBH 任务上,更是比最强基线高出了8.8个百分点。

除了语音交互之外,ConvexLLM 还具备良好的多场景适配能力,能够同时支持环境声、音乐等多种类型的音频理解任务,进一步拓展了统一音频建模的应用边界。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com 微软文字转语音 微软配音官网,微软tts ai文字转语音合成助手工具软件 微软语音合成助手简介 微软语音合成助手使用强大的微… 配音与音频 · microsoft.com 微软亚洲研究院 微软亚洲研究院是微软公司在海外开设的第二家基础科研机构,也是亚洲地区仅有的两个基础研究机构之一(另一个是微软… 知识管理 · msra.cn 微软爱写作 由微软亚洲研究院研发并升级的英语写作辅助平台,提供自动作文评分和修改建议,帮助用户提高英语写作能力 AI 写作 · engkoo.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai

相关推荐 按相关度与热度排序

全部资讯 →
  1. 港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

    本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

    来源 腾讯网
  2. 多模态大模型投影器研究:十分之一数据够用,还能线性混合

    2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。但奇怪的是,没人真正说清楚这第一步到底在干什么。更奇怪的是,不同团队的实验结论还互相矛盾。有的

    来源 腾讯网
  3. Jag让AI直接读隐藏状态出坐标,不生成文字

    你有没有想过,当你对着一个智能助手说"把图里举着鼻子的大象框出来",它是怎么把答案变成一个方框的?大部分人可能以为,这就是模型"看一眼"就知道答案了。但事实没那么简单。现在主流的多模态大模型处理这类任务时,走的是一条相当绕的路:它先理解图片和你的问题,然后像写作文一样,一个字一个字地"生成"坐标数字,比如...

    来源 腾讯网
  4. 13款AI应用停运调整:OpenAI、苹果、微软均在其中

    智东西11月17日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。 ▲13款或项目调整、转型或停止运营的AI应用(智东西制表) 在科技巨

    来源 AI 行业观察
  5. 阿姆斯特丹百人抗议微软数据中心,算力扩张遭遇落地抵触

    11月6日,100多名抗议者聚集在阿姆斯特丹一座计划供微软使用的数据中心工地,部分人进入现场、爬上起重机。路透社报道,组织这轮行动的联盟要求暂停大规模建设,直到政府制定更清楚的规则。项目业主表示愿意与当地各方沟通,微软则表示尊重和平表达意见的权利,但不赞同违法行为。

    来源 网易科技
  6. 微软数据中心工地遭抗议,弗吉尼亚经验揭示机房落地难在哪

    11月6日,100多名抗议者聚集在阿姆斯特丹一座计划供微软使用的数据中心工地,部分人进入现场、爬上起重机。路透社报道,组织这轮行动的联盟要求暂停大规模建设,直到政府制定更清楚的规则。项目业主表示愿意与当地各方沟通,微软则表示尊重和平表达意见的权利,但不赞同违法行为。 从云计算到人工智能,数据中心承接的需求越来越多,落地

    来源 AI 行业观察
  7. 13款AI应用停运或调整:OpenAI、苹果、微软均有产品在列

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月16日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。▲13款

    来源 腾讯网
  8. 抗议者爬上微软数据中心起重机,机房扩建正撞上地方阻力

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白11月6日,100多名抗议者聚集在阿姆斯特丹一座计划供微软使用的数据中心工地,部分人进入现场、爬上起重机。路透社报道,组织这轮行动的联盟要求暂停大规模建设,直到政府制定更清楚的规则。项目业主表示愿意与当地各方沟通,微软则表示尊重和平表达意见的权利,...

    来源 腾讯网
  9. 寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度

    来源 腾讯网
  10. 微软高管:Claude 和 ChatGPT 能做的,Copilot 能做的更好且更便宜

    IT之家 11 月 19 日消息,据彭博社报道,微软表示,企业客户之所以选择旗下 Copilot 人工智能助手,而不是 Anthropic 的 Claude 和 OpenAI 的 ChatGPT,一个重要原因是 Copilot 的使用成本更低。 微软商业业务首席执行官贾德森 · 阿尔索夫(Judson Althoff)

    来源 AI 行业观察
  11. 腾讯WorkBuddy日活破千万:日均Token超100万亿,500强渗透一半

    腾讯今日发布 2026 年第三季度财报,其中披露了 WorkBuddy 的最新数据:截至 11 月初,这款 AI 助手日活跃用户数已突破 1000 万,日均 Token 调用量超过 100 万亿,一举成为中国大语言模型日均 Token 用量最高的 AI 产品。自今年 3 月发布以来,它已完成 100

    来源 AI 开发者社区
  12. 腾讯 WorkBuddy 日活破千万,一个什么信号?

    刚刚,腾讯宣布其旗下的 AI Agent 产品 WorkBuddy 日活跃用户突破千万,日均 Token 消耗量超 100 亿,成为中国大语言模型 Token 用量最高 AI 产品。 WorkBuddy 不是传统意义上的 AI 聊天机器人,也不只是 AI 办公软件,更准确的定义是面向知识工作者的通用型 AI Agent

    来源 AI 行业观察
  13. 微软英特尔扩大合作:EMIB封装首次用于自研芯片,Xeon供货锁定多年

    11月18日,微软与英特尔宣布扩大战略合作,签署长期协议共推Azure云与AI基础设施建设。微软成为首家采用英特尔代工EMIB先进封装技术用于自研芯片的企业,下一代Maia AI加速器和Cobalt CPU将采用该技术封装。协议同步锁定多年期Xeon处理器供货,含下一代"Diamond Rapids"。

    来源 华尔街见闻
  14. 微软推出Decision-1.1决策模型:跑赢GPT-6 Luna,速度翻倍

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)宣布正式推出 Microsoft-Decision-1.1 决策 AI 模型,目前已在 Microsoft Foundry、OpenRouter 和 Vercel 平台上线。 该模型面向企业级软件中的高频决策场景,可帮助应用在路由、分类、优先级排序、内容核

    来源 AI 行业观察
  15. 微软发布 MAI Realtime 1:每音频分钟 0.01 美元,能被打断会打电话

    在昨日(11 月 17 日)的 Ignite 2026 大会上,微软发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂环境或多人同时说话时也能听懂请求。任务需要深想时还能调用更强推理引擎,连接企业系统完成预订、客服处理等操作,语

    来源 AI 开发者社区
  16. 纳德拉解释微软6万人买断:AI改变工作本质,让员工自己选

    微软在2026年10月向6万名员工提出买断方案,CEO纳德拉首次公开解释这一决定。他指出,AI正在改变工作的本质,与其再次大规模裁员,不如让员工主动选择去留。这背后是微软对AI时代组织形态的深层思考,也折射出整个科技行业在AI浪潮下的转型阵痛。

    来源 AI 科技快讯
  17. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  18. 腾讯WorkBuddy日活破1000万,日均Token调用量超100万亿

    IT之家 11 月 18 日消息,腾讯今日发布 2026 年第三季度财报,截至 11 月初,WorkBuddy 日活跃用户数超过 1000 万,日均 Token 调用量超过 100 万亿,成为中国大语言模型日均 Token 用量最高的 AI 产品。 官方表示,自今年 3 月发布以来,WorkBuddy 已完成 100

    来源 AI 行业观察
  19. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
向下滚动自动加载更多