港中深与微软研究院推ConvexLLM:语音免转写直连大模型

资讯 AI 开发者社区 作者:编程导航 全文 575 字 · 约 2 分钟读完 分类微软大模型多模态

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理

所属频道 大厂动态模型发布

语音和多模态人工智能一路发展下来,怎么让大模型更自然、更直接地“听懂”声音并完成复杂推理,是业界一直在摸索的方向。近期,香港中文大学(深圳)与微软研究院联合提出多模态统一建模新架构 ConvexLLM,为语音与语言的融合给出了新的技术思路。

核心创新:C-Gate 架构与“凸包映射”原理

过去的语音交互链路,一般要先把语音转写成文本,再交给大语言模型处理。中间多出这一道环节,既可能造成信息损耗,也抬高了延迟。

不过,ConvexLLM 的做法不一样,它用上 C-Gate 架构,把语音等音频信息直接映射进大语言模型原有的文本词向量“凸包”里。该架构的办法,是用冻结词向量的非负加权组合来生成音频表示。声音信号因此不必先转成文本,就能直接接入大模型,调用它在预训练阶段攒下的庞大知识与推理能力,语音与语言的统一建模也就此实现。

评测表现与泛化能力:基准测试领先,支持多类音频理解

从能力验证看,ConvexLLM 的表现比较突出。VoiceBench 等多项基准测试中,这套架构拿到了同量级开源模型的领先成绩;BBH 任务上,它比最强基线高出8.8个百分点。

语音交互之外,ConvexLLM 的多场景适配能力也不错,环境声、音乐等不同类型的音频理解任务都能一并支持,统一音频建模的应用边界也随之拓宽。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com 微软文字转语音 微软配音官网,微软tts ai文字转语音合成助手工具软件 微软语音合成助手简介 微软语音合成助手使用强大的微… 配音与音频 · microsoft.com 微软亚洲研究院 微软亚洲研究院是微软公司在海外开设的第二家基础科研机构,也是亚洲地区仅有的两个基础研究机构之一(另一个是微软… 知识管理 · msra.cn 微软爱写作 由微软亚洲研究院研发并升级的英语写作辅助平台,提供自动作文评分和修改建议,帮助用户提高英语写作能力 AI 写作 · engkoo.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai

相关推荐 按相关度与热度排序

全部资讯 →
  1. 港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

    语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

    来源 AI 产业速递
  2. 港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

    本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

    来源 腾讯网
  3. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  4. 当智能开始量产,从Anthropic上市看大模型的六个趋势

    今天(11月19日)晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。 按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会超过2万亿美元。谷

    来源 AI 行业观察
  5. DeepSeek调整API计费:服务端搜索与网页抓取不再单独收费

    11月18日12:00起,DeepSeek实施新API计费规则:调用大模型触发的服务端搜索、网页抓取不再单独收费,统一仅按模型Token用量计费。此举简化商业化计费链路,降低开发者构建联网AI应用成本。官方称,免费服务端搜索覆盖多元开发者生态接口,触发场景包括原生联网等。整体利好联网AI应用开发。

    来源 AI 产业速递
  6. ChatGPT和Gemini被曝推送虚假购物网站:151品牌测试出错率几何?

    最近有一项新研究爆出了一个很值得大家警惕的问题:AI聊天机器人居然会主动给用户推荐虚假购物网站。 品牌保护服务商Podqi做了一组测试,一共覆盖151个不同品牌。 测试结果显示,Perplexity给出风险网址的概率高达15%,ChatGPT和Gemini的情况也好不到哪里去,出错比例和它相差不远。 很多人已经习惯买东

    来源 AI 行业观察
  7. 微软英特尔扩大合作:EMIB封装首次用于自研芯片,Xeon供货锁定多年

    11月18日,微软与英特尔宣布扩大战略合作,签署长期协议共推Azure云与AI基础设施建设。微软成为首家采用英特尔代工EMIB先进封装技术用于自研芯片的企业,下一代Maia AI加速器和Cobalt CPU将采用该技术封装。协议同步锁定多年期Xeon处理器供货,含下一代"Diamond Rapids"。

    来源 华尔街见闻
  8. 纳德拉解释微软6万人买断:AI改变工作本质,让员工自己选

    微软在2026年10月向6万名员工提出买断方案,CEO纳德拉首次公开解释这一决定。他指出,AI正在改变工作的本质,与其再次大规模裁员,不如让员工主动选择去留。这背后是微软对AI时代组织形态的深层思考,也折射出整个科技行业在AI浪潮下的转型阵痛。

    来源 AI 科技快讯
  9. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  10. 腾讯WorkBuddy日活破1000万:日均Token超100万亿,企业500强渗透过半

    腾讯2026年第三季度财报披露,AI助手WorkBuddy截至11月初日活突破1000万,日均Token调用量超100万亿,成为中国大语言模型日均Token用量最高的AI产品。自今年3月发布以来,它已完成100多个大版本更新,迭代迅速;C端火热同时,B端也在拓展,开放平台上线仅两个月,Buddy应用已取得进展。

    来源 AI 产业速递
  11. 腾讯 WorkBuddy 日活破千万,一个什么信号?

    刚刚,腾讯宣布其旗下的 AI Agent 产品 WorkBuddy 日活跃用户突破千万,日均 Token 消耗量超 100 亿,成为中国大语言模型 Token 用量最高 AI 产品。 WorkBuddy 不是传统意义上的 AI 聊天机器人,也不只是 AI 办公软件,更准确的定义是面向知识工作者的通用型 AI Agent

    来源 AI 行业观察
  12. Osmo训练气味基础模型:30名闻香师为AI补上嗅觉

    在新泽西州纽瓦克机场附近的一间实验室里,约30名经验丰富的人类嗅辨员正逐一品鉴地球上的各种气味。他们记录的“坚果味”“桃子味”“海洋味”等笔记,会与化学分析结果交叉比对,为AI初创公司Osmo打造其号称全球首个“气味基础模型”提供训练数据。这家公司希望让机器学会“闻”,把嗅觉这一最难数字化的感官真正带入AI时

    来源 AI 科技快讯
  13. 腾讯WorkBuddy日活破1000万,日均Token调用量超100万亿

    IT之家 11 月 18 日消息,腾讯今日发布 2026 年第三季度财报,截至 11 月初,WorkBuddy 日活跃用户数超过 1000 万,日均 Token 调用量超过 100 万亿,成为中国大语言模型日均 Token 用量最高的 AI 产品。 官方表示,自今年 3 月发布以来,WorkBuddy 已完成 100

    来源 AI 行业观察
  14. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  15. 微软Ignite 2026:Office被装进Copilot,Word、Excel成了配角

    微软在 Ignite 2026 宣布 Office 开启新篇章:不再只是文档、表格与演示工具,而转型为 AI 智能体协同的“智能办公系统”。Copilot 从各应用中的助手变为核心,新款 Copilot 应用集成完整 Word、Excel、PowerPoint 协作体验;用户只需自然语言提出需求,文档即可自动生成。

    来源 AI 产业速递
  16. 混元Hy4 flash开源:API每百万Token输入0.5元,实测12分钟出3D场景

    编辑|泽南、冷猫你能想象吗?这是用 Flash 级的模型,只花 15 分钟写出来的。大模型的「斩杀线」居然已经到了这个位置。11 月 16 日,腾讯正式推出的新模型混元 Hy4 flash,让 AI 社区久违地像过节一样,狂晒各种测试效果。有人已经喊出:DeepSeek 不再是效率之王了。Hy4 flash 是一款原生

    来源 腾讯网
  17. 微软英特尔签长期协议:Azure自研芯片首用EMIB封装

    11月18日,微软与英特尔宣布扩大合作,签署长期协议共同推进Azure云与AI基础设施建设,微软由此成为首家宣布采用英特尔代工厂EMIB先进封装技术用于自研芯片的企业。此次协议涵盖多个层面:英特尔确认向微软提供多年期Xeon处理器供货保障,包括下一代服务器CPU"Diamond Rapids";微软将把EMIB技术应用

    来源 腾讯网
  18. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
向下滚动自动加载更多