港中深与微软研究院推ConvexLLM:语音免转写直连大模型
在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理
语音和多模态人工智能一路发展下来,怎么让大模型更自然、更直接地“听懂”声音并完成复杂推理,是业界一直在摸索的方向。近期,香港中文大学(深圳)与微软研究院联合提出多模态统一建模新架构 ConvexLLM,为语音与语言的融合给出了新的技术思路。
核心创新:C-Gate 架构与“凸包映射”原理
过去的语音交互链路,一般要先把语音转写成文本,再交给大语言模型处理。中间多出这一道环节,既可能造成信息损耗,也抬高了延迟。
不过,ConvexLLM 的做法不一样,它用上 C-Gate 架构,把语音等音频信息直接映射进大语言模型原有的文本词向量“凸包”里。该架构的办法,是用冻结词向量的非负加权组合来生成音频表示。声音信号因此不必先转成文本,就能直接接入大模型,调用它在预训练阶段攒下的庞大知识与推理能力,语音与语言的统一建模也就此实现。
评测表现与泛化能力:基准测试领先,支持多类音频理解
从能力验证看,ConvexLLM 的表现比较突出。VoiceBench 等多项基准测试中,这套架构拿到了同量级开源模型的领先成绩;BBH 任务上,它比最强基线高出8.8个百分点。
语音交互之外,ConvexLLM 的多场景适配能力也不错,环境声、音乐等不同类型的音频理解任务都能一并支持,统一音频建模的应用边界也随之拓宽。