港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力
语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。
在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。
核心创新:C-Gate 架构与“凸包映射”原理
传统语音交互链路往往需要先将语音转写为文本,再交由大语言模型处理,这不仅可能带来信息损耗,也增加了中间环节的延迟。
ConvexLLM 则通过创新的 C-Gate 架构,将语音等音频信息直接映射到大语言模型原有的文本词向量“凸包”之中。具体而言,该架构利用冻结词向量的非负加权组合来生成音频表示。通过这种方式,声音信号无需先转写为文本,便能够直接接入并调用大模型在预训练阶段积累的庞大知识与推理能力,从而实现语音与语言的统一建模。
评测表现与泛化能力:基准测试领先,支持多类音频理解
在能力验证方面,ConvexLLM 展现出了较为突出的性能表现。在 VoiceBench 等多项基准测试中,该架构取得了同量级开源模型的领先成绩;其中在 BBH 任务上,更是比最强基线高出了8.8个百分点。
除了语音交互之外,ConvexLLM 还具备良好的多场景适配能力,能够同时支持环境声、音乐等多种类型的音频理解任务,进一步拓展了统一音频建模的应用边界。