多个单模态AI拼在一起,模态缺失时为何反而不如单干

资讯 腾讯网 作者:科技行者 全文 5892 字 · 约 15 分钟读完

你有没有遇到过这种情况:团队里几个专家各管一块,一个懂财务、一个懂法律、一个懂技术,平时开会讨论效果特别好,每个人补充一点信息,最后拼出一个完整方案。但有一天,懂法律的那位请假了,会议还得继续开。结果你发现,剩下两个人讨论出来的结论,居然还不如单独问那位缺席的法律专家靠谱。这听起来有点反常识。团队协作不是应...

一个懂财务、一个懂法律、一个懂技术,团队里几位专家各管一摊,平时开会你补一点我补一点,方案很快就拼完整,讨论效果一直不错。可有一天懂法律的那位请假了,会还得接着开。结果剩下两个人商量出来的结论,竟然还不如单独去问那位没到场的法律专家来得靠谱。这种情形你碰上过吗?

听着有点违背直觉——几个人凑在一起,怎么反而不如一个人单干?

2026年初,威廉玛丽学院、卡内基梅隆大学、微软和芝加哥大学联合团队的一篇论文,把这个现象放到AI模型上做了验证,而且验得相当彻底。他们发现,把多个单模态AI模型组合起来做联合预测时——比如一个专管文本、一个专管语音、一个专管图像——只要输入信息缺了一部分,组合的优势就会快速缩水,甚至直接翻车,预测效果比单独剩下的那个模型自己干还差。

论文的题目叫《

缺胳膊少腿的AI,是常态不是意外

先把一件事讲清楚:为什么"模态缺失"值得单独拎出来研究。

真实场景里,AI系统收到的输入很少是齐全完好的。做情感分析,可能只拿到文字、没有语音;做医疗诊断,某个病人做了核磁共振却没做PET扫描;做视频理解,音频轨道坏了,只剩画面。这些都不是极端个案,而是每天都会遇到的情况。

多模态模型

以往对付这个问题的路子,多半是训练一个统一的大模型,让它在训练阶段就见过各种残缺的输入组合,学会在信息不全时也给出合理判断。这办法管用,但有个前提:你得从头训一个针对该任务的专属模型。

论文走的则是另一条道。眼下市面上有大量已经训好的模型,各自专精一种模态,比如文本能力很强的Qwen3、语音能力很强的Whisper。那能不能不从零训练,而是把这些现成的专家模型拼起来,靠"协作"而非"重新训练"来解决多模态预测?

模型协作

这个思路挺有吸引力:重新训一个大模型,成本高、周期长;拿现成开源模型做协作,理论上又省钱又灵活。不过研究团队挖出了一个此前没人注意的大坑——这种协作方式一旦撞上模态缺失,表现会比预想的脆弱得多。

他们设计了一个很巧的诊断实验。做法是固定住一个"幸存"的单模态模型:不管输入信息怎么变,这个模型拿到的输入始终不变、始终完整。然后把协作系统的预测准确率跟这个固定模型比,看协作究竟带来了多少增益。

结果显示,输入完整时协作确实比单模态模型强不少,情感计算类任务上平均高出14.37个百分点。可随着其他模态信息被陆续拿掉,协作的优势一路往下掉;到只剩极少输入时,传统协作方法在三个应用领域里都出现了负增益。翻成大白话:协作系统的判断不但没帮忙,反倒不如那个输入根本没变的单模态模型。

医疗预测领域的数字最扎眼,传统协作的增益从-2.86一路跌到-9.37个百分点。这说明什么?信息最匮乏的时候,你宁可信一个专科医生独立判断,也别信几个专科医生凑在一起、互相干扰出来的结论。

信息完整时表现很好的协作机制,为什么一缺信息就迅速失灵、甚至反噬?这正是论文要解决的核心矛盾。

协作系统的"失忆症":

发现问题之后,研究团队没有停手,又往下挖了一层,想弄清协作系统内部到底出了什么事。

他们做了一个叫做"

私有信号

实验方法是:先拿别的模态去预测某个模态的特征,预测不出来的那部分残差,就被认定为这个模态的"

结果很有意思:用原始的单模态表示去解码,

好比把几种颜色的颜料混在一起调色,调出来的新颜色确实算一种"综合",可你再也无法从这团混合颜料里,把原来某一种颜色的纯净样本还原出来。不混的话,每种颜料的特性都完整保留,随时能单独取用;一旦混了,哪怕后来丢掉其中几种,剩下那团混合物也早不是干净、未受污染的表示了,它里面每一部分都跟别的颜色缠在了一起。

这就直接解释了协作在模态缺失时为何失灵。协作模块把各模态信息搅得太狠、融得太深,所以即便某个模态的原始输入仍然完整存在,协作系统给出的综合判断也不再纯粹依赖那份完整输入——它掺进了对其他(可能已经缺失的)模态信息的隐性依赖。

研究团队还做了第二层诊断,观察协作系统内部的"共识表示"(综合多个模态信息后形成的统一向量)在不同输入状态下变化有多剧烈。他们用余弦距离衡量这个共识表示的漂移程度,发现相邻状态之间(比如从完整输入变成少一个模态)平均漂移为0.279,而从完整输入直接跳到只剩一个模态的"全到最少"漂移,达到0.456。

也就是说,协作系统对输入变化异常敏感:模态信息越少,内部表示漂移得越厉害,系统行为也就越不稳定。

私有通道加共识修正,两条腿走路

病因查清后,研究团队拿出的方案在论文里被称作LLUNA。

这套设计的思路不是继续让协作模块一家说了算,而是并行铺出两条信息通路。

一条是私有预测通路,从各模态经适配器处理后的原始特征直接出发,给出一个基础预测。它绕开了协作融合那道“搅拌”工序,每个可用模态的信息都相对独立、干净,不会被别的模态稀释。另一条是共同协作通路,各模型的特征在图结构上交换信息、加权整合,最终产生一个

残差修正

这么做的逻辑,是因为此前诊断出的病根在于协作过程把打个比方,公司里的业务骨干自己就能独立写出基础报告,私有通路守的就是这条底线;跨部门会议讨论出来的补充意见,只用来对这份报告做局部优化,这是共同通路承担的角色。

图神经网络

搭图结构时,团队还留了一手:模型之间并非平等地互传信息,而是先算出两两之间的“预测一致性”,拿它当连接权重。做法是给每个模型单独训一个简单任务头,在训练集上看它们预测结果有多相似,相似度高的模型之间权重就大,相似度低、甚至经常唱反调的模型之间权重就小。

这张兼容性图谱的构建思路也颇有意思。团队在三个数据集上做了可视化,发现不同任务里模型之间的“社交网络”结构差别很大。情绪对话识别任务MELD上,图谱很稀疏,文本、音频、视觉三组模型之间只有两条微弱的跨模态桥梁。场景理解任务WorldSense则相反,音频和视觉模型耦合得特别紧,平均连接权重达到0.77,远高于字幕和音频的0.21、字幕和视觉的0.15。阿尔兹海默症预测任务ADNI上,所有模型两两之间几乎都维持在0.76到0.85的高强度连接。

可见“谁该听谁的”,不同任务给出的答案完全不同,硬套一套统一的平权连接方式并不合适。

渐进式协作一致性

双通路之外,LLUNA还有第二个关键机制,叫这个机制针对的是另一个问题:模态一个接一个消失时,协作系统的内部表示怎么平稳过渡,而不是每次都剧烈跳变。

PCC的办法,是把所有可能的“模态可用状态”串成一条条移除链。比如从“文本+音频+视觉”齐全,到去掉视觉只剩“文本+音频”,再到只留“文本”。链上相邻两个状态,只差一个模态。

PCC的训练目标,是让链上相邻两个状态产生的“共识表示”尽量对齐,但方向是单向的:只准信息更丰富的状态去指导信息更匮乏的状态,反过来不行。这个单向约束靠一项叫“停止梯度”的技术实现,说白了,丰富的那一端只当“老师”,不会被匮乏那一端的训练信号反向牵动。

单向引导

巧妙的地方在于,它不要求“完整输入”和“信息极度匮乏”这两个相距很远的状态直接对齐,而是让信息逐级传递、一步步过渡。像爬楼梯,不是让你从一楼一步蹦到五楼,而是一级一级踏实往上走,每级台阶落差都不大。假如没有这种阶梯式设计,硬逼“完整输入”和“只剩一个模态”这两种差异巨大的状态对齐,两者信息量差距太大,对齐目标本身就矛盾重重,训出来的表示会变得混乱。

团队还给这套阶梯式设计配了一个数学保证,证明了一条叫“局部到全局表示稳定性”的定理。大意是:只要链条上每一步相邻状态之间的表示差异都控得住,那么即便两端相隔很远,比如完整输入和极度残缺输入,它们表示上的总体漂移也会被这些局部差异的累加限制住,不会无限制发散。

好比丈量一条蜿蜒山路的总长:只要知道每一小段台阶的高度差不超过某个数,哪怕台阶总数很多,也能从数学上保证山脚到山顶的总落差不会超过某个可预测的上限,不会半路冒出一段垂直悬崖式的陡降。

效率问题团队也没回避。模态数量一多,理论上要考虑的“可用状态组合”就指数级膨胀,M个模态对应2的M次方减1种非空组合,穷举所有状态做一致性约束,训练成本很快失控。他们的对策是每次训练只随机采样少数几条完整的“移除链”,不穷举组合,复用链条之间共享的状态和相邻过渡关系。后续消融实验显示,这种稀疏采样在八个任务上的平均相对性能变化只有负0.28%,几乎可以忽略,但训练时要比较的“一致性对数”大幅减少,比如MELD任务上从九个比较对降到两个,性能反倒提升了0.49%。

八个任务,一次次验证

设计思路说了这么多,实际效果究竟如何?

团队横跨三个应用领域——情感计算、场景理解、医疗预测,共测了八个数据集,包括情绪识别数据集MELD、幽默检测数据集UR-FUNNY、心脏杂音诊断数据集CirCor、阿尔兹海默症转化预测数据集ADNI等。对照的基线方法分三类,其中有通用多模态大模型,比如Qwen2.5-Omni。

Mean-Missing

核心结果表格里,LLUNA在全部八个数据集上的更该留意的是前面那个协作增益诊断实验:固定幸存模型的设定下,LLUNA在全部八个任务上,从输入完整到输入极度匮乏的整个过程,协作增益始终是正值。传统协作方法的均值则在六个任务上,到了最匮乏状态时都翻成了负数。这组对比直接印证了LLUNA确实治好了最初发现的那个核心问题——信息残缺时协作不但没失灵,反而一直保持正向价值。

研究团队还设计了一种更严格的对照实验:让传统基线方法在训练阶段也接触各类残缺输入,而非只用完整数据训练,以此判断LLUNA的优势是否仅源于训练方式差异。结果,即便基线方法同样“见过残缺数据”,LLUNA仍在三个代表性任务上全面胜出。CH-SIMS v2上最强基线误差为0.3546,LLUNA为0.3421;WorldSense上最强基线为32.64%,LLUNA为33.82%;ADNI上最强基线为82.08%,LLUNA为84.17%。

模型池规模实验也带来了一些有意思的发现。团队分别尝试了由三个、六个、九个模型构成的模型池,九个模型的池子整体表现最佳,相比三个模型的池子平均带来1.77%到27.02%的相对提升。不过提升并非线性:某些任务从三个扩展到六个模型时表现反而下滑,再扩到九个才重新回升。这说明单纯堆更多模型并不保证效果更好,模型之间的搭配组合同样关键。

论文中还有一组关于训练参数量的数据很能说明问题。UR-FUNNY任务上,LLUNA仅用1.29M可训练参数就达到70.91%的准确率;表现第二好的基线方法LIMSSR用了4.25M参数(是LLUNA的3.3倍),准确率为68.46%。换言之,LLUNA取胜靠的不是堆参数量,而是架构设计本身的合理性,从而在效率和效果上同时占优。

论文还通过一个三维消融实验,系统拆解了各设计模块的贡献。去掉私有预测通路后,ADNI任务的平衡准确率直接下降18.54个百分点;去掉共同协作通路则下降4.79个百分点。两者都不可或缺,但私有通路的权重更大,这再次印证了“保留直通车”这一设计思路的必要性。把PCC的一致性约束从“相邻状态对齐”换成“全到最少直接对齐”或“所有状态两两对齐”,效果均不如原始的阶梯式相邻对齐,说明循序渐进确实比一步到位或全面铺开更有效。

写在后面

读完这篇论文,最让人意外的不是LLUNA方法本身设计得多精巧,而是研究团队那个固定锚点的诊断实验。实验设计很朴素:固定住一个模型的输入不变,只看协作系统相对它的增益如何变化。但正是这个简单的控制变量思路,戳破了一个此前被默认为“协作总是更好”的假设。

这让人联想到一种常见的直觉:集成学习一定比单模型强。可这种直觉往往隐含一个前提——所有输入信息都齐全。一旦前提被打破,很多在标准测试集上表现优异的集成系统,可能连最基础的单一专家判断都比不过。这个教训不只适用于AI模型,对任何需要“团队协作应对突发信息缺失”的系统设计都有启发,比如应急响应体系、医疗会诊流程,信息不全时,过度依赖综合讨论反而可能不如依赖最熟悉那部分信息的单一专家。

私有信号的恢复率从58.52%掉到33.47%,这个数字背后其实藏着一个更普遍的道理:不管用哪种方式做信息融合,说到底都是有损压缩。想要拿到“综合视角”,就得接受“细节纯度”往下走。问题不在某个算法设计得差,而是融合这件事本身就要收这笔账。LLUNA没有去消灭这笔代价,它承认代价存在,然后另开一条平行通路把它绕过去。与其一味把融合算法做得更复杂,这种不去正面硬解矛盾、而是绕开矛盾的做法,可能更实用。

论文末尾也点了方法的局限:这套架构是围着一个固定的模型池训练出来的,想换一组模型搭配,眼下还得把整个协作模块重新训一遍。这个限制挺现实——真实世界里,能用的单模态模型自己也在不停迭代。模型池一动就要重训一整套协作系统,方案的灵活性自然会打折扣。这或许正是留给后来研究者的问题:能不能做出一种协作机制,既保留“私有通路加

Q&A

Q1:

A:

Q2:为什么多个AI

A:论文的诊断结论是,协作融合的过程会把各模态独有的私有信号冲淡,恢复率由58.52%滑到33.47%。另一头,协作系统的内部表示对输入变化相当敏感,信息缺得越多,表示漂移得越厉害,结果协作判断非但帮不上忙,表现还比不上那个输入完整、没被改动的单模态模型。

Q3:

A:

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 剑桥词典2026年度词选“Human”:AI时代重问人性是什么

    IT之家 11 月 18 日消息,人工智能带来的担忧,让剑桥词典将目光重新投向了 15 世纪,选择一个古老词汇来概括 2026 年的时代文化特征。剑桥词典公布的年度词汇是“Human”。这一选择不仅是对过去的回望,也在一定程度上反映了人们对 AI 发展的反思。随着人工智能逐渐模糊机器与人类之间的界限,关于人类独特性的讨

    来源 腾讯网
  2. AI高薪叙事之外:985硕士12小时连轴转,校招门槛抬到社招

    晚上11点,杨涵合上电脑,12小时连轴转暂告一段落。但人下班了,神经没下,一旦数据有问题,她要24小时待命。 杨涵毕业已经3年,是985计算机本科、QS前20院校硕士,始终在AI这条线上,在几家大厂攒过实习和履历,还当过初创公司AI方向负责人。 这扎实的简历,配上超高的工作强度,按理说收入该傲视群雄。但眼下杨涵的月薪,

    来源 AI 行业观察
  3. AI 崛起,专业价值被消解,还是被重塑?

    设置星标★关注,从此你的世界多点科学~现代工程项目越来越多地要求人类判断力与机器能力相结合。工程师可以先定义问题,接着借助AI工具检索相关研究成果和技术标准,生成多种设计方案,开展仿真测试,并对比各项结果,然后将结果交给那些“能判断AI所不能判断”的其他领域专家,后者负责评估某款设计可否安全落地、在特定...

    来源 腾讯网
  4. MJev-Spatial:AI答空间问题不再逐字生成,直接“选”出答案

    你有没有想过一个很怪的问题:当你问AI"杯子在桌子的左边还是右边",它为什么要洋洋洒洒打出一整句话"根据图片观察,杯子位于桌子的左侧",而不是直接告诉你"左"这一个字?这不是矫情,这是现在所有视觉语言模型的通病。一、一个被忽略的效率黑洞先说个可能颠覆你认知的事实:现在主流的AI视觉模型回答"左还是右""距离多少...

    来源 腾讯网
  5. AI伴侣的孤独陷阱

    AI伴侣的核心卖点是随叫随到的陪伴,但这种陪伴是否真正有效?斯坦福大学一项基于46万条真实聊天记录的研究发现,对于社交网络薄弱的人,这种陪伴不仅没有缓解孤独,反而让孤独加剧。

    来源 AI 行业观察
  6. 员工都用上AI了,企业整体效率为何没跟上?

    现在,不少制造企业已经开始用AI:写报告、做分析、辅助研发、处理订单。可员工效率提高了,企业整体效率为什么不跟着提升?会用AI,不等于企业拥有AI能力。2026鼎捷智造节特别直播上,三位嘉宾围绕AI应用、组织协同与转型路径展开讨论。我们提炼出三个问题。1、AI很热闹组织AI却“冰火两重天”先看一个现象。员工用AI写报告

    来源 腾讯网
  7. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  8. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  9. 宁德时代独家投资子虔科技C轮:AI能否压缩工业研发前置环节?

    过去一个多世纪,制造业一直在解决“如何更快、更便宜、更稳定地生产”。从福特流水线到自动化工厂,这个问题已被回答得足够好。但另一个问题很少被摆上台面:产品走上产线之前,它究竟应该被设计成什么样? 如果说制造,是把确定方案生产出来,那么创造,就是从无数种可能里找到可行设计。制造有产线、节拍、良率等一系列参数可以衡量,创造却

    来源 AI 行业观察
  10. 李东生谈AI:技术须开放造福全人类,警惕少数企业垄断

    南方财经 21世纪经济报道记者 郑青亭 深圳报道“AI技术必须是一项开放的、造福全人类的技术。”11月17日,在2026年亚太经合组织(APEC)工商领导人峰会上,TCL创始人、董事长李东生给火热的AI赛道提了两点“冷思考”:一是反对垄断封锁,二是呼吁别让AI“走火入魔”。但李东生并非空谈警惕。TCL的AI账本很实在:

    来源 腾讯网
  11. 击败传统 K-pop 偶像,AI 辅助制作歌曲首次登顶韩国热门音乐排行榜

    IT之家 11 月 17 日消息,据日经亚洲今天(17 日)上午报道,韩国 AI 音乐项目 MEOMURU 推出的《你成为梦想中的大人了吗?》登顶 Melon TOP100,成为第一首登上韩国主要音乐榜单榜首的 AI 辅助制作歌曲。 该曲在当地时间 13 日登上 Melon TOP100 榜首,截至当地时间 16 日仍

    来源 AI 行业观察
  12. 盖洛普报告:超三分之一Z世代用AI交朋友,孤独感更高

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 行业观察
  13. AI漫剧脸为何看着"完美"?心理专家唐义诚拆解三大审美开关

    随着AI漫剧热度持续走高,社交平台上相关讨论越来越多。有网友反映,沉迷AI漫剧一段时间后,再回头看现实中的真人,会觉得“变丑了”。这种感受听起来有点夸张,但背后其实牵扯到审美参照和心理比较。 还有网友说,看多了AI漫剧里五官对称、皮肤零瑕疵的脸,再照镜子时,会不自觉拿那套标准审视自己,越看越不自信。一个是看别人觉得“变

    来源 AI 行业观察
向下滚动自动加载更多