孟哲耿团队研究多模态冲突：三源信号打架，AI该追问还是弃权

开会时碰上过这种情况吗：视频会议里画面在讲一件事，声音说的是另一件事，字幕打出来的内容又跟这两样都对不上。换成你会怎么处理？直接信眼前看到的，还是先追问一句“等等，你刚才说的是什么意思”？

这个日常场景，正是加拿大国家研究委员会（NRC）研究员孟哲耿在琢磨的问题。他的论文题目偏学术，叫《三通道分数冲突中的受控获取与弃权》，说白了要解决的就是上面那个会议室场景的机器版本：音频、视频、文本三个信息源互相矛盾时，一个AI系统该怎么办。

为什么这事比听着难得多

先讲一个可能出乎你意料的事实。

多模态AI（能同时处理声音、画面、文字的系统）领域，多数研究想的是怎么把三类信息融得更准，准确率越高越好，这几乎是行业默认的目标。可这篇论文开篇就拆掉了这个默认前提：

**光看最终答案准不准，根本判断不出一个系统该不该多问一句，或者该不该干脆不回答。**

这话有点绕，换个说法。假定有个AI系统，每次都给出明确答案，从不说“我不确定”，准确率也许能到90%，听着很强。但那90%里看不出剩下10%的错误是怎么来的：哪些是它本该多收集点信息却懒得去问，哪些是这件事本身就没法判断、它硬答反而添乱。

这就像一个从不含糊下诊断的医生。你只数他说对了多少次，看不出他有没有该做CT时图省事没做，也看不出有些病例症状本来就模糊到顶级专家都判断不了，他却偏要显得很有把握。不把“要不要多做一项检查”和“最终诊断对不对”分开算账，你永远分不清这个医生是技术过硬，还是运气好加嘴硬。

论文干的第一件事，就是把这两个决策分开：一个是**要不要花额外代价去拿第三个信息源**，另一个是**手头信息够不够支撑回答、还是该弃权**。两者相互独立，得各算各的。

实验怎么搭：三个会打架的分数

作者没直接上真实音视频数据，而是先搭了个简化的“玩具世界”把问题研究透。

这个玩具世界里埋着一个隐藏真相（比如某件事究竟偏积极还是偏消极），用0或1表示。然后围绕它生成三个带符号的分数，分别代表音频、视频、文本的判断——数值越大信号越强，正负号表示判断方向。

> 信号与噪声模型：论文设定一个基础信号强度和一个高斯噪声水平，三个分数都围绕真相值加噪声生成，模拟现实中传感器不可能完全精确的情况。

按说三个分数该大体一致、指向同一方向，可现实世界没那么干净。作者于是塞进七种“捣乱机制”：整个信号方向反掉（invert）；两个信号互换位置（swap）；某个信号直接变成随机噪声（dropout）；两个信号同时出问题（mixed）；信号被异常放大（burst）；还有一种叫“ambiguity”（模糊性），三个信号被刻意设成互相矛盾、谁也说清不了真相是什么。

模糊性机制：论文里只有这一类损坏是明确鼓励“弃权”的——在那种情形下，信息拿得再多也没用，正负两种结果出现的概率在数学上完全对称，光靠观测根本判不出真相。

有个设定值得停下来想一想。论文提到，mixed（混合损坏）和ambiguity（模糊性）从统计角度看其实等价，都是让人没法从观测里判断真相。但设计者定了规矩：撞上ambiguity就该弃权，撞上mixed却必须给答案，答错了照样扣分。

听着不太公平吧？两道数学上一样难的题，一道允许说“我不会”，另一道逼着你瞎猜。可这恰恰是论文最诚实的地方：它承认“该不该弃权”这条线不是客观真理，而是业务上的价值判断。好比考试，有的老师允许你写“不确定”拿部分分，有的老师规定必须选一个。规则不同，结果自然不同——这不是算法的锅，是设计者的选择。

核心机制：一个会“看脸色”决定要不要多问的策略

论文的主角叫THRESHOLD策略（阈值策略），工作方式挺朴素。

系统先拿到音频和视频两个分数。这两个分数符号不一致（一个说好一个说坏），或者任何一个的绝对值太小（信号本身弱、不太靠得住），系统就花点代价去申请第三个分数，也就是文本。拿到之后，只要三个分数里至少两个强度够高且方向一致，系统就作答；否则干脆弃权，什么都不说。

THRESHOLD策略：这套查询与弃权策略纯靠规则，不牵扯任何机器学习；两个已知分数对不上、或者信号太弱，它就主动去要第三个信息源，否则拿现有信息直接下判断。

这设计像什么？

像在超市挑水果。你拿起一个苹果，看了看又摸了摸，看着红润、摸着结实，就直接放进篮子，不用再凑近闻；可要是看着红润摸着却软趴趴（信号矛盾），或者颜色暗沉得让你犯嘀咕（信号太弱），你才会多花几秒闻一闻判断坏没坏。不这么筛，每个苹果都闻一遍，买菜时间得翻三倍，多数时候那一下闻纯属浪费；可一个都不闻，真有问题的那几个你得拎回家才发现。THRESHOLD策略就是在“全闻”和“全不闻”之间找那个省时又保险的中间点。

实验数据方面，该策略在部分留出测试集上拿到0.789的“目标决策准确率”（这个指标专门针对模糊性案例奖励弃权），综合效用达到0.481。作为对照，一个总是回答、从不弃权、还能看到全部三个分数的“三数投票多数”参照系统（majority），准确率只有0.626，效用只有0.252。

不过有个细节常被漏掉：majority拿到了全部三个分数，THRESHOLD手里只有两个，想拿第三个得另外掏钱。所以这压根不是一场公平对决，它问的是另一个问题——信息更少，再在合适的时候选择弃权，能不能换来更高的实际效用？答案是能，前提是大约四成的案例你愿意不给答案。这套“效用”到底怎么算，又为什么重要？

论文给了一个具体的打分公式：答对加1分，答错减1分，每申请第三个分数扣0.1分作为代价；如果在非模糊性案例里本该作答却选了弃权，再扣0.2分。所谓效用函数，就是把准确率、查询成本、错误弃权成本折算进同一个数字的综合评分方式，让“要不要多问一句”“要不要闭嘴”这些决策的代价能被量化比较。

这个设计的巧妙之处，是把“多问一句的代价”明明白白写进了评分里。现实中我们常凭直觉觉得“多了解点信息总是好的”，论文却用数字告诉你：不是这样，信息是有价的。查询成本定得高，频繁查询反而会拖累总分。

论文做了成本敏感性测试，查询成本从0.1一路加到0.4，弃权成本从0.2加到0.8。结果很直接：在原始的“校园成本”设定下，THRESHOLD策略效用为0.481，远超majority的0.252；可一旦成本翻两番，THRESHOLD的效用掉到0.192，反倒低于majority的0.252。

这就像你纠结要不要打电话问朋友一个地址。长途电话免费，当然随便问。可一旦这通电话按分钟收天价国际漫游费，你就得掂量：这个地址值不值得花这个钱确认，还是干脆冒险走错一条路更省钱。没有哪种查询策略在所有成本下都最优，策略的好坏永远依附于它所处的成本结构。

论文还做了个很有意思的对照实验：机器学习能不能替代这套手工规则，自己学出一个“要不要查询”的判断力？当“学出来的判断力”反而帮倒忙，问题就来了。

他们训练了一个名为LEARNED ACQUISITION（学习型获取）的小型神经网络：输入只有音频、视频两个分数，输出的是“要不要再去查第三个信息源”这一判断。训练这个决策模型时，目标取自只有离线阶段才能拿到的完整信息（含真实标签），可真正投入使用后，它手上只有部分信息。

结果呢？在训练阶段见过的“已知损坏类型”上，这个学习型模型表现不错，查询率只有42.5%就达到了跟THRESHOLD差不多的准确率。但一到了全新的、训练时没见过的损坏类型（也就是部分留出的测试集），它的表现明显掉链子：查询率降到51.9%，目标决策准确率只有0.746，效用0.417，都明显低于手工设计的THRESHOLD策略（0.789和0.481）。

这个结论跟直觉拧着来。大家常以为“学出来的”总比“手写规则”更聪明、更灵活——机器学习的长处不就是能挖出人没料到的规律吗？可这里偏偏倒过来：碰上完全陌生的损坏类型，一条简单粗糙的硬编码规则反倒比学出来的模型更稳。说到底，机器学习模型的泛化能力是有边界的，测试数据分布一旦跟训练数据离得太远，那些看起来聪明的学习结果，可能连个“笨办法”都赢不了。

论文还补了一组预算控制对照实验，把问题说得更清楚。把申请数据量固定在10%或25%时，这个训练出来的“价值选择器”确实压过随机选择和干脆不查询两种做法。可预算一提到50%或63.7%，局面就翻了过来：选择器开始去申请那些“查了反而把答案拖得更差”的样本，整体效用掉到什么都不查之下。相比之下，“配对不确定性”这个更简单的办法——两个分数相加绝对值最小的样本先查——在各个预算档位上的效用都稳稳高于学习型选择器。

打个比方，这就像一个专等最后一刻降价才出手的股票策略：资金少时表现抢眼，一旦把规模放大，它会把钱砸进那些本该放弃的烂股票，亏得反而更多。而“永远先补仓信号最模糊的那几只”这种笨办法，看着不性感，却在各种资金规模下都稳稳跑赢。聪明的策略在小范围内也许成立，放大之后却可能系统性地出错——原因就在于它学到的“规律”本身是从小样本、特定分布里总结出来的，经不起规模和分布的变化。

光在虚拟的“分数世界”里跑实验还不够。真实世界的检验里，声音和画面到底谁说了算？论文又跑到真实数据集上做了检验，结果同样耐人寻味。

在CREMA-D数据集上——这是个专门采集演员演绎各类情绪的音视频语料库——论文拿两种不同的“编码器组合”做了比对，所谓编码器组合，就是把原始音频、视频转成数字特征的神经网络工具。

编码器指的是把原始音频波形或视频画面转换成一组数字向量的神经网络模型，这组数字向量能被后续的分类器理解和处理，常见的音频编码器有wav2vec 2.0和HuBERT，视频编码器有Vision Transformer（ViT）和DeiT。

拿wav2vec 2.0搭ViT，八帧视频与音频融合后，准确率比只用音频高5.87个百分点，听着还行。换成HuBERT配DeiT，融合后的准确率反倒比单用音频低2.49个百分点。更关键的是，这两个结果的95%置信区间都跨过了0——也就是说，统计上看，这两处差异都还说不准是真实效果，有可能只是噪声。

换句话说，"加进视频信号究竟管不管用"，得看你挑的是哪个编码器。换个工具箱，结论就可能掉个个儿。好比问"多吃蔬菜对身体是不是更好"，理论上答案该是肯定的，可要是体检设备本身精度不够，不同医院查出来一个说好转、一个说没变化，你很难分清是蔬菜起了作用，还是设备误差盖过了真实效果。论文对此并不回避：**全模态融合有没有价值，很大程度上取决于用什么工具去测，脱离具体技术选型，这话没法泛泛而论**。

时序数据里埋着一个坑

论文另做了一组时序实验，输入不是单个分数，而是随时间变化的波形轨迹。结果出现一个让人警惕的情况：那些看着表现很好的神经网络模型（时序融合网络、时序门控网络），优势很可能并不来自它们理解了时间先后，而是数据里自带一个"固定模板"。研究者为此设计了一个验证：训练一个完全不懂时间概念的岭回归分类器，只喂它训练集里固定的波形模板，结果它和复杂神经网络几乎打平，准确率都在0.786左右。更关键的一步是，把训练集和测试集做同样的时间置换——打乱时间顺序，但两边打乱方式保持一致——四种方法的表现都没有明显起伏。

真正分出高下的是另一种操作：各自独立打乱每个通道内部的顺序。这一下，简单的模板方法和岭回归准确率直接跌到0.428左右，接近瞎猜，神经网络则还能守在0.768附近。这个结果挺耐人寻味。它说明此前"神经网络强过简单方法"的印象，可能一直踩在一个不牢靠的前提上：数据里有个固定模板，谁都能学到，并非神经网络真懂了"时序"本身。只有刻意打乱内部结构、把这个模板毁掉，它的真实本事才露出来。就像学生平时回回考满分，老师以为他真学通了，直到换一套风格完全不同的题，才发现他是把标准答案背下来了，问法一歪就不会。**不做这种破坏性对照，你很容易把"记住模板"当成"学会规律"**。

这些发现意味着什么

几条线索串起来，论文给出的是一个相当克制、也相当诚实的结论。它没说自己发明了一套走到哪都好使的查询与弃权策略。相反，论文一再强调，**全部实验结果都紧紧绑在具体的奖励设定、具体的预算、具体的编码器选择上，换个场景，排名很可能整个翻过来**。

可这种克制，恰恰是论文最值钱的地方。它靠一整套严谨对照的实验说明：判断一个多模态系统该不该多问一句、该不该弃权，不能只盯最终准确率这一个数。查询成本、弃权成本、不同损坏类型下的表现，得分开拆开来看；还得提防"学出来的策略"在陌生分布下失灵；更得意识到，换一个底层编码器，结论可能完全不同。

写在后面

读完这篇论文，让我印象最深的不是哪个具体结果，而是作者反复讲的一句话：数学上同样"无法判断"的两种情况（mixed和ambiguity），系统却被设计成一个该弃权、一个不许弃权。这设定乍看像个bug，后来想通了，它其实在模拟现实里那种**没有客观标准、只能靠人定规矩的决策场景**。医疗诊断里就常碰上这种两难：同样是"检查结果模糊"的病例，有的科室规定模糊就转诊专家（等于"弃权"），有的科室图效率，规定必须当场给个初步判断。两套规则都说得通，但训练出来的医生行为模式会截然不同。论文把"规则本身是价值选择、不是客观真理"这件事，用一个干净的数学实验摆了出来，这是我觉得最有启发的地方。

还有个细节让我停下来想了很久：那个学习型查询选择器，低预算时表现不错，高预算时反倒拖累整体效用。这跟我们"数据越多越好、模型越聪明越好"的直觉是拧着的。它提醒我，任何基于历史数据训练出来的"智能判断"，背后都藏着一条使用边界，越过去，聪明可能就变成犯傻。

论文里还留着一堆没解决的问题，比如真实应用中的查询延迟、隐私成本到底怎么量化，比如人类评估压根还没开始做。这些空白恰恰说明，它更像是搭了一个实验沙盘——一个能让后来人反复推敲、反复验证各种假设的受控环境，而不是能直接拿去部署的最终方案。

三个感官真打起来，你会选择多问一句，还是选择闭嘴？这个问题到今天，答案从来就不只是技术层面的。

Q&A

Q1：THRESHOLD策略是什么，和普通的多数投票系统有什么区别？

A：THRESHOLD是一套基于规则的查询与弃权策略，只取两个初始分数，碰到矛盾或信号太弱才去要第三个分数，信息不够时允许直接弃权。普通的多数投票系统不一样，它一上来就拿全部三个分数，从不弃权。两者用的信息量和决策逻辑都不同，准确率高低不能简单对比。

Q2：为什么论文里机器学习训练出来的查询选择器反而表现不如手工设计的规则？

A：因为这个学习型选择器只在特定损坏类型上训练过，一旦碰上训练时没见过的全新损坏类型，泛化能力就明显掉下来，查询准确率和效用都低于简单的硬编码阈值规则。这说明机器学习模型在分布外场景里容易失灵。

Q3：论文中提到的ambiguity和mixed两种损坏机制有什么区别？

A：两者在数学上都让人没法从观测里判断真相，但系统设计上只对ambiguity机制奖励弃权，对mixed机制则要求必须给出答案、答错还要扣分。这体现的是人为设定的价值取舍，不是客观难度上有差别。