北大阿里团队发现音视频评测漏洞：拿掉声音，Qwen3.5-Plus照样能答对

一个AI模型，假如既能看到视频画面、又能听到视频里的声音，它是不是就自然而然地会“边看边听”地理解内容了？这个问题你或许也琢磨过。

听上去顺理成章。人就是这么做的：看电影时，眼睛盯着画面，耳朵收着对白和配乐，两路信息自动合成一个完整印象。照这个逻辑，把音频和视觉信号一起喂给AI，它理应也能办到类似的事。

可2026年北京大学与阿里巴巴团队的一篇论文，给这种想当然的判断浇了一盆冷水。

研究者设计的实验并不复杂：把视频里的音频抽掉，只让一个叫Qwen3.5-Plus的模型看画面，再让它回答那些专门考察“音视频联合理解”的题目。结果在WorldSense、Daily-Omni这些主流音视频测评基准上，这个只听不到声音、纯靠画面的模型，准确率竟然落在57.85%到68.76%之间。

这说明了什么？

那些打着“音视频联合推理”旗号的题目，有相当一部分压根不用听声音就能蒙对。它们实际测的是模型单看视频的理解力，声音不过是锦上添花的辅助，并非解题必需。

好比你去考一场声称测“中英双语能力”的试，翻开卷子却发现大半题目只用英语就能答，中文那部分等于摆设。这样一场考试，量出来的显然不是你真正的双语水平。

**论文的核心贡献有两点：先揪出这个长期被忽略的测评漏洞，再亲手搭起一套非得“耳朵加眼睛一起想”才解得开的测试体系，并配上了相应的训练方法。**

这个发现的分量，得从一个更基本的问题讲起：如今的全模态大模型，究竟强在哪里，又弱在哪里？

**全模态大模型的“虚假繁荣”**

这几年，Qwen-Omni、Nemotron这类全模态模型一个接一个冒出来，都宣称能同时读懂音频、视觉和文字，好像把人类感知世界的通道全给接通了。

全模态大模型*：这类大语言模型能同时接收音频、图像、视频、文本等多种模态的输入，目标是模仿人靠视觉、听觉等多种感官综合认知世界的方式。

可问题在于，这些模型是真学会了把不同感官的信息“拧”到一块儿去推理，还是各自在单个模态上表现尚可，拼出一种“看着挺全面”的假象？

论文里有个例子很生动。设想你在看一段视频：画面中一个叫Diane的人提到“妈妈今年87岁生日”，与此同时一本2023年的日历在镜头里一闪而过，紧接着镜头又推近一枚戒指，上面刻着1956年。那么问题来了：戒指上的年份和Diane妈妈的出生年份，相差多少年？

光靠听声音解不了这道题，因为你不知道当下是哪一年；光靠看画面也不行，因为你不知道妈妈今年多大。两个信息必须拼起来：2023减87得1936，这是妈妈的出生年份；再用1956减1936，得20，这才是答案。

这才是名副其实的音视频联合推理。少了任何一个信息源，题目都无解。

可现实是，市面上多数测评题目并非如此设计。它们通常只是把音频和视觉内容“摆”在一处，并不让两者构成互相依赖的证据链。尴尬的局面由此而来：模型也许根本没学会真正的跨模态联合推理，测评分数却依然好看，因为题目本身留了太多“单靠一个模态就能蒙对”的口子。

**这就像一个学生，考试时数学应用题那部分没复习，偏偏卷子里有一半题目能靠套公式混过去，成绩单上照样写着“数学能力优秀”。成绩单骗过了所有人，说不定连学生自己也骗了。**

这个毛病不解决，会怎样？

整个领域会在一个虚假的基准上自我陶醉，训出来的模型看着全知全能，一到真正需要跨模态深度整合的场景就露馅。医生看诊疗视频，既要听口头诊断又要看检查报告画面；安防系统既要分析监控画面又要分辨异常声响——这些真实场景所需的联合推理能力，恰恰是现有测评量不出来、现有训练也没法针对性补上的盲区。

**OmniReasoningBench：一道必须用“两只耳朵”才能解开的题**

研究团队迈出的第一步，是重新设计一套测评基准，取名OmniReasoningBench。

这套基准共1150道题目，分成两大类任务：一类是“视频内推理”，考的是能否把视频里不同时间点冒出的音频线索和视觉线索串成一条线；另一类是“视频外推理”，考的是能否把从视频中学到的知识与规则，迁移到一个全新的场景或图表上。

视频内推理*：要得出结论，得把视频里不同时间点的线索串起来，像侦探破案那样，因为答案所需的证据分散在视频内部不同的音频和视觉片段中。

视频外推理*：题目讲的是视频里的某条规则或某种方法，但要解答它，得把这些内容搬到视频之外的新情境、新图表或新数据上去用。

研究团队设了一套很严的筛题机制，目的就是让每道题都必须同时用到音频和视觉证据，没法只靠一个模态蒙混过去。每道候选题目都要过四种输入条件的测试：只给文字不给音视频、只给音频、只给视觉、音频加视觉一起给。只有在“只给文字”和“只给单一模态”这三种条件下模型都答错、而“音频加视觉”条件下能答对的题，才会被留下来。

这套筛选逻辑，说白了有点像考试时防作弊的监考流程：得先确认这道题真的没法作弊取巧，才能正式收进题库。

效果立竿见影。论文里的数据显示，Qwen3.5-Plus模型在没有音频的情况下回答视频内推理题目，多选题准确率从联合输入时的42.7%直接跌到17.2%，开放式问答则从41.9%掉到8.7%。这个落差，比在WorldSense、Daily-Omni这些旧基准上看到的落差要大得多。

论文还设计了一个更有意思的实验，想证明音视频联合推理带来的提升，没法用“音频能答对的题”加上“视觉能答对的题”取并集来解释。他们拿Qwen3.5-Omni-Plus、Gemini-3.1-Pro、Gemini-3.5-Flash三个模型做测试，分别记下每个模型在单独用音频、单独用视觉、以及音视频联合三种条件下的得分，再算出一个“单模态并集预言机”，也就是只要音频或视觉任意一方能答对就算这道题被解决了的理论上限。

结果，联合输入的实际表现比这个理论上限还高出9.9到26.7个百分点。也就是说，真正发生联合推理的那一刻，产生的不是简单叠加信息，而是某种“化学反应”：两条本来各自残缺的线索，碰在一起之后能推出单独任何一方都推不出的结论。

打个比方，拼图里有两片看着风马牛不相及的碎块，单拎出哪一块都猜不出画的是啥，可只要拼对位置，画面中间那只猫的轮廓立马就显出来了。单独放着的两片碎块，价值基本等于零；一旦凑成一对，得到的东西远不是两块简单相加能比。

OmniReasoningBench总共覆盖19种具体任务类型，包括背景音乐理解、因果推理、计数、空间推理、时序推理、案例分析、跨场景迁移、设计优化等等。每道题目都配有详细标注的“证据链”，把答案需要用到的具体音频片段和视觉片段、以及它们之间的时间戳对应关系写得清清楚楚。

**OmniQA数据引擎：怎么批量造出这种“烧脑题”**

光有一套测评标准还不够。要训练出真正擅长音视频联合推理的模型，得有大量训练数据，而这些数据同样必须具备那种“证据互相依赖”的特性，不能随便拼凑音频、文字、视觉素材了事。

为此，研究团队做出了第二个核心成果——OmniQA数据引擎。这是一套自动化流水线，专门用来批量生产这种高质量的证据绑定式问答数据。

整个流程大致分四步。第一步是字幕生成：用Gemini-3.1-Pro这样的模型先把视频切成一个个事件片段，再分别给每个片段的视觉内容和音频内容打上带时间戳的详细描述。第二步是问题生成：让另一个模型Qwen3.8根据这些描述和预设的任务类型，生成具体的问题、选项、参考答案，以及一条完整的推理步骤链条，清楚标明哪一步依赖哪个时间戳的音频或视觉线索。

第三步是验证，也是整条流程中质量把关最要紧的一环。系统会逐道对候选题目做结构层面的核查，看推理链里引用的每个时间戳证据是不是确实存在、又是否真的撑得起相应结论。更要紧的是，它拿前面说的那套“四种输入条件测试”去堵投机取巧的口子：一道题得在纯文字、纯音频、纯视觉这三种受限条件下全都答错，换成联合输入又能答对，才够格被正式收进来。

第四步是生成完整的思考过程文本，供后续的监督微调训练使用。这一步会把验证通过的证据链扩写成一段“思维独白”，里面有观察、中间推理、多选项比较、数值计算等完整环节，风格类似人解题时内心的自我对话。

**这条流水线说白了就是一条自动化的高考命题线，可它比人类命题老师还狠——它会先把自己当成一个专爱钻空子的考生，把各种单一信息源都试一遍，看能不能糊弄过去，只有怎么都糊弄不过去的题，才留得进最终题库。**

靠这套引擎，研究团队产出了两份训练数据集：一份叫OmniReasoning-SFT-112K，包含112463条带完整思考过程标注的训练样本，用于监督微调阶段；另一份叫OmniReasoning-RL-19K，包含18991条经过人工复核的问题，保留了结构化的音频和视觉线索标注，专门用于强化学习阶段。

监督微调*：简称SFT，指用大量带标准答案和推理过程的样本直接训练模型模仿这种解题方式的训练阶段。

强化学习*：英文缩写RL。做法是不把标准答案直接喂给模型，而是让它自己先写出答案，再按答案的好坏给奖励或惩罚，模型就一点点学会写出更好的答案。

这些训练数据覆盖游戏、体育、旅行、美食、手工艺、科技、艺术、社会文化等八大内容领域，视频时长从几分钟到三十分钟以上不等，训练素材的多样性和代表性都有保证。

**Modality-Factored Self-Distillation：教模型分辨“这个线索到底是谁贡献的”**

测评标准和训练数据都有了，接下来要解决方法论层面最棘手的问题：怎么设计一种训练算法，让模型真正学会做跨模态的联合推理，而不是只记住训练集里的套路？

这里得先说说现有强化学习方法的短板。眼下主流的路子，比如GRPO，核心思路就是盯模型生成的答案最后对不对，对了还是错了，给一个笼统的奖励信号；至于这个正确答案是听音频听出来的、看视觉看出来的，还是真把两者揉到一块儿才得出的，它压根不做区分。

GRPO*：全称Group Relative Policy Optimization，一种强化学习训练方法，通过比较同一问题下多个采样回答的相对优劣来计算奖励信号，从而指导模型优化。

隐患就出在这里。GRPO这类奖励机制只盯最终答案，靠单一模态碰巧蒙对的模型，和真正完成跨模态融合推理的模型，拿到的奖励可能一模一样。时间一长，模型学会的不是“怎么把音视频信息揉到一起”，而是“怎么找到随便哪条能蒙对答案的捷径”。

针对这个问题，研究团队拿出第三个核心贡献——Modality-Factored Self-Distillation，简称MFSD。思路源自一项叫RLSD的技术：模型生成答案的同时，用一些“特权信息”给答案里的每个词重新打分，看引入这些额外信息后，模型对自己说出的每个词信心有没有涨、涨了多少，再把涨幅折算成训练时的奖励权重。

RLSD*，即 Self-Distilled RLVR，是一种在线自蒸馏强化学习方案。它给模型补充额外的特权上下文信息，看模型对自己产出的每个词置信度怎么变，再拿这个变化去调节训练时的奖励力度。

不过RLSD原本没把跨模态交互这层考虑进去。MFSD的不同在于，它给出的“特权信息”不止一种，而是搭出四种信息组合情境：什么线索都不给、只给音频、只给视觉、音频视觉一起给。同一个模型在这四种情境下，分别对自己生成的每个词重新打分，再看置信度怎么变。

四组分数里藏着两种关键信号。一种叫“联合线索增益”，看的是音视频两种线索都给之后，模型对这个词的信心总体涨了多少。另一种叫“交互增益”，算法更巧：联合线索带来的提升，先减掉单独音频的提升，再减掉单独视觉的提升。

交互增益为正，说明音频和视觉凑在一起的效果，超过了二者单独起作用之和，这才是真正意义上的“1加1大于2”的跨模态融合。交互增益接近零，则说明联合线索那点提升靠单一模态就能解释干净，谈不上什么融合。

打个比方，评价一道菜的味道：酱油单独加会变咸，醋单独加会变酸，可两样一起下锅，冒出来的却是一种全新的复合鲜味，比单放任何一种调料都强得多——这才算得上真正的“调味融合”。反过来，要是混完只是咸加酸、味道简单叠在一起，那并没有发生真正意义上的风味融合，无非是同时放了两种调料罢了。

MFSD就用这个交互增益信号，给模型生成的每个词做更细的奖励分配：真正靠跨模态融合才把置信度提上去的词，正向奖励更大、惩罚力度更小；只凭单一模态线索就能解释清楚的词，则主要靠联合线索的整体支持拿到适度奖励。

联合增益和交互增益两个信号数值量级差别太大，训练容易不稳。论文为此加了一套自适应尺度校准机制，用滑动平均动态调整两者的相对权重，让它们在合并时能公平地共同作用于最终训练信号。

**实验结果：数字不会说谎**

方法讲了一堆，最后还得看实际效果。

实验以Qwen3-Omni-30B-A3B-Thinking为基础模型，先用112463条SFT数据做监督微调，再在相同训练预算下（150步、每题采样8个回答、每次更新256条生成回复）分别跑GRPO、RLSD、MFSD三种强化学习方法做对比。

| 方法 | OmniReasoningBench | OmniVideoBench | LVOmniBench | Video-MME-v2 | Video-MMMU |

|---|---|---|---|---|---|

| 基础模型 | 33.2 | 37.2 | 37.7 | 36.5 | 68.3 |

| 加SFT | 36.1 | 47.0 | 40.2 | 40.3 | 73.7 |

| 加GRPO | 38.3 | 44.8 | 39.8 | 39.1 | 72.9 |

| 加RLSD | 39.2 | 45.4 | 40.1 | 39.8 | 72.0 |

| **加MFSD** | **42.5** | **50.0** | **44.7** | **44.0** | **74.4** |

表格里最耐人寻味的一点是：GRPO和RLSD在新基准OmniReasoningBench上确实比纯SFT有提升，可到了其他通用视频理解基准上，成绩反倒不如纯SFT。换句话说，这两种只看结果、不看过程的强化学习方法，让模型练出了针对特定题型的“应试技巧”，代价是更广泛的视频理解能力。

所有基准上都稳稳超过SFT基线的，只有MFSD。它在OmniReasoningBench上比SFT高出6.4个百分点，其余基准的提升幅度落在0.7到4.5个百分点之间。

最终得到的模型叫OmniReasoning-30B-A3B。跟基础模型Qwen3-Omni-30B-A3B-Thinking比，它在OmniVideoBench上提升12.8个百分点，达到50.0%；在OmniReasoningBench上提升9.3个百分点，达到42.5%。LVOmniBench、Video-MMMU、Video-MME-v2这些长视频和通用视频理解基准上，也各自涨了6.1到7.5个百分点。

论文也直言不讳：目前最强的闭源模型Gemini-3.7-Flash能到57.6%，差距还不小。音视频联合推理这件事，离宣布“解决”还远得很。

论文收录了不少案例对比，把基础模型和训练后模型面对同一道题时的思考过程摆在一起看。有一道题问的是两位球鞋博主各自拿着什么颜色的球鞋说话，基础模型把"谁拿着什么鞋"这层关键的视听对应关系弄反了，最后答错；训练后的模型则在思考过程里逐个时间点重新核对谁在说话、谁手上是什么颜色的鞋，最终答对。差别不在运气，训练过程确实把模型逐项核对多模态证据的习惯给强化了出来。

**写在后面**

整篇论文读下来，让我印象最深的不是那张漂亮的实验结果表格，而是开头那个看着不起眼的发现：拿纯视觉输入去跑现有的音视频基准测试，准确率居然能接近七成。

这个发现让我久久回味。它暴露出AI研究里一个很容易被忽略的陷阱：测评指标和真实能力之间，可能隔着巨大的鸿沟。一个基准测试名字里写着"音视频联合理解"，也确实同时喂了音频和视频两种输入，但这不代表它真的在考联合理解能力。设计一道好题，比收集一堆素材难得多。

另一个反复琢磨的细节，是MFSD里"交互增益"的算法。联合增益减去两个单独增益，这个减法看着简单，背后的判断逻辑却很朴素也很深刻：真正的融合不是把两边叠加起来，而是产生了单独任何一方都解释不了的"额外价值"。这套思路其实能推广到很多地方，比如判断一个团队协作有没有真的产生协同效应，而不是把每个人的工作量简单加总。

还有个细节值得单独拎出来说。研究团队发现，GRPO和RLSD这两种只看最终结果的强化学习方法，能让模型在目标基准上涨分，却在其他通用能力上出现倒退。所有做强化学习的人都该警惕这个信号：只告诉模型"答对了给奖励"、不告诉它"你是怎么答对的"，模型很可能摸到一条通往正确答案的捷径，而这条捷径未必是你希望它学会的那种能力。

论文还留下一个开放问题：当音视频联合推理要跨三个甚至更多模态，比如再加文字文档、再加三维空间信息，"四种条件对比"这套交互增益算法还能不能扩展？模态一多，组合数量是指数级往上走的，到那时候这个优雅的减法技巧恐怕就不够用了。

Q&A

Q1：OmniReasoningBench和之前的音视频测评基准相比有什么本质区别？

A：之前的基准，像WorldSense、Daily-Omni，即使标注了需要音视频理解，实际测试中用纯视觉输入也能拿到57%到68%的高分，可见很多题目根本不需要真去听声音。OmniReasoningBench的做法是严格筛选，只留下那些纯文字、纯音频、纯视觉输入下都答错、唯有音视频联合输入才能答对的题目，保证每道题都得靠跨模态证据链才能解开。

Q2：MFSD和现有强化学习方法GRPO、RLSD相比，核心改进是什么？

A：GRPO只看最终答案对错给一个整体奖励，分不清对错是单一模态蒙对的，还是真正融合推理得出的。MFSD额外算了一个"交互增益"信号，专门衡量音频和视觉线索放在一起的效果有没有超过二者单独效果之和，再据此对模型生成的每个词做更精细的奖励分配，鼓励真正的跨模态融合，而不是投机取巧。

Q3：OmniReasoning-30B-A3B这个模型最终效果如何，和顶级闭源模型相比差距大吗？

A：OmniReasoning-30B-A3B在OmniVideoBench上达到50.0%，比基础模型提升12.8个百分点；在新提出的OmniReasoningBench上达到42.5%，提升9.3个百分点；长视频和通用视频基准上也有6到7个百分点的提升。不过目前最强的闭源模型Gemini-3.7-Flash能到57.6%，差距仍在，说明这个方向还远没到上限。