Omni-LLM研究:模型明明知道答案,为何最终答错
你有没有经历过这种场景:明明脑子里有答案,话到嘴边却说不出来,或者说出来的跟想的完全是两码事。考试的时候这种感觉最熟悉,你盯着那道题,隐约觉得见过这个知识点,但就是组织不出语言把它写在答卷上。2026年的一篇研究发现,现在最前沿的多模态AI,也就是那些能同时看图、听声音、读文字的全能型大模型,居然也有这个...
脑子里明明有答案,话到嘴边却说不出来,或者一开口就跟想的完全两码事——这种体验不少人都有。考试时最明显:盯着题目,隐约觉得这个知识点见过,可就是组织不起语言写到答卷上。
2026年的一篇论文把目光投向了现在最前沿的
研究者给这类模型起了个名字,叫Omni-LLM
**Omni-LLM**:也就是全模态大语言模型,指的是能同时处理视觉、听觉、惯性传感器信号等多种非文本信息,再结合语言模型统一给出回答的AI系统。举个例子,能一边看视频、一边听音频,然后回答问题的那种模型就属于这一类。
研究人员碰上一个挺扎心的现象:让这些模型看一段视频、听一段音频,再问一个必须把两边信息合起来才能答对的问题,模型经常答错。可换一种问法,不问最终答案,先问“你从视频里看到了什么”“你从音频里听到了什么”,它反倒能准确说出关键信息。知识明明就在那儿,一到要给出最终答案那一步,这些信息就像是凭空消失了。
研究者给这个现象取了个名字,叫“知道但说不出来”问题。
这篇论文想弄明白两件事:这个“说不出来”到底卡在哪一步,以及能不能想办法让模型把它知道的东西真正用上。
**信息越多,模型反而越不会用**
论文中有一个挺直观的案例。视频画面里,一屋子人仰头盯着天花板,音频里是个女孩在说“要有光”。然后问模型:这位父亲给女儿准备了什么礼物?
直接让模型回答,它会说画面没提到礼物相关的内容,音频也只是一句歌词,答不出来。
可要是先让它把看到、听到的分开讲一遍,模型自己就会写:“我能看到一个满是人的房间,大家都望着天花板……我能听到一个女孩说‘要有光’”。把这两段描述摆到一块儿,再问同样的问题,它马上给出了正确答案:花瓣形状的吊灯。
一前一后的反差让研究者想明白了一件事:模型感知这一环做得并不差,毛病出在感知之后、答案生成之前的那段路上。而且模态一多,这个问题不会变轻,反而更重。论文里有一张图,输入模态从1个加到3个,模型的推理准确率一路往下掉,可它单纯提取知识的能力几乎没动。也就是说,瓶颈不在看不懂,在于它没法把看懂的内容揉进答案里。
打个比方,你同时雇了三个翻译:一个盯肢体动作,一个听语气,一个读文字记录。单拎出来,每个人汇报得都挺准。可你一问“到底出了什么事”,三个人谁都不肯先站出来把信息拢到一块儿,最后你手里只剩一堆零散片段,还不如只请一个人来得清楚。整合这一环不解决,模态越多,信息反倒越乱。
**用一把尺子量出知识藏在哪里**
要解决问题,先得知道问题出在哪个具体环节。研究者设计了一套测量工具,叫做
**
那为什么非得另造一把尺子?以往测“模态对齐”,多数做法是把整段视频或整段音频压成一个向量,再看这个向量跟文字向量像不像。这就像给一整本书打一个笼统的“好看指数”,哪一页精彩、哪一页乏味,根本看不出来。TMA不走这条路,它细到每一个token——可以理解为模型处理信息的最小单元,画面里的一小块、音频里的一小段,都可能算一个token——逐个去算这个token和最终答案里哪个词最接近,再把相似度记下来。这样一来,一段视频里哪一帧、音频里哪一秒的声音真正参与了最后答案的生成,就能看清楚了。
用这把尺子一量,研究者发现了几个很有意思的规律。
头一条规律:文字类token天生就比非文字类token更容易被模型“看见”。哪怕这段文字跟问题八竿子打不着,只是随手塞进去的,它拿到的注意力权重也远高于真正相关的图像或音频片段。就像开会,发言人说的全是废话,只要他举手站起来开口,大家的目光还是会飘过去;角落里那个一直比划、提示重点的人,反倒没人留意。
第二条规律更关键:TMA值高不高,跟模型“知不知道”这段信息,是两码事。研究者做了个实验,分别把TMA值高和低的token遮住,再看模型表现。结果显示,遮哪种token,模型提取知识的能力都几乎不受影响,可见知识还在。但遮住TMA值高的那些token,模型答题准确率会明显下滑;遮TMA值低的,影响很小。这说明TMA量的不是“模型有没有这个信息”,而是“这个信息有没有通向答案生成的那条路”。
第三条规律正好对上前面说的现象:模态一多,TMA值的平均水平和波动幅度都会往上走。平均值上升听着不错,可波动变大意味着有些信息更好用了,另一些却被挤得更靠边。信息并没有被均匀激活,而是被重新分配,有的离聚光灯更近,有的被推得更远。
**让模型把心里话说出来**
找到了问题所在,研究者提出了一套解决方案,叫OMNI-CATALYST,翻译过来大概是“全模态催化剂”的意思。
这套方法的内核其实很简单:既然文字token比非文字token更容易被用上,那就让模型先把非文字信息转成文字,再拿这段文字配合原始输入一起生成答案。
落地分两步,研究者把这个流程叫“先感知再推理”。第一步,让模型专门描述一遍它从音频或视频里听到、看到了什么,写出一段文字。第二步,把这段自己写出来的描述,连同原始的音视频输入一起喂回去,再让它正式作答。要紧的是,原始音视频并没有被丢掉,文字描述只是多开了一条通道,并不是拿来替换它们。
这就像你请一个外语很好、但嘴笨的朋友帮忙翻一份重要文件。他心里其实全明白,真让他张口说,却常常词不达意。换个法子:先让他把理解到的东西写成笔记,写得糙也没关系,再拿着这份笔记去正式汇报,汇报质量立马就上去了。原始文件没丢,笔记只是多出来的一条帮他捋顺思路的辅助线。要是跳过写笔记这步,直接逼他脱口而出,信息流失会严重得多。
论文一共测了七种全模态模型,涵盖
在
这套做法不只在视觉加音频的组合场景里管用,研究者还把它扩展到了
**训练进去比临时抱佛脚更有效**
OMNI-CATALYST起初是个免训练、推理时直接上手的办法。不过研究者没停在这一步,他们接着琢磨:能不能把"先描述再回答"这套本事直接练进模型参数里,让它变成习惯。
他们借用了三种现成的自我训练策略,名字分别是
实验结果里有个挺耐人寻味的发现:专门训练模型"学会感知",也就是生成准确的模态描述,这件事本身带来的提升比直接训练模型"学会用描述去推理"更大,两者分别是2.8%和2.0%。这个结果有点反直觉,毕竟后者看起来才是最终要用的能力,前者不过是中间步骤。可数据摆在那儿:把感知这一步练扎实,反倒比直接冲着最终目标练效果更好。
这让人想起学乐器。不少老师不会一上来就让你弹整首曲子,而是先花大把时间练音阶和手型。看着像在练无关的基本功,可手型扎实了,后面弹曲子反而进步更快。跳过这一步硬啃整首曲子,短期好像进度更快,音准和节奏的毛病却会在后面不断冒出来,整体进度反而被拖慢。
另外,把训练好的模型再叠加上推理时的OMNI-CATALYST,还能多拿5到6个百分点的提升。训练和推理两头的策略并不打架,是可以叠加的两层保险。
**从注意力地图里看见证据**
为了搞清楚这套方法到底怎么起作用,研究者又做了一组可视化分析,把模型在不同阶段的注意力分布画了出来。
论文里那只猫的例子可以说明问题。问题是"这只猫在做什么",选项里有"猫在挠人的手"和"猫在打呼噜"。直接回答时,模型的注意力几乎全扑在视觉画面上,音频里那句女人说的"我爱你"基本没被关注,结果答错了。经过知识提取这一步,模型对音频部分的关注明显变多,还把音频信息转成了文字。到正式回答阶段,模型的注意力视觉和听觉都顾上了,最终选对:猫在打呼噜。
研究者还用TMA这把尺子过滤了一遍原始注意力图,把那些虽然被关注、实际跟答案关系不大的区域筛掉。过滤后的图像清楚多了,留下来的恰好是跟猫的爪子、猫打呼噜这些细节真正相关的区域。可见注意力落在哪里,和信息对答案是否真有用,是两件不完全一样的事,TMA能帮人把后者单独挑出来看。
**写在后面**
读这篇论文,最让我意外的不是模型会出错,而是出错的方式这么像人。平时说"茶壶里煮饺子,有货倒不出",搁这儿竟然毫无违和感。AI研究常给人一种印象,好像模型的毛病都出在训练数据不够、参数不够大这类硬件层面。这篇论文却说,有时候问题根本不在"有没有知识",而在"知识能不能走到嘴边"。感知和表达之间本来就不是无缝衔接的两个环节,这是认知科学里早就讨论过的概念,人类自己也常知道却说不出来,只是没想到AI也会卡在同一个地方。
另一个让我反复琢磨的细节是:文字token天生就比非文字token更容易获得模型注意力,哪怕这段文字毫无意义。这说明当前这一代全模态模型骨子里还是个"语言中心"的系统,图像和声音更像被语言模型勉强接纳的外来者,而不是真正平起平坐的伙伴。做全模态的公司这么多,真正把多种感官信息融合得浑然一体的模型至今还很少见,这也许能解释一部分原因。
论文没解决的问题是:文字token为什么天生比非文字token更受青睐?这种偏好究竟是预训练数据的分布造成的,还是模型架构本身的语言中心设计造成的?论文作者自己也坦承这是未解之谜。要是有一天能从根上改掉这种偏科,模型是不是就不再需要"先翻译成文字再回答"这道中间工序了?
Q&A
Q1:OMNI-CATALYST是什么?
论文给出的这套办法,是让全模态模型在作答之前先自己写一段文字,把音频或视频里的内容描述出来,再把原始输入和这段描述一并交给模型去生成答案。非文字信息因此更容易被模型利用,性能平均提升 7.29%。
Q2:
说的是这样一种情况:全模态AI模型其实已经正确感知到图像、音频中的关键信息,也把它们提取了出来,可一到直接答题就用不上,答案于是出错;反过来,先让它用文字把感知到的内容描述一遍,再去回答同一道题,常常就答对了。
Q3:
这个指标由论文提出,粒度很细,算的是输入模态中每一个具体信息单元与模型最终答案所调用的信息之间有多相似。数值越高,表明这段输入越容易被模型带进最终回答,研究者也能借此找到模型"知道却说不出"究竟卡在哪一环。