Omni-LLM研究:模型明明知道答案,为何最终答错

资讯 腾讯网 作者:腾讯网 全文 4248 字 · 约 11 分钟读完 分类多模态大模型

你有没有经历过这种场景:明明脑子里有答案,话到嘴边却说不出来,或者说出来的跟想的完全是两码事。考试的时候这种感觉最熟悉,你盯着那道题,隐约觉得见过这个知识点,但就是组织不出语言把它写在答卷上。2026年的一篇研究发现,现在最前沿的多模态AI,也就是那些能同时看图、听声音、读文字的全能型大模型,居然也有这个...

所属频道 模型发布

脑子里明明有答案,话到嘴边却说不出来,或者一开口就跟想的完全两码事——这种体验不少人都有。考试时最明显:盯着题目,隐约觉得这个知识点见过,可就是组织不起语言写到答卷上。

2026年的一篇论文把目光投向了现在最前沿的

研究者给这类模型起了个名字,叫Omni-LLM

**Omni-LLM**:也就是全模态大语言模型,指的是能同时处理视觉、听觉、惯性传感器信号等多种非文本信息,再结合语言模型统一给出回答的AI系统。举个例子,能一边看视频、一边听音频,然后回答问题的那种模型就属于这一类。

研究人员碰上一个挺扎心的现象:让这些模型看一段视频、听一段音频,再问一个必须把两边信息合起来才能答对的问题,模型经常答错。可换一种问法,不问最终答案,先问“你从视频里看到了什么”“你从音频里听到了什么”,它反倒能准确说出关键信息。知识明明就在那儿,一到要给出最终答案那一步,这些信息就像是凭空消失了。

研究者给这个现象取了个名字,叫“知道但说不出来”问题。

这篇论文想弄明白两件事:这个“说不出来”到底卡在哪一步,以及能不能想办法让模型把它知道的东西真正用上。

**信息越多,模型反而越不会用**

论文中有一个挺直观的案例。视频画面里,一屋子人仰头盯着天花板,音频里是个女孩在说“要有光”。然后问模型:这位父亲给女儿准备了什么礼物?

直接让模型回答,它会说画面没提到礼物相关的内容,音频也只是一句歌词,答不出来。

可要是先让它把看到、听到的分开讲一遍,模型自己就会写:“我能看到一个满是人的房间,大家都望着天花板……我能听到一个女孩说‘要有光’”。把这两段描述摆到一块儿,再问同样的问题,它马上给出了正确答案:花瓣形状的吊灯。

一前一后的反差让研究者想明白了一件事:模型感知这一环做得并不差,毛病出在感知之后、答案生成之前的那段路上。而且模态一多,这个问题不会变轻,反而更重。论文里有一张图,输入模态从1个加到3个,模型的推理准确率一路往下掉,可它单纯提取知识的能力几乎没动。也就是说,瓶颈不在看不懂,在于它没法把看懂的内容揉进答案里。

打个比方,你同时雇了三个翻译:一个盯肢体动作,一个听语气,一个读文字记录。单拎出来,每个人汇报得都挺准。可你一问“到底出了什么事”,三个人谁都不肯先站出来把信息拢到一块儿,最后你手里只剩一堆零散片段,还不如只请一个人来得清楚。整合这一环不解决,模态越多,信息反倒越乱。

**用一把尺子量出知识藏在哪里**

要解决问题,先得知道问题出在哪个具体环节。研究者设计了一套测量工具,叫做

**

那为什么非得另造一把尺子?以往测“模态对齐”,多数做法是把整段视频或整段音频压成一个向量,再看这个向量跟文字向量像不像。这就像给一整本书打一个笼统的“好看指数”,哪一页精彩、哪一页乏味,根本看不出来。TMA不走这条路,它细到每一个token——可以理解为模型处理信息的最小单元,画面里的一小块、音频里的一小段,都可能算一个token——逐个去算这个token和最终答案里哪个词最接近,再把相似度记下来。这样一来,一段视频里哪一帧、音频里哪一秒的声音真正参与了最后答案的生成,就能看清楚了。

用这把尺子一量,研究者发现了几个很有意思的规律。

头一条规律:文字类token天生就比非文字类token更容易被模型“看见”。哪怕这段文字跟问题八竿子打不着,只是随手塞进去的,它拿到的注意力权重也远高于真正相关的图像或音频片段。就像开会,发言人说的全是废话,只要他举手站起来开口,大家的目光还是会飘过去;角落里那个一直比划、提示重点的人,反倒没人留意。

第二条规律更关键:TMA值高不高,跟模型“知不知道”这段信息,是两码事。研究者做了个实验,分别把TMA值高和低的token遮住,再看模型表现。结果显示,遮哪种token,模型提取知识的能力都几乎不受影响,可见知识还在。但遮住TMA值高的那些token,模型答题准确率会明显下滑;遮TMA值低的,影响很小。这说明TMA量的不是“模型有没有这个信息”,而是“这个信息有没有通向答案生成的那条路”。

第三条规律正好对上前面说的现象:模态一多,TMA值的平均水平和波动幅度都会往上走。平均值上升听着不错,可波动变大意味着有些信息更好用了,另一些却被挤得更靠边。信息并没有被均匀激活,而是被重新分配,有的离聚光灯更近,有的被推得更远。

**让模型把心里话说出来**

找到了问题所在,研究者提出了一套解决方案,叫OMNI-CATALYST,翻译过来大概是“全模态催化剂”的意思。

这套方法的内核其实很简单:既然文字token比非文字token更容易被用上,那就让模型先把非文字信息转成文字,再拿这段文字配合原始输入一起生成答案。

落地分两步,研究者把这个流程叫“先感知再推理”。第一步,让模型专门描述一遍它从音频或视频里听到、看到了什么,写出一段文字。第二步,把这段自己写出来的描述,连同原始的音视频输入一起喂回去,再让它正式作答。要紧的是,原始音视频并没有被丢掉,文字描述只是多开了一条通道,并不是拿来替换它们。

这就像你请一个外语很好、但嘴笨的朋友帮忙翻一份重要文件。他心里其实全明白,真让他张口说,却常常词不达意。换个法子:先让他把理解到的东西写成笔记,写得糙也没关系,再拿着这份笔记去正式汇报,汇报质量立马就上去了。原始文件没丢,笔记只是多出来的一条帮他捋顺思路的辅助线。要是跳过写笔记这步,直接逼他脱口而出,信息流失会严重得多。

论文一共测了七种全模态模型,涵盖

在

这套做法不只在视觉加音频的组合场景里管用,研究者还把它扩展到了

**训练进去比临时抱佛脚更有效**

OMNI-CATALYST起初是个免训练、推理时直接上手的办法。不过研究者没停在这一步,他们接着琢磨:能不能把"先描述再回答"这套本事直接练进模型参数里,让它变成习惯。

他们借用了三种现成的自我训练策略,名字分别是

实验结果里有个挺耐人寻味的发现:专门训练模型"学会感知",也就是生成准确的模态描述,这件事本身带来的提升比直接训练模型"学会用描述去推理"更大,两者分别是2.8%和2.0%。这个结果有点反直觉,毕竟后者看起来才是最终要用的能力,前者不过是中间步骤。可数据摆在那儿:把感知这一步练扎实,反倒比直接冲着最终目标练效果更好。

这让人想起学乐器。不少老师不会一上来就让你弹整首曲子,而是先花大把时间练音阶和手型。看着像在练无关的基本功,可手型扎实了,后面弹曲子反而进步更快。跳过这一步硬啃整首曲子,短期好像进度更快,音准和节奏的毛病却会在后面不断冒出来,整体进度反而被拖慢。

另外,把训练好的模型再叠加上推理时的OMNI-CATALYST,还能多拿5到6个百分点的提升。训练和推理两头的策略并不打架,是可以叠加的两层保险。

**从注意力地图里看见证据**

为了搞清楚这套方法到底怎么起作用,研究者又做了一组可视化分析,把模型在不同阶段的注意力分布画了出来。

论文里那只猫的例子可以说明问题。问题是"这只猫在做什么",选项里有"猫在挠人的手"和"猫在打呼噜"。直接回答时,模型的注意力几乎全扑在视觉画面上,音频里那句女人说的"我爱你"基本没被关注,结果答错了。经过知识提取这一步,模型对音频部分的关注明显变多,还把音频信息转成了文字。到正式回答阶段,模型的注意力视觉和听觉都顾上了,最终选对:猫在打呼噜。

研究者还用TMA这把尺子过滤了一遍原始注意力图,把那些虽然被关注、实际跟答案关系不大的区域筛掉。过滤后的图像清楚多了,留下来的恰好是跟猫的爪子、猫打呼噜这些细节真正相关的区域。可见注意力落在哪里,和信息对答案是否真有用,是两件不完全一样的事,TMA能帮人把后者单独挑出来看。

**写在后面**

读这篇论文,最让我意外的不是模型会出错,而是出错的方式这么像人。平时说"茶壶里煮饺子,有货倒不出",搁这儿竟然毫无违和感。AI研究常给人一种印象,好像模型的毛病都出在训练数据不够、参数不够大这类硬件层面。这篇论文却说,有时候问题根本不在"有没有知识",而在"知识能不能走到嘴边"。感知和表达之间本来就不是无缝衔接的两个环节,这是认知科学里早就讨论过的概念,人类自己也常知道却说不出来,只是没想到AI也会卡在同一个地方。

另一个让我反复琢磨的细节是:文字token天生就比非文字token更容易获得模型注意力,哪怕这段文字毫无意义。这说明当前这一代全模态模型骨子里还是个"语言中心"的系统,图像和声音更像被语言模型勉强接纳的外来者,而不是真正平起平坐的伙伴。做全模态的公司这么多,真正把多种感官信息融合得浑然一体的模型至今还很少见,这也许能解释一部分原因。

论文没解决的问题是:文字token为什么天生比非文字token更受青睐?这种偏好究竟是预训练数据的分布造成的,还是模型架构本身的语言中心设计造成的?论文作者自己也坦承这是未解之谜。要是有一天能从根上改掉这种偏科,模型是不是就不再需要"先翻译成文字再回答"这道中间工序了?

Q&A

Q1:OMNI-CATALYST是什么?

论文给出的这套办法,是让全模态模型在作答之前先自己写一段文字,把音频或视频里的内容描述出来,再把原始输入和这段描述一并交给模型去生成答案。非文字信息因此更容易被模型利用,性能平均提升 7.29%。

Q2:

说的是这样一种情况:全模态AI模型其实已经正确感知到图像、音频中的关键信息,也把它们提取了出来,可一到直接答题就用不上,答案于是出错;反过来,先让它用文字把感知到的内容描述一遍,再去回答同一道题,常常就答对了。

Q3:

这个指标由论文提出,粒度很细,算的是输入模态中每一个具体信息单元与模型最终答案所调用的信息之间有多相似。数值越高,表明这段输入越容易被模型带进最终回答,研究者也能借此找到模型"知道却说不出"究竟卡在哪一环。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. Gemini Decision 1发布:毫秒级批量判断,不闲聊

    谷歌推出首个专用决策模型Gemini Decision 1,主打“不生成文本,只做判断”。它能在150-250毫秒内,基于同一份多模态输入一次性回答上千道是非题或选择题,并输出置信度。这种跳过Token解码的架构,让它在模型路由、内容审核等需要快速二选一或多选一的场景中,比传统大模型更快且更便宜。

    来源 AI 应用前沿
  2. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  3. 百度词元所上线首日:供应商增超100家,客户接入破1000家

    【环球网科技综合报道】11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使.

    来源 腾讯网
  4. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
  5. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  6. 清华江瑞课题组发布ProtCell:在摩尔线程S5000上复现预训练

    IT之家 11 月 14 日消息,据摩尔线程公众号,近日,清华大学自动化系江瑞课题组发布了面向单细胞蛋白组的基础模型 ProtCell,完成了论文《ProtCell:a foundation model for single-cell proteomics》。该模型汇集约 3.8 亿个细胞、98 个公开数据集用于预训练

    来源 AI 行业观察
  7. 40核老服务器无显卡跑通2.8万亿参数Kimi K3,傲腾内存成关键

    在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。 挑战硬件极限:巨型大模型遇上老旧服务器 作

    来源 AI 开发者社区
  8. 张一鸣定AI追赶时间表:数据是核心瓶颈,赛程排到2030年

    每经记者:李宇彤 每经编辑:董兴生中国科技企业在竞逐的路上时刻审视着自己的身位。11月12日,据澎湃新闻报道,字节跳动创始人张一鸣在近期一次面向AI(人工智能)团队的全员会议上表示,字节有能力与OpenAI和Anthropic展开竞争,但真正追平前沿技术,最早也要到2029年或2030年,字节的大模型要对标国际第一梯队

    来源 腾讯网
  9. 英伟达7500亿美元融资网被曝:CFO曾力阻,黄仁勋回怼“鹿入车灯”

    《华尔街日报》2026年11月13日调查报道指控英伟达通过向AI初创公司注资、要求其用所得资金购买GPU的方式人为制造芯片需求,布隆博格随后绘制的融资网络规模已超过7500亿美元。英伟达内部,CFO克雷斯(现任代理CEO)曾在8月高管会议上力阻该策略,遭黄仁勋以"鹿入车灯"之语驳斥。该调查触及大模型军备竞赛最脆弱的基础

    来源 AI 科技快讯
  10. WorkBuddy国际版接入Gemini 4 Carbon:Pro用户专享

    腾讯旗下AI办公智能体WorkBuddy国际版宣布接入谷歌Gemini 4 Carbon大模型,目前仅向Pro计划用户开放。该模型由谷歌于11月10日开放,主要用于复杂知识工作、软件工程等长周期智能体任务。

    来源 凤凰科技
  11. 浙大联想联合提出EM²Mem:多模态智能体改用事件中心长期记忆

    在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。 颠覆传统模式:从“先检索后对齐”到“先对齐后检索” 长

    来源 AI 开发者社区
  12. 语飞国际中文教育大模型发布:覆盖学习者、教师与机构三类人群

    人工智能技术与垂直领域的融合正在向纵深推进。据央视新闻报道,2026世界中文大会于11月13日在北京正式开幕。在本次大会上,官方重磅发布了语飞国际中文教育垂直大模型,旨在为全球范围内的中文学习者、一线教师以及各类教育机构提供全方位的智能化服务。 深度适配教与学全链路:全面覆盖三大核心群体 作为一款将人工智能技术与国际中

    来源 AI 开发者社区
  13. 腾讯WorkBuddy国际版:Gemini 4 Carbon上线,仅Pro可用

    IT之家 11 月 16 日消息,腾讯 WorkBuddy 国际版昨日宣布,已正式上线谷歌 Gemini 4 Carbon 模型,主要面向需要更深入推理和处理更长任务的使用场景。 官方将其定位为适合处理复杂问题的模型,目前仅面向 Pro 计划用户开放。 IT之家此前报道,谷歌称 Gemini 4 Carbon 模型主要

    来源 AI 行业观察
  14. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  15. 阿里发布Qwen4-Max:2.4T参数仅激活71B,单任务费用降58%

    11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文,现已上线千问AI平台对外提供API服务,中小尺寸模型将陆续开源。 据介绍,Qwen4-Max采用基于Qwen稀疏注意力(QSA)的全新MoE架构,2.4T总参数仅激活71B。在权威全球前端编程盲测CodeA

    来源 AI 行业观察
  16. TCL华星王成谈AI时代显示产业:下一阶段争的是定义权

    AI浪潮之下,显示产业的角色正在深刻位移。 过去几年,科技产业的主流叙事始终围绕算力、芯片和大模型展开。随着模型能力加速进入手机、PC、汽车乃至各种新型智能终端,AI的影响也从云端算力建设,进一步延伸到终端产品的设计与制造。 同时,“AI新基建”的内涵也在不断拓宽。先进封装支撑更高密度的芯片集成,高速光通信提升算力集群

    来源 AI 行业观察
  17. XYBench基准出炉:AI答得对却帮不上忙,8000题考意图识别

    当用户问错问题时,AI是顺着错误给方案,还是指出真正的问题?Allen AI发布的XYBench基准测试了8000多个真实场景,发现主流大模型在识别用户潜在意图和纠正误解方面,表现远不如人类。本文详解XYBench的构建逻辑、评估维度及实验结果,探讨为何“听懂弦外之音”对AI助手至关重要。

    来源 AI 应用前沿
  18. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  19. 安纳智芯AX100流片:单次矩阵方程求解不到100纳秒

    IT之家 11 月 15 日消息,据科技日报从模拟计算芯片公司安纳智芯了解到,该公司自主研发的 AX100 芯片已于 10 月完成流片,这是世界首颗全集成一步求解矩阵方程模拟计算芯片。 经测试,该芯片单次矩阵方程求解时间小于 100 纳秒,单次计算功耗约为 80 毫瓦,完全符合理论仿真与设计预期。 据介绍,我们熟悉的

    来源 AI 行业观察
  20. Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文

    文 / Looki AI Research(Yilin Shoukui Dayu Jianhong) 编辑/ Bocong 引言 当 AI 开始走出屏幕、进入真实生活,如何持续理解一个人的日常经历,并将这些经历转化为未来可以调用的上下文,正在成为个人智能发展的关键课题。 今天,Looki 正式发布自研多模态模型系列Lo

    来源 AI 开发者社区
  21. MiniMax,狂卷字节、OpenAI

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 雷晶,编辑 | 魏佳AI生图赛道,最近打得火热。11月10日晚,MiniMax发布并开放H3-Image模型权重,打出了“又快又便宜”的牌。官方称,它10秒就能生成一张1600万像素的高清图片,价格只有同档位主流工具的50%-70%。在它之前,O

    来源 腾讯网
向下滚动自动加载更多