视觉问答接入外部知识:浅层融合与深层改写谁更有效

资讯 腾讯网 作者:科技行者 全文 3085 字 · 约 8 分钟读完 分类游戏

你有没有玩过那种猜图游戏,图片上是一群人围坐桌边喝酒,问题却是"在加拿大,做这件事要满多少岁才合法"?光看图片,你根本答不出来。你得知道一个额外的事实:加拿大的法定饮酒年龄。这就是知识型视觉问答要解决的问题,一个需要图片之外信息的提问方式。2019年提出的OK-VQA基准测试,专门收集了这类"看图也白搭"的问题,...

所属频道 影视与游戏

玩过猜图游戏吗?画面上是一群人围在桌边喝酒,题目问的却是“在加拿大,干这件事得满多少岁才合法”。

光盯着图看,根本答不上来。你还得握有一条图外的事实:加拿大的法定饮酒年龄。知识型视觉问答处理的就是这类问题——提问所需的线索,图片本身给不了。这个概念在2019年被提出。

这几年,一个办法被大家想了出来:把外部知识接进模型里。

几乎所有人都觉得,接得越深效果越好。可本文要介绍的这项研究,拿实验结果给出了一个出人意料的答案。

**难点究竟在哪儿**

这篇论文问世之前,该领域大致走着两条路线。头一条,是把外部知识直接塞进模型。

第二条路线上的工作,其实都揣着一个没说出口的假设:结构越复杂越管用,接得越深越正确。论文作者们并不这么看。他们找到一个旁证:在RGB-D物体识别这个看似毫不相干的领域,有研究显示,简单接入反而更有效。

于是他们动手做了一件事:用实验把“浅接”和“深接”放到一起比。

**这套“知识外挂”是什么样子**

研究团队先让BLIP看图说话。

*BLIP:一种图像描述生成模型,能看图写话,把图片内容转成一句自然语言描述。*

接着,这句描述连同问题一起被送进Llama 3.3 70B,由它输出一段结构化JSON,包含三项内容:该重点看的视觉元素、该排除的干扰项,以及回答所需的外部知识。还拿饮酒那张图举例,模型会给出“男人、女人、酒”这类要关注的对象,“派对装饰”这类要忽略的干扰,外加“加拿大法定饮酒年龄”这条关键知识。

整个生成过程只在训练开始前离线跑一遍,结果存进缓存,训练和推理阶段都不必再调用那个700亿参数的大模型。这个安排挺关键:倘若每答一道题都要现场问一次大模型,响应速度和成本都会难以承受。提前生成、缓存备用,等于把大模型的“答疑”压成一份笔记,要用时翻出来看就行。

这就像备考:每道题都打电话问老师,考试根本进行不下去;可要是考前把老师可能强调的重点抄成一张纸条带进考场,既省时间又不违规。这张纸条,就是研究里所说的“结构化知识”。

这个叫 OK-VQA 的基准数据集,专门用来测知识型视觉问答:它收了约 1.4 万个图片问题对,光看图推不出答案,得靠外部常识或事实知识才行。

只有原始数据还不够。研究团队发现,筛出出现频率最高的500个答案类别后,训练样本只剩3144个,平均每类约6个,数据极度匮乏。为补上这个缺口,他们又请同一个大模型对问题做了一轮“改写”:图片不动,答案不动,只换问题的措辞,比如把“在加拿大做这件事要多大年纪”改成“加拿大法定饮酒年龄是多少”。这套流程把训练数据从3144条扩到约3.6万条,翻了十倍还多。

思路本身不算新。此前已有研究证明,用大模型改写文本能帮到低资源分类任务,这里只是把同样的原理挪到了视觉问答的问题句上。

**两种接入方式,一浅一深**

论文最核心的部分来了:那份“结构化笔记”到底怎么接进视觉语言模型。

研究团队先搭了一个统一底座,图像部分用预训练好的ViT编码。

*ViT:全称Vision Transformer,一种把图片切成小块像处理文字一样送进transformer模型的图像编码方式。*

*CLIP:一个通过图文对比学习训练出来的模型,它的文本编码器能把一句话转成一个语义向量。*

*FLAN-T5:谷歌开发的一种文本到文本的生成模型,适合做问答这类输入输出都是文字的任务。*

在这个共享底座之上,研究团队搭了三个版本,逐一对比。

第一个版本完全不给知识指导,只把图片特征压成一个前缀token,接在问题前面送进解码器,算是基线——不做任何改动,单看模型凭图片和问题能答对多少。

第二个叫"

第三个叫"

两种策略的差别,好比厨师做菜时,你是在装盘前叮嘱一句"这菜配碟醋",还是冲进厨房抓住他切菜的手说"每刀都得往左偏两度"。前一种做法尊重厨师练了多年的手艺,只在收尾时加点提示;后一种直接插手他最熟练的动作,结果厨师手忙脚乱,原本做得好的菜反而切坏了。不去做后一种深度干预,厨师照样能按自己的节奏把菜做好;可一旦强行改动他最基础的动作,练习时间又不够,手艺很可能不升反降。

实验结果很直接:浅的那种赢了。

论文的数据表格把答案摆得很干脆。

在扩充后的OK-VQA验证集上,不给任何知识指导的基线模型,

按问题类型拆开看,差距更清楚。晚期融合在"What is"类、颜色类以及归入"其他"的杂项问题上提升最明显,这几类恰好最依赖外部背景知识来消歧。注意力注入在"Where"类问题上表现最好,达到35.3%,是三者中最高的,可到了"Who"类问题直接崩掉,只有10.0%,连基线的25.4%都不如;是非题也从基线的65.2%跌到45.6%。研究者分析,那个指导向量其实是个全局方向,统一加到每个图像块的查询和键上,没法指定"这个概念对应图片里哪个区域",结果是注意力分布被整体粗暴偏移,帮了一些类型的问题,却伤了另一些需要精细定位人物或做是非判断的问题。数字计数类问题,三个版本都只有6%左右的准确率,这也不难理解:指导内容里本来就没有数字信息,给了也白给。

错误分布的统计进一步印证了这一点。基线完全答错的比例是63.1%,晚期融合压到53.2%,注意力注入只压到60.5%,改善幅度明显小得多。论文还举了几个具体例子:问斑马身上的花纹是什么,基线答成"斑马"本身,两个加了指导的版本都准确答出"条纹";问房间里用什么制冷,基线答成"柳条",加了指导的版本答对"冰箱"。这类错误有个共同点——基线模型倾向于把图片里最显眼的物体名字念出来,而不是回答所问的属性或功能,指导信息恰好补上了这块短板。

浅的为什么反而更稳?

研究者给了三点解释,细想下来都站得住。

第一点是

第二点是

第三点是

有个细节值得多说一句。研究者特意强调,这些结果不代表深度融合天生不如浅层融合,而是说融合深度必须跟数据量匹配。换句话说,训练数据足够多的话,深度融合或许能发挥出本该有的优势,只是在这篇论文设定的数据稀缺场景下,它的潜力还没来得及施展,就先栽在了优化难度上。

这项研究之后,领域内已有一些工作沿着类似思路继续往前走。比如有研究尝试给深度融合加入带空间对应关系的概念级指导,而不是一个笼统的全局向量,想办法让"深融合"也知道该往哪个区域看;也有研究把这类系统融合的比较扩展到更大规模的数据集上,想摸清楚数据量涨到什么程度,深融合才能真正反超浅融合——这个交叉点目前还没有定论。

Q&A

Q1:OK-VQA基准测试是什么,为什么需要它?

OK-VQA 这个数据集就是冲着知识型视觉问答来的,里面收了大约 1.4 万个图片问题对。它出的题有个共同点:光盯着图看找不出答案,得调动法律常识、文化背景这些外部知识才答得上。靠它,正好能试出那些只会"看图念字"的模型到底行不行。

Q2:为什么浅层的晚期融合反而比深层的注意力注入效果更好?

问题出在三个地方。头一个,深层改造会把预训练阶段学好的视觉表示搅乱,而手头的数据量又不足以让它重新恢复过来;再者,指导信息给的是一个笼统的全局方向,硬往每个图像块里塞,精细定位能力反倒被拖累;还有,深层方案参数更多、优化起来更难,数据本来就稀缺,这种方案更容易训不好。

Q3:这篇研究用了什么方法扩充训练数据?

原始问题的措辞由研究团队拿 Llama 3.3 70B 做了改写,图片和答案都原样不动。这一改,训练样本从 3144 条涨到约 3.6 万条。此前平均每类答案只摊到 6 个样本,缺数据缺得厉害,这一步算是把窟窿补上了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 索尼新专利:颈带设备能吹风,VR恐怖游戏可感知“背后有人”

    IT之家 11 月 17 日消息,索尼提交了一项颇为特别的专利,可能让 VR 恐怖游戏变得更加身临其境。未来,玩家戴上 VR 头显时,或许还能通过颈部设备感受到虚拟世界中的气流,甚至在游戏里的敌人悄悄靠近身后时,真实地感觉到脖子后面有风吹过。据 Patentlyze 报道,索尼互动娱乐(Sony Interactive

    来源 腾讯网
  2. Qwen4-Max四项实测:2.4万亿参数模型能自己交活了

    11月15日,千问发布新一代旗舰模型Qwen4-Max。新模型总参数2.4万亿,具备原生视觉能力,上下文窗口达到百万token。官方将其定位为“全天候AI新同事”,主打方向是长程任务与成果交付。为了验证这一定位能否在实际使用中成立,我们设计了四项测试,包含了前端互动网页、Godot 3D动作游戏、视频白模预演,以及一份

    来源 腾讯网
  3. 让AI打游戏,到底难在哪里

    先问你一个问题。如果你要教一个AI玩游戏,你会怎么教?大部分人的直觉是:找一堆人类玩游戏的录像,让AI看着学。这个思路对,但也不完全对。腾讯和新加坡国立大学的一个研究团队发现了一个很现实的问题:人类玩游戏的录像再多,也覆盖不了游戏里所有可能出现的状态。你录一万小时《我的世界》视频,AI依然可能在第一万零一...

    来源 腾讯网
  4. TCL华星广州t8线出资88.5亿,OLED产能竞争转向中尺寸

    21世纪经济报道记者 林典驰 一块27英寸、刷新率达500Hz的印刷OLED电竞屏,出现在近日于武汉举行的TCL华星全球显示生态大会上。TCL科技集团高级副总裁、TCL华星首席执行官赵军说,这款屏仍在开发,上市时间取决于品牌客户的产品规划。同场展示的另一款27英寸屏已有明确的整机去向。微星今年8月发布的PRO MAX

    来源 腾讯网
  5. 黄仁勋卸任英伟达CEO:科莱特克雷斯任临时CEO

    行业动态 黄仁勋突然卸任!RTX显卡的好日子到头了吗? 英伟达创始人黄仁勋辞去总裁、CEO及董事职务,由执行副总裁兼CFO科莱特克雷斯担任临时CEO,并保留CFO职位。Harvey C.Jones被任命为董事会主席。黄仁勋的离任引发科技圈关注,特朗普表示痛心。英伟达重心转向数据中心业务,游戏显卡业务并入边缘计算平台。新

    来源 腾讯网
  6. AI模型被当“游戏”诱导:Vals测试称平民竟成军事目标

    旧金山AI评估初创公司Vals测试发现,多家领先AI模型在“这是游戏”的提示框架下,会被诱导参与自主战争,甚至把平民标记为军事目标。研究揭示大模型安全对齐在角色扮演和游戏化语境中可能失效,为军事AI治理与红队测试敲响警钟。

    来源 AI 行业观察
  7. 米哈游发布Gamer模型:不读游戏数据,能自己打《崩坏:星穹铁道》

    IT之家 11 月 17 日消息,米哈游旗下《崩坏》系列 AI 研发团队现已公布通用视觉语言动作基础模型“Gamer”。该模型能够模拟真人操作方式自主游玩 3D 和 2D 游戏。 根据研究论文及项目页面公开的信息,Gamer 无需读取游戏内部数据,也不依赖游戏专用 API,而是通过每秒 5 帧(5 Hz)的频率采集游戏

    来源 AI 行业观察
  8. DeepSeek收紧免费对话限制引众怒,用户反求收费

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。”随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂

    来源 腾讯网
  9. Meta承诺1.2亿美元扶持第三方VR游戏,VR眼镜2027年春季上市

    IT之家 11 月 17 日消息,今年早些时候,Meta 旗下 Reality Labs 部门将战略重心转向了可穿戴设备和人工智能,叫停了多款正在开发中的 Quest 第一方及第三方 VR 游戏。不过,Meta 近日表示,公司仍在持续为第三方游戏提供资金支持,已承诺投入的金额超过 1.2 亿美元(IT之家注:现汇率约合

    来源 AI 行业观察
  10. BLG夺S16冠军:3比1胜GEN,电竞产业等待第二口气

    作为一种文化内容,电竞还在寻找自己的身份定位。BLG的夺冠再次点燃了电竞观众的热情,也再一次展现出属于电竞的,英雄叙事的力量。但如何能将今晚的热情留住,让观众持续进入到战队和赛事的秀场,还是一个长久的命题。

    来源 36氪
  11. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  12. DeepSeek长对话限额7天,免费用户为何反求收费

    话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂战不同,这场争议中出现了一个颇为“魔幻”的画面:平时最不愿意付费的一群人,正在主动求着DeepSeek收费。

    来源 TechWeb
  13. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  14. 奥特曼不敢全速训AI:Christiano推演GPT-10级失控风险

    新智元报道 用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。但再往前一步呢?就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。只不过,眼下还没到「按下按钮、让模型在无人监管

    来源 腾讯网
  15. AMD完成收购Taalas:芯片将并入加速器路线图

    IT之家 11 月 18 日消息,AMD 当地时间昨日宣布完成对专用 AI 推理芯片开发商 Taalas 的收购。这家初创企业带来了差异化的技术和世界一流的工程专业知识。AMD 表示此举将进一步加强其全栈 AI 产品组合和长期推理路线图。AMD 计划将 Taalas 的技术整合到其加速器路线图中,结合 Instinct

    来源 腾讯网
  16. DeepSeek限制长对话使用:用户反求付费,官方未给时间表

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。” 随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。 但与一般产品限流引发

    来源 AI 行业观察
  17. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  18. 寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度

    来源 腾讯网
向下滚动自动加载更多