视觉问答接入外部知识:浅层融合与深层改写谁更有效
你有没有玩过那种猜图游戏,图片上是一群人围坐桌边喝酒,问题却是"在加拿大,做这件事要满多少岁才合法"?光看图片,你根本答不出来。你得知道一个额外的事实:加拿大的法定饮酒年龄。这就是知识型视觉问答要解决的问题,一个需要图片之外信息的提问方式。2019年提出的OK-VQA基准测试,专门收集了这类"看图也白搭"的问题,...
玩过猜图游戏吗?画面上是一群人围在桌边喝酒,题目问的却是“在加拿大,干这件事得满多少岁才合法”。
光盯着图看,根本答不上来。你还得握有一条图外的事实:加拿大的法定饮酒年龄。知识型视觉问答处理的就是这类问题——提问所需的线索,图片本身给不了。这个概念在2019年被提出。
这几年,一个办法被大家想了出来:把外部知识接进模型里。
几乎所有人都觉得,接得越深效果越好。可本文要介绍的这项研究,拿实验结果给出了一个出人意料的答案。
**难点究竟在哪儿**
这篇论文问世之前,该领域大致走着两条路线。头一条,是把外部知识直接塞进模型。
第二条路线上的工作,其实都揣着一个没说出口的假设:结构越复杂越管用,接得越深越正确。论文作者们并不这么看。他们找到一个旁证:在RGB-D物体识别这个看似毫不相干的领域,有研究显示,简单接入反而更有效。
于是他们动手做了一件事:用实验把“浅接”和“深接”放到一起比。
**这套“知识外挂”是什么样子**
研究团队先让BLIP看图说话。
*BLIP:一种图像描述生成模型,能看图写话,把图片内容转成一句自然语言描述。*
接着,这句描述连同问题一起被送进Llama 3.3 70B,由它输出一段结构化JSON,包含三项内容:该重点看的视觉元素、该排除的干扰项,以及回答所需的外部知识。还拿饮酒那张图举例,模型会给出“男人、女人、酒”这类要关注的对象,“派对装饰”这类要忽略的干扰,外加“加拿大法定饮酒年龄”这条关键知识。
整个生成过程只在训练开始前离线跑一遍,结果存进缓存,训练和推理阶段都不必再调用那个700亿参数的大模型。这个安排挺关键:倘若每答一道题都要现场问一次大模型,响应速度和成本都会难以承受。提前生成、缓存备用,等于把大模型的“答疑”压成一份笔记,要用时翻出来看就行。
这就像备考:每道题都打电话问老师,考试根本进行不下去;可要是考前把老师可能强调的重点抄成一张纸条带进考场,既省时间又不违规。这张纸条,就是研究里所说的“结构化知识”。
这个叫 OK-VQA 的基准数据集,专门用来测知识型视觉问答:它收了约 1.4 万个图片问题对,光看图推不出答案,得靠外部常识或事实知识才行。
只有原始数据还不够。研究团队发现,筛出出现频率最高的500个答案类别后,训练样本只剩3144个,平均每类约6个,数据极度匮乏。为补上这个缺口,他们又请同一个大模型对问题做了一轮“改写”:图片不动,答案不动,只换问题的措辞,比如把“在加拿大做这件事要多大年纪”改成“加拿大法定饮酒年龄是多少”。这套流程把训练数据从3144条扩到约3.6万条,翻了十倍还多。
思路本身不算新。此前已有研究证明,用大模型改写文本能帮到低资源分类任务,这里只是把同样的原理挪到了视觉问答的问题句上。
**两种接入方式,一浅一深**
论文最核心的部分来了:那份“结构化笔记”到底怎么接进视觉语言模型。
研究团队先搭了一个统一底座,图像部分用预训练好的ViT编码。
*ViT:全称Vision Transformer,一种把图片切成小块像处理文字一样送进transformer模型的图像编码方式。*
*CLIP:一个通过图文对比学习训练出来的模型,它的文本编码器能把一句话转成一个语义向量。*
*FLAN-T5:谷歌开发的一种文本到文本的生成模型,适合做问答这类输入输出都是文字的任务。*
在这个共享底座之上,研究团队搭了三个版本,逐一对比。
第一个版本完全不给知识指导,只把图片特征压成一个前缀token,接在问题前面送进解码器,算是基线——不做任何改动,单看模型凭图片和问题能答对多少。
第二个叫"
第三个叫"
两种策略的差别,好比厨师做菜时,你是在装盘前叮嘱一句"这菜配碟醋",还是冲进厨房抓住他切菜的手说"每刀都得往左偏两度"。前一种做法尊重厨师练了多年的手艺,只在收尾时加点提示;后一种直接插手他最熟练的动作,结果厨师手忙脚乱,原本做得好的菜反而切坏了。不去做后一种深度干预,厨师照样能按自己的节奏把菜做好;可一旦强行改动他最基础的动作,练习时间又不够,手艺很可能不升反降。
实验结果很直接:浅的那种赢了。
论文的数据表格把答案摆得很干脆。
在扩充后的OK-VQA验证集上,不给任何知识指导的基线模型,
按问题类型拆开看,差距更清楚。晚期融合在"What is"类、颜色类以及归入"其他"的杂项问题上提升最明显,这几类恰好最依赖外部背景知识来消歧。注意力注入在"Where"类问题上表现最好,达到35.3%,是三者中最高的,可到了"Who"类问题直接崩掉,只有10.0%,连基线的25.4%都不如;是非题也从基线的65.2%跌到45.6%。研究者分析,那个指导向量其实是个全局方向,统一加到每个图像块的查询和键上,没法指定"这个概念对应图片里哪个区域",结果是注意力分布被整体粗暴偏移,帮了一些类型的问题,却伤了另一些需要精细定位人物或做是非判断的问题。数字计数类问题,三个版本都只有6%左右的准确率,这也不难理解:指导内容里本来就没有数字信息,给了也白给。
错误分布的统计进一步印证了这一点。基线完全答错的比例是63.1%,晚期融合压到53.2%,注意力注入只压到60.5%,改善幅度明显小得多。论文还举了几个具体例子:问斑马身上的花纹是什么,基线答成"斑马"本身,两个加了指导的版本都准确答出"条纹";问房间里用什么制冷,基线答成"柳条",加了指导的版本答对"冰箱"。这类错误有个共同点——基线模型倾向于把图片里最显眼的物体名字念出来,而不是回答所问的属性或功能,指导信息恰好补上了这块短板。
浅的为什么反而更稳?
研究者给了三点解释,细想下来都站得住。
第一点是
第二点是
第三点是
有个细节值得多说一句。研究者特意强调,这些结果不代表深度融合天生不如浅层融合,而是说融合深度必须跟数据量匹配。换句话说,训练数据足够多的话,深度融合或许能发挥出本该有的优势,只是在这篇论文设定的数据稀缺场景下,它的潜力还没来得及施展,就先栽在了优化难度上。
这项研究之后,领域内已有一些工作沿着类似思路继续往前走。比如有研究尝试给深度融合加入带空间对应关系的概念级指导,而不是一个笼统的全局向量,想办法让"深融合"也知道该往哪个区域看;也有研究把这类系统融合的比较扩展到更大规模的数据集上,想摸清楚数据量涨到什么程度,深融合才能真正反超浅融合——这个交叉点目前还没有定论。
Q&A
Q1:OK-VQA基准测试是什么,为什么需要它?
OK-VQA 这个数据集就是冲着知识型视觉问答来的,里面收了大约 1.4 万个图片问题对。它出的题有个共同点:光盯着图看找不出答案,得调动法律常识、文化背景这些外部知识才答得上。靠它,正好能试出那些只会"看图念字"的模型到底行不行。
Q2:为什么浅层的晚期融合反而比深层的注意力注入效果更好?
问题出在三个地方。头一个,深层改造会把预训练阶段学好的视觉表示搅乱,而手头的数据量又不足以让它重新恢复过来;再者,指导信息给的是一个笼统的全局方向,硬往每个图像块里塞,精细定位能力反倒被拖累;还有,深层方案参数更多、优化起来更难,数据本来就稀缺,这种方案更容易训不好。
Q3:这篇研究用了什么方法扩充训练数据?
原始问题的措辞由研究团队拿 Llama 3.3 70B 做了改写,图片和答案都原样不动。这一改,训练样本从 3144 条涨到约 3.6 万条。此前平均每类答案只摊到 6 个样本,缺数据缺得厉害,这一步算是把窟窿补上了。