视觉语言大模型看不清人?研究称其更依赖物体大小与位置
NeurlPS 2026|视觉语言大模型不关注场景中的人类,反而靠物体大...
视觉语言大模型(VLMs)如今能顺利完成各类复杂的场景理解和视觉问答任务,可它们对场景的理解方式,真跟人一样吗?此前多项计算机视觉研究已经发现,模型和人在同一任务上看似能达到相同水平,模型甚至能超过人,但两者依赖的特征并不相同,因而不少情况下模型的表现会与人相悖。
加州大学圣塔巴巴拉分校的研究者给出结论:无论开源还是闭源的视觉语言大模型,对场景中物体重要性的判断都跟人明显不同。这些模型格外依赖物体的大小、居中程度和低级显著性,至于物体是不是人,它们并不敏感。
-
论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
-
论文链接:https://arxiv.org/abs/2605.13047
-
项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data
-
项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency
-
项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency
论文给出的第一项贡献,是一套能量化场景中语义显著性的模型评估方法。
之所以要采用黑盒方法,原因在于现实中的模型条件。
现在的视觉语言大模型参数量动辄极大,还有不少根本没开源。过去那套“白盒”可解释性手段,比如把注意力图可视化、画梯度热力图,碰上这类模型要么直接失效,要么只能看到表面,挖不出真正起因果作用的特征。论文因此设计了一种黑盒评估方法,开源模型、闭源模型都能用,用来衡量场景里的物体究竟对 VLM 输出的场景描述产生了多大影响。
这套方法叫反事实语义显著性:把一个物体拿掉,再看描述变了多少。
反事实语义显著性(Counterfactual Semantic Saliency, CSS)的思路说起来很直接:做因果干预(Causal intervention),挨个检验每个输入元素对输出有什么影响,据此判断场景中各个视觉元素对场景语义的分量。拿显示器举例,如果把它从场景里去掉后语义变化最剧烈,就说明显示器是读懂这个场景最关键的元素;反过来,去掉插座后场景语义没什么变化,那插座的语义显著性就不高。
第二项贡献是反事实场景的人类数据集,规模为 307 张原始场景加 1306 张反事实场景。
研究者想比较人和模型在场景理解上的差别,于是以视觉显著性研究中常用的 OSIE 数据集为基础,搭出一套数据集:307 张原始场景,加上 1306 张反事实场景。原始场景每张对应 3-6 个反事实场景,每个反事实场景里都移除了一个对应的物体。
人类基线由 227 名被试、16603 条描述构成。
场景描述数据是在 Prolific 平台上采集的,共 227 名人类被试参与。实验用被试间设计来避开记忆效应和前后干扰:一个场景若有 N 个目标物体,原图和 N 张反事实图会被分进 N+1 组互不重叠的刺激集,每组大约 10 名独立被试,这样同一个原始场景及其反事实变体,每名被试只会接触到其中一个。整个收集过程跑了 16665 次试次,剔除掉与其他被试描述明显对不上的低质量回答(约 0.3%),最后剩下 16603 条场景描述,平均每张图像有约 10 条独立描述(9–11 条),人类基线由此建立。
第三项发现是:在处理场景理解任务时,模型与人类的做法存在明显差别,双方所依赖的特征也不相同。研究者一共评测了 19 个模型,没有一个达到人类水准。
这 19 个模型既有开源也有闭源,主流系列基本覆盖,包括 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等。评测结果很一致:模型在场景理解上与人类差距显著。让它们挑出场景中语义最突出的物体,或者把同一场景里的物体按重要性排序,模型给出的结果都明显不及人类彼此之间的一致程度。
那差距究竟从哪来?研究者结合人类视觉研究和深度学习模型偏差方面的已有工作,列出了四种可能起作用的假设。
第一种是大小敏感性(Sensitivity to Size)。在人类视觉注意力里,物体刺激的大小是重要线索;此前也有研究显示,做物体识别的深度学习模型会过分看重物体大小。这一项用分割掩码的面积来度量物体大小。
第二种是中心敏感性(Sensitivity to Center)。人眼天生会盯住画面中央的物体,而不少视觉模型又是在 ImageNet、MS-COCO 这类以物体为中心的数据上训练出来的。研究者用物体中心到图像中心距离的负值来刻画居中程度。
第三种是低级显著性敏感性(Sensitivity to Low-level saliency)。视觉注意力方面的研究早就指出,颜色、亮度这类低级视觉特征的对比度会影响人的感知;也有研究认为,视觉模型更偏向低级视觉特征,而非高级语义信息。为了量化图像中的低级显著性,研究者动用了传统的低级显著性模型 Graph-Based Visual Saliency(GBVS),取物体所在区域内低级显著性的峰值作为该物体的低级显著性。
第四种是人类敏感性(Sensitivity to Person-Non-person)。眼动研究显示,即便没有具体任务,人也会优先去看场景中的人。视觉语言大模型有没有同样的倾向,此前还没有工作系统研究过。研究者借助 GPT-5.4 标注场景中的物体是否属于人类。
围绕这四种假设,研究者考察了物体语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。对比下来,视觉语言大模型对物体低级属性的依赖明显强于人类观察者;反过来,模型对“人”的敏感程度又显著低于人类。也就是说,又大、又居中、又扎眼的物体更容易把模型带偏,不管它在语义上是否真的重要;人类描述场景时则很受画面里有没有人影响,模型在这方面显得迟钝。
造成人与模型差异的首要因素,是模型对物体大小的偏好。既然模型在四种属性上的敏感度都跟人不一样,那究竟是哪一种属性在主导模型“找错关键物体”?
研究者为每个模型算了两个“差距”:模型在某一属性上的敏感性与人类的差值(Δr),以及模型 Top-1 准确率与人类的差值(ΔAcc)。随后在 19 个模型之间考察这两个差距是否相关——倘若某个属性上偏离人类越远的模型,找关键物体的表现也越差,该属性就很可能驱动了差距。四种属性里,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种都没到显著水平。文章开头的例子也由此得到解释:白鸟占的像素远多于鱼竿,模型过度依赖大小,鱼竿的重要性就被盖住了,最后与人类的判断相反。
白盒注意力图未必能说明模型“真正在意”什么。过去研究者常靠注意力图或激活图去“看”模型关注了图中哪些区域,那这类白盒方法得到的物体重要性,能不能跟 CSS 对得上?
研究者在开源模型 Qwen3-VL-4B-Instruct 上比较了三种常见白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。模型逐个 token 生成描述,每个 token 对应一张热力图,研究者先对所有 token 的热力图取最大值汇总,再取每个物体区域内的最大值,作为该物体的重要性。
结果显示,这些白盒热力图不是杂乱无章,就是过于稀疏,还经常落在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至负相关。面对结构复杂的现代 VLM,被动观察式的可解释性方法看来很难揭示真正驱动模型输出的因果因素。
结语
这项研究提出反事实语义显著性(CSS),这是一个黑盒、与模型无关的评估框架;配合大规模人类心理物理实验,它系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人会自然关注场景中的人,模型却默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是造成差距的最主要因素。生成数据被大量用于模型训练的今天,“模型是否像人一样看世界”或许同样值得关注。
作者介绍:
论文第一作者是温子奇,目前在加州大学圣塔芭芭拉分校攻读计算机方向博士,研究兴趣落在计算机视觉与认知科学的交叉地带,具体包括人类视觉建模、模型与人类行为的差异及其成因。他研究生阶段就读于卡耐基梅隆大学计算机学院(School of Computer Science),本科则毕业于浙江大学计算机科学与技术学院。