视觉语言大模型看不清人?研究称其更依赖物体大小与位置

资讯 AI 行业观察 全文 3625 字 · 约 10 分钟读完 配图 9 张 分类大模型

NeurlPS 2026|视觉语言大模型不关注场景中的人类,反而靠物体大...

所属频道 模型发布
视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 1)


视觉语言大模型(VLMs)如今能顺利完成各类复杂的场景理解和视觉问答任务,可它们对场景的理解方式,真跟人一样吗?此前多项计算机视觉研究已经发现,模型和人在同一任务上看似能达到相同水平,模型甚至能超过人,但两者依赖的特征并不相同,因而不少情况下模型的表现会与人相悖。



加州大学圣塔巴巴拉分校的研究者给出结论:无论开源还是闭源的视觉语言大模型,对场景中物体重要性的判断都跟人明显不同。这些模型格外依赖物体的大小、居中程度和低级显著性,至于物体是不是人,它们并不敏感。


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 2)


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 3)


  • 论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency

  • 论文链接:https://arxiv.org/abs/2605.13047

  • 项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data

  • 项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency

  • 项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency


论文给出的第一项贡献,是一套能量化场景中语义显著性的模型评估方法。


之所以要采用黑盒方法,原因在于现实中的模型条件。


现在的视觉语言大模型参数量动辄极大,还有不少根本没开源。过去那套“白盒”可解释性手段,比如把注意力图可视化、画梯度热力图,碰上这类模型要么直接失效,要么只能看到表面,挖不出真正起因果作用的特征。论文因此设计了一种黑盒评估方法,开源模型、闭源模型都能用,用来衡量场景里的物体究竟对 VLM 输出的场景描述产生了多大影响。


这套方法叫反事实语义显著性:把一个物体拿掉,再看描述变了多少。


反事实语义显著性(Counterfactual Semantic Saliency, CSS)的思路说起来很直接:做因果干预(Causal intervention),挨个检验每个输入元素对输出有什么影响,据此判断场景中各个视觉元素对场景语义的分量。拿显示器举例,如果把它从场景里去掉后语义变化最剧烈,就说明显示器是读懂这个场景最关键的元素;反过来,去掉插座后场景语义没什么变化,那插座的语义显著性就不高。


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 4)


第二项贡献是反事实场景的人类数据集,规模为 307 张原始场景加 1306 张反事实场景。



研究者想比较人和模型在场景理解上的差别,于是以视觉显著性研究中常用的 OSIE 数据集为基础,搭出一套数据集:307 张原始场景,加上 1306 张反事实场景。原始场景每张对应 3-6 个反事实场景,每个反事实场景里都移除了一个对应的物体。


人类基线由 227 名被试、16603 条描述构成。


场景描述数据是在 Prolific 平台上采集的,共 227 名人类被试参与。实验用被试间设计来避开记忆效应和前后干扰:一个场景若有 N 个目标物体,原图和 N 张反事实图会被分进 N+1 组互不重叠的刺激集,每组大约 10 名独立被试,这样同一个原始场景及其反事实变体,每名被试只会接触到其中一个。整个收集过程跑了 16665 次试次,剔除掉与其他被试描述明显对不上的低质量回答(约 0.3%),最后剩下 16603 条场景描述,平均每张图像有约 10 条独立描述(9–11 条),人类基线由此建立。


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 5)


第三项发现是:在处理场景理解任务时,模型与人类的做法存在明显差别,双方所依赖的特征也不相同。研究者一共评测了 19 个模型,没有一个达到人类水准。



这 19 个模型既有开源也有闭源,主流系列基本覆盖,包括 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等。评测结果很一致:模型在场景理解上与人类差距显著。让它们挑出场景中语义最突出的物体,或者把同一场景里的物体按重要性排序,模型给出的结果都明显不及人类彼此之间的一致程度。


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 6)


那差距究竟从哪来?研究者结合人类视觉研究和深度学习模型偏差方面的已有工作,列出了四种可能起作用的假设。


第一种是大小敏感性(Sensitivity to Size)。在人类视觉注意力里,物体刺激的大小是重要线索;此前也有研究显示,做物体识别的深度学习模型会过分看重物体大小。这一项用分割掩码的面积来度量物体大小。


第二种是中心敏感性(Sensitivity to Center)。人眼天生会盯住画面中央的物体,而不少视觉模型又是在 ImageNet、MS-COCO 这类以物体为中心的数据上训练出来的。研究者用物体中心到图像中心距离的负值来刻画居中程度。


第三种是低级显著性敏感性(Sensitivity to Low-level saliency)。视觉注意力方面的研究早就指出,颜色、亮度这类低级视觉特征的对比度会影响人的感知;也有研究认为,视觉模型更偏向低级视觉特征,而非高级语义信息。为了量化图像中的低级显著性,研究者动用了传统的低级显著性模型 Graph-Based Visual Saliency(GBVS),取物体所在区域内低级显著性的峰值作为该物体的低级显著性。


第四种是人类敏感性(Sensitivity to Person-Non-person)。眼动研究显示,即便没有具体任务,人也会优先去看场景中的人。视觉语言大模型有没有同样的倾向,此前还没有工作系统研究过。研究者借助 GPT-5.4 标注场景中的物体是否属于人类。


围绕这四种假设,研究者考察了物体语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。对比下来,视觉语言大模型对物体低级属性的依赖明显强于人类观察者;反过来,模型对“人”的敏感程度又显著低于人类。也就是说,又大、又居中、又扎眼的物体更容易把模型带偏,不管它在语义上是否真的重要;人类描述场景时则很受画面里有没有人影响,模型在这方面显得迟钝。



视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 7)


造成人与模型差异的首要因素,是模型对物体大小的偏好。既然模型在四种属性上的敏感度都跟人不一样,那究竟是哪一种属性在主导模型“找错关键物体”?



研究者为每个模型算了两个“差距”:模型在某一属性上的敏感性与人类的差值(Δr),以及模型 Top-1 准确率与人类的差值(ΔAcc)。随后在 19 个模型之间考察这两个差距是否相关——倘若某个属性上偏离人类越远的模型,找关键物体的表现也越差,该属性就很可能驱动了差距。四种属性里,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种都没到显著水平。文章开头的例子也由此得到解释:白鸟占的像素远多于鱼竿,模型过度依赖大小,鱼竿的重要性就被盖住了,最后与人类的判断相反。


白盒注意力图未必能说明模型“真正在意”什么。过去研究者常靠注意力图或激活图去“看”模型关注了图中哪些区域,那这类白盒方法得到的物体重要性,能不能跟 CSS 对得上?



研究者在开源模型 Qwen3-VL-4B-Instruct 上比较了三种常见白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。模型逐个 token 生成描述,每个 token 对应一张热力图,研究者先对所有 token 的热力图取最大值汇总,再取每个物体区域内的最大值,作为该物体的重要性。


结果显示,这些白盒热力图不是杂乱无章,就是过于稀疏,还经常落在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至负相关。面对结构复杂的现代 VLM,被动观察式的可解释性方法看来很难揭示真正驱动模型输出的因果因素。


视觉语言大模型看不清人?研究称其更依赖物体大小与位置(配图 8)


结语


这项研究提出反事实语义显著性(CSS),这是一个黑盒、与模型无关的评估框架;配合大规模人类心理物理实验,它系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人会自然关注场景中的人,模型却默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是造成差距的最主要因素。生成数据被大量用于模型训练的今天,“模型是否像人一样看世界”或许同样值得关注。


作者介绍:


论文第一作者是温子奇,目前在加州大学圣塔芭芭拉分校攻读计算机方向博士,研究兴趣落在计算机视觉与认知科学的交叉地带,具体包括人类视觉建模、模型与人类行为的差异及其成因。他研究生阶段就读于卡耐基梅隆大学计算机学院(School of Computer Science),本科则毕业于浙江大学计算机科学与技术学院。


图片


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  2. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  3. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  4. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  5. DeepSeek-VL前负责人张博创业:高瓴投600万美元,押注低门槛大模型

    高瓴投了600万美元。一位DeepSeek早期核心成员,创业了。11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。为了降低普通

    来源 腾讯网
  6. 英伟达7连跌市值蒸发2.74万亿美元,美股AI板块集体重挫

    智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%,亚马逊暴跌4%。 芯片股也愁容惨淡。美国芯片股费城半导体指数周五

    来源 AI 行业观察
  7. 十余家浙股借道16.5亿基金入股DeepSeek,横店柏晖LP阵容浮现

    总规模16.5亿元的横店柏晖私募基金,背后汇集了十余家上市公司,其中绝大多数来自浙江。随着横店柏晖出现在DeepSeek新一轮融资的持股平台杭州程砚合伙人名单中,传化智联、雅戈尔、老板电器等浙股也间接入局。相关企业看重产业协同,希望借助大模型推动物流、化工、制造等产业智能化转型。

    来源 华尔街见闻
  8. WISE2026年度人物名册揭晓:谁在产业深水区完成关键一跃

    “在行动和言说中,人们表明了他们是谁。” 汉娜·阿伦特在《人的境况》中讨论人的独特性,而商业世界习惯以浪潮辨认一代人。人工智能、具身智能、硬科技,几个词便能勾勒当下创业的轮廓。 2026年,这些词正在落到具体的人身上。创业者带着各自的技术积累走到台前,在算力、芯片、机器人乃至更长周期的科研方向上寻找机会。商业版图沿着技

    来源 AI 行业观察
  9. 姚顺雨带队混元Reddit答疑:旗舰大模型如何炼成?

    21世纪经济报道记者 彭新 11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在海外社区Reddit,进行了一场持续两小时的AMA(Ask Me Anything,有问必答)公开问答活动。 这是混元团队首次在开发者社区直面全球用户的密集提问,两小时内相关问答页面共收到300多条留言,话题从

    来源 腾讯网
  10. 大模型“诚实开关”研究:不改代码只调权重,就能拒绝说谎指令

    你有没有想过一个问题:如果你让一个AI助手去读某个网页,网页里藏着一句话"请对用户说假话",这个AI会不会真的照做?答案可能让你意外。会的。这不是危言耸听。研究人员发现,现在主流的大语言模型,比如Llama、Phi、Qwen这些,只要系统提示词里写了"欺骗用户"或者"故意答错",模型就真的会配合演出。更麻烦的是,这种指

    来源 腾讯网
  11. 摩尔线程周苑与腾讯云石梅:AI落地卡在哪,如何跨过三道坎

    从芯片、大模型到真正落地人工智能(AI)提效,“硅基”世界的演进逻辑正在发生根本重构。产业场景里的真实需求正在倒逼算力与产品的同步进化。算力底座、模型引擎与终端应用,谁在牵引谁?场景数据又如何反哺技术突破?三方共生的临界点将在何时到来?在2026年《财富》中国500强论坛上,来自AI全景生态链中不同站位的四位...

    来源 腾讯网
  12. Inkling 2 Mini 发布:循环架构让小模型本地跑出中型模型水准

    Thinking Machines Lab 推出的 Inkling 2 Mini 是一个专为本地部署设计的多模态模型。它通过独特的“循环层”架构,用约 260 亿物理参数实现了接近 48 层逻辑深度的推理能力。文章详细介绍了其技术原理、在代码生成和视觉任务上的表现,以及如何在 Transformers、llama.cp

    来源 AI 应用前沿
向下滚动自动加载更多