浙大庄越挺团队新基准：VLM空间推理最高仅58.0%，症结在哪？

资讯雷峰网 2026/11/13 11:01 全文 7755 字 · 约 20 分钟读完配图 15 张分类世界模型

空间专项模型反而不如通用模型？浙大庄越挺团队提出空间智能新基准

所属频道模型发布

VLM 在预测性空间推理上的缺口还有多大？21 个模型，最高准确率仅 58.0%

空间专项模型居然跑不过通用模型？浙大庄越挺团队拿出了一套空间智能新基准

眼下，空间智能已经成了 AI 竞争最激烈的战场。物体位于另一物体的哪一侧、彼此相隔多远、视角一变它又跑到哪里——这些空间问题，视觉语言模型（Vision-Language Model，VLM）如今都能答上不少。

不过空间智能不只是看懂静态场景。放到真实交互环境里，机器人还得应对动作引起的场景变化：物体被移动、旋转或拿走后，视觉语言模型要判断新的空间关系。

假如不给变化后的画面，只告诉视觉语言模型“把这个物体移走”或者“把整个场景转一个方向”，它还能判断新的空间关系吗？

浙江大学最新提出的 SpaceCast-Bench，专门评估这类预测性空间推理（predictive spatial reasoning）：视觉语言模型需要从变换前的观测中理解当前场景状态，并在给定一个空间变换或干预后，对从未被直接展示的结果状态进行空间关系推理。

他们评测了 21 个视觉语言模型，结果最高准确率只有 58.0%，人类则达到 87.2%，两者差距依然明显。更出人意料的是，6 个空间专项模型的总体准确率落在 25.7% 至 29.1% 之间，已接近 25.9% 的随机水平，还比不上所有闭源模型和通用开放权重模型。

论文由李弘幸、苏进越共同担任一作，通讯作者是沈永亮，李鼎铭、张文祺、鲁伟明、肖俊、庄越挺等人也参与其中。这支团队在空间智能领域的积累相当深厚：

三十年前，浙江大学求是特聘教授庄越挺就发表过空间推理方面的研究《基于空间推理的设计方法及其应用》。那时空间推理还停留在理论探讨阶段，他已率先把它带进真实的设计应用。

通讯作者沈永亮是庄越挺的学生，也是浙江大学“百人计划”研究员。他是 LLM Agent 领域开创性工作 HuggingGPT 的一作，如今深耕 Agentic AI 与 Physical AI，空间推理也是他重点关注的研究方向。

肖俊也是浙江大学求是特聘教授，拿过吴文俊人工智能科学技术奖自然科学奖一等奖和 ACM Multimedia 唯一最佳论文奖，多年钻研三维识别与检索；眼下，他把跨媒体计算与计算机视觉上的积累继续投向空间推理研究。

浙江大学研究员张文祺曾是“华为天才少年”，主要研究具身模型与空间智能方向，做的正是让模型在三维环境中推理与行动。

浙江大学副教授鲁伟明则从大数据管理与知识挖掘的角度，为基准的数据构建提供支撑。

围绕这项工作的研究动机、实验中出现的反常结果，以及团队对空间智能瓶颈和应对路径的进一步思考与判断，AI 科技评论采访了论文一作、浙江大学博士生李弘幸。

论文地址：https://arxiv.org/abs/2610.12402

这个新的基准为什么要测、怎么测、又测出了什么？先从现有基准没有测到的地方说起。

现有空间推理，难在变化之后

现有的空间评测已覆盖单图、多视角和视频，方向、距离、3D 尺度估计、跨视角位置关系等也陆续被纳入测试。不过，不少任务考的主要还是视觉语言模型对当前空间关系的识别，也就是依据输入中已有的视觉信息，判断物体之间是什么关系。

放到真实操作里，问题会更复杂。一本书下面压着一个信封，书上还搁着一只杯子。机器人若只回答“杯子在哪”“信封在哪”，那是在判断当前关系；可它要是想把信封抽出来，就得先预测挪动书本之后场景关系会怎么变，再据此定下下一步动作。

这里的关键区别在于，视觉语言模型需要根据一次空间干预，预测场景关系随后如何变化。

SpaceCast-Bench 将整个过程拆成 observe–transform–infer：先从一个或多个视角获得当前场景信息，再应用一次指定的空间变化，最后推断变化后的关系，结果状态本身不会直接以新图片提供给模型。

三个层级把预测性空间推理拆开测

为看清视觉语言模型在静态空间感知与变化后推理上的差距，SpaceCast-Bench 把能力划成三层。

L1 Static Perception 不改动场景，只考当前的方向、距离、可见性、遮挡与附着关系。这一层是基础参照：原始空间关系若已判错，后面的预测失手就不能都算到状态更新头上。

L2 Local Prediction 引入局部变化，物体被移动、旋转或移除，附着关系带来的联动变化也在考察范围内。比如把床往北挪 1.5 米，再问两个物体之间新的方向关系。

L3 Global Prediction 则把整个场景布局整体旋转，要求模型换到不同参考系下重新判断空间关系。

三层分别对应三类任务：静态空间感知、局部状态变化预测、整体场景变化预测。

最终 SpaceCast-Bench 收录 182 个真实室内场景、3862 道问题、16 类任务，并在 camera-centric、object-centric、world-centric（即以相机、物体和世界为中心的参考系）三种参考系下测方向判断。

空间专项模型为何没显出优势？

21 个被测视觉语言模型里，最高准确率 58.0%，比人类的 87.2% 低 29.2 个百分点。

6 个空间专项模型总体得分仅 25.7% 至 29.1%，接近 25.9% 的随机基线，整体不如闭源模型和通用开放权重模型。

问题出在哪？

先看各能力层级。三类模型在 L1 静态感知、L2 局部预测、L3 全局预测上的表现并不一致。

闭源和通用开放权重模型在 L2 上普遍比 L1 下滑，但较强的模型到 L3 又明显回升。Gemini 3.5 Flash 从 L2 的 45.3% 升到 L3 的 69.4%，Qwen3.7-Plus 也从 43.2% 升到 66.6%。

空间专项模型是另一番景象：它们在 L3 上整体更弱。SenseNova-SI-1.2 从 L2 的 30.5% 掉到 L3 的 16.1%，Cambrian-S-7B 从 28.8% 降到 17.1%。

这说明现有的空间专项训练还没能有效提升模型的全局空间表示和更新能力，碰到要推断整体场景变化的任务，短板尤其明显。

再拆到具体关系类型，问题更清楚。

SpaceCast-Bench 考的不只是“A 在 B 的哪一边”，attachment（附着关系）也在其中。

说白了，一本书上放着杯子，挪书时杯子跟着走，模型得理解这种物体间的联动，才能正确预测变化后的场景。

对闭源和通用开放权重模型而言，附着关系反倒算容易的一类。Qwen3.7-Plus、GPT-5.6-Luna 和 Qwen3.5-27B 的准确率分别为 80.4%、74.2% 和 68.0%。

空间专项模型在这一项上明显偏低：SenseNova-SI-1.2 仅 13.4%，SpatialLadder 为 9.3%。

附着关系并非各类模型共同的难点，但空间专项模型这项偏低，说明空间专项训练对附着关系的覆盖还不够。

论文还测了 Chain-of-Thought（思维链）提示，即让模型先写出推理步骤再给答案。

结果显示，多写推理步骤并没带来稳定提升：不同模型、不同能力层级的变化方向不一致，有的任务涨，有的反而跌。

只加推理步骤并不能稳定改善预测性空间推理，模型还得更有效地整合和利用空间信息。

评估视觉语言模型的空间推理能力时，还得看它到底在哪类任务上更强——是当前关系识别、跨视角整合、3D 表示，还是变化之后的空问关系推断。

显式 3D 信息能帮视觉语言模型把空间推理做得更好

为了弄清不同空间信息对视觉语言模型预测性空间推理的作用，论文接着测试了各种形式的空间信息输入。

思路分两类。

一类是显式 3D 信息。说白了，就是除了给模型看照片，还把场景的三维结构直接摊开告诉它。BEV（鸟瞰图）把场景转成俯视视角下的空间表示，物体的位置关系和布局一眼可见；文本形式的 3D metadata（3D 元数据）则把物体的位置、尺寸、朝向写成文字或结构化数据，直接喂给模型。

另一类是生成式证据。先让图像或视频生成模型去“想象”干预之后的画面，比如桌子被搬走以后房间是什么样，再把这个生成结果交给模型，让它对着新画面作答。

结果显示，闭源模型和通用开放权重模型更能用上显式 3D 信息。文本形式的 3D metadata 一加，闭源模型平均提升 30.7 个百分点，通用开放权重模型平均提升 10.9 个百分点；BEV 同样能带来一定提升。

从视觉观察里拿到可靠的 3D 空间表示，是视觉语言模型做预测性空间推理任务时的重要限制因素之一。一旦明确的空间结构被提供出来，后面的空间变换和关系判断就会明显改善。

反过来，让生成模型先生成变化后的图片或视频，帮助就更小，也更不稳定。

生成式证据实验挑了 600 道局部变化题，先由 Qwen-Image-Edit 或 GPT-image-2 生成干预后的画面，再把生成结果作为额外信息交给回答模型。

结果发现，在模型答错的样本里，Qwen-Image-Edit 条件下有 80.3% 的错误跟生成失败有关，GPT-image-2 这一比例是 38.3 %。进一步检查这些错误案例，常见的生成问题包括物体缺失、形变，以及尺度、透视不一致。

也就是说，生成式结果图本身就可能带来额外误差。即便生成结果没有明显错误，模型仍得把新画面和原始场景观察对应起来。

在 SpaceCast-Bench 这类受控任务中，明确的 3D 空间信息比生成变化后的结果画面更稳定地帮到了通用视觉语言模型。

多视角整合、训练效果与评测边界

多视角信息之外，另一个问题也会左右预测性空间推理的效果：视觉语言模型能否把手上已有的多个视角观察真正用起来。论文围绕三块展开分析——多视角怎么整合、训练带来什么变化、评测的边界在哪里。

先看多视角整合。SpaceCast-Bench 里有些问题涉及两个分开的场景区域，单靠一个视角拍不全。

做法是先选两个锚点视图（anchor views），一个主要观察其中一组物体，另一个观察另一组物体，两个视角之间没有直接连接。再在这两个锚点之间加入 bridge views（桥接视角），用连续视角把原本分散的区域连起来。

把这些中间视角去掉后，三个参考系下的方向判断都会下降，其中世界参考系方向准确率从 39.9% 降到 34.6%。

桥接视角能帮模型整合分散视角中的空间信息。多视角输入本身并不意味着模型已经建立完整的空间理解，还需要把不同观察中的信息整合起来。

除了输入和视角，论文还测试了训练能不能改善这一能力。

SFT（Supervised Fine-Tuning，监督微调）属于常见的后训练手段：拿程序自动生成的一批问答数据接着训练模型，每道题都带标准答案。这些答案是 3D 几何引擎推出来的，并非人工标注。所谓分阶段 SFT，是先练 L1 静态感知，再练 L2、L3，同时回放 L1，任务难度逐级往上加。

通用开放权重模型 Qwen3-VL-4B 在分阶段 SFT 后，SpaceCast-Bench 准确率从 34.0% 提升到 65.7%，并在 6 个分布外空间推理基准（OOD Benchmark）上获得宏平均提升。

真正要问的不光是“训练管不管用”，还得看训练数据补上的是哪一类预测性空间推理能力。对比来看，一旦围绕预测性空间推理任务来生成训练数据，模型的表现就会有明显提升。

不过，这套评测距离完整的物理预测仍有明显边界。

SpaceCast-Bench 的测试场景取自真实室内三维数据集 ScanNet 与 ScanNet++，变化方式主要是程序化平移、旋转和移除，没有把物体形变、碰撞这类动力学过程纳入模拟。它测的是视觉语言模型在受控空间变化下的预测本事，而非完整的物理世界模拟；关注点落在模型能不能依据已有观察更新空间状态、推断变化后的关系。

预测性空间推理只占空间智能能力的一个维度。面向真实环境的视觉语言模型，往后还得应付更复杂的物理变化、长期交互和持续学习。

对话 SpaceCast-Bench 一作李弘幸

实验结果之外，团队怎么理解这些现象、这些结果对后续研究意味着什么，同样值得关注。以下是 AI 科技评论与 SpaceCast-Bench 一作李弘幸的对话，内容经不改变原意的删减与整理。

▎AI 科技评论：不少空间理解任务盯的是视觉语言模型能不能识别当前场景里的空间关系。团队为何认定只理解当前状态不够？为何要再往前一步，研究“根据场景变化预测新的空间关系”？

李弘幸：空间智能要求模型理解当前环境，也要求它具备预测环境变化的能力。

李弘幸：视觉语言模型在空间感知上已有不少进展，例如判断物体间的方向、距离和跨视角空间关系，可这些任务大多盯着已经能被观察到的空间状态。

李弘幸：真实物理环境里，智能体往往要在执行动作之前先预测动作可能带来什么结果。机器人移动桌子时，既要理解桌子当前的位置，也得预判桌面物体会跟着怎么动、这些变化对周围环境有何影响。

李弘幸：从静态空间感知走向预测性空间推理，是视觉语言模型迈向真实物理世界、支撑具身交互和复杂任务规划的重要一步，也是我们提出 SpaceCast-Bench 的核心动机。

▎AI 科技评论：从理解当前空间到预测空间变化，中间最大的挑战是什么？

李弘幸：最大的挑战在于模型能不能建立一个稳定、完整且可动态更新的空间表示。

李弘幸：传统空间感知任务通常只需识别当前的空间关系，预测性空间推理还要求模型整合多视角信息、理解空间变换，并重新推断变化后的物体关系。

李弘幸：桌子移动时，模型既要理解移动的方向和距离，也要考虑桌面物体的联动变化以及最终的空间关系。

李弘幸：实验显示，当前模型一方面难以形成跨视角一致的三维空间理解，另一方面也缺乏可靠的空间状态更新能力。

李弘幸：真正的挑战在于如何维护和操作空间表示、在环境变化后保持推理的一致性，理解空间关系只是其中一半。

▎AI 科技评论：SpaceCast-Bench 为什么采用 observe–transform–infer 这一框架？

李弘幸：我们选 observe–transform–infer（观察—变换—推断），是想把预测性空间推理拆成相对独立的环节，更系统地分析模型的能力边界。

李弘幸：与传统空间问答不同，模型只看到变化前的场景和指定的空间变换，变化后的结果不会直接呈现。问题究竟出在空间感知、状态更新还是关系推断，这样就能进一步区分开。

▎AI 科技评论：你们此前已经做过 ViewSpatial-Bench、SpatialLadder、SpatialEvo、GPD 等工作。这几项工作和 SpaceCast-Bench 是怎样串起来的？

李弘幸：我们团队从 2024 年到 2025 年开始持续关注空间推理这一方向。

李弘幸：当时这一方向在多模态领域比较热门，空间理解与推理也是 VLM 从视觉感知走向更高级智能的重要能力之一，对具身智能这类需要与真实环境交互的场景尤其关键。

李弘幸：这几项工作都围绕提升 VLM 的空间推理能力展开，侧重点各有不同。ViewSpatial-Bench 主要关注空间感知与跨视角理解，SpatialLadder 探索从感知到推理的渐进式训练，SpatialEvo 尝试通过自进化机制持续提升空间推理能力，GPD 则研究如何利用三维几何信息辅助模型训练。SpaceCast-Bench 把研究重点从静态空间理解进一步拓展到预测性空间推理。

李弘幸：说到底，我们希望模型能理解当前的空间关系，也能推断空间变化后的状态，一步步向更完整的空间智能迈进。

AI 科技评论问，本次实验中有哪些结果与团队原先的预期不一样？

李弘幸回答，多数结果在预期之内。部分通用闭源模型的表现高于预期，离人类水平还有明显距离，但已表现出一定的预测性空间推理能力。

基础模型整体能力持续提升，它们在别的任务里练出的推理能力，或许已经能部分迁移到未经专门训练的新任务上。

真正让团队意外的是生成式世界模型。此前的研究让团队预期，世界模型能靠生成变化后的场景来辅助预测性空间推理。实验结果却是，这类模型处理空间变化时短板明显，生成结果常出现物体缺失、形变或空间关系出错。

画面看起来合理，不等于模型真能准确预测空间状态的变化。生成质量和空间正确性要分开评：前者看画面是否清晰、真实、自然，后者看物体位置、朝向、尺度以及彼此关系是否准确。

评测世界模型，除视觉质量外，还应把几何一致性、物体关系的保持、对外部干预的准确响应纳入考量。长期预测能力同样关键，也就是模型在连续多步变化中能否保持空间状态的一致与准确。

AI 科技评论问，6 个空间专项模型整体表现偏低，团队怎么看？

李弘幸表示，空间专项模型没显出明显优势，这个现象值得继续研究。他认为原因在于，现有空间模型的后训练方法仍以静态空间感知为主，重点放在提升模型识别方向、距离和空间关系的能力上，对空间变化预测、动态状态更新等能力关注不够，模型在传统空间任务里获得的能力也就难以有效迁移到预测性空间推理任务。

从具体错误看，模型通常不是认不出物体，问题出在没能正确维护三维空间关系。跨视角时容易依赖二维位置，物体移动时忽略联动变化，全局旋转时则可能把左右关系简单反转。

归结起来，当前模型有两个瓶颈：一是难以从视觉观察中建立准确、一致的三维空间表示，二是缺乏在空间变化后可靠更新场景状态的能力。

今后的空间模型后训练，除了提升静态空间感知能力，还应针对空间状态更新和预测性推理设计相应的训练任务与数据，推动模型从理解当前空间走向预测空间变化。

AI 科技评论问，BEV、3D metadata 等显式 3D 信息都带来了提升，这些结果给团队什么启发？

李弘幸认为，如何准确获取和表示空间信息，可能与模型本身的推理能力同样重要。

加入 3D metadata 后，闭源模型平均提升了 30.7 个百分点，可见准确的空间表示能明显降低后续推理的难度。

显式三维表示与生成式世界模型并不冲突，两者更可能互补：前者给出稳定的场景结构，后者负责预测动态变化。

代码：https://github.com/ZJU-REAL/SpaceCast-Bench
数据：https://huggingface.co/datasets/hongxingli/SpaceCast-Bench

本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。

继续浏览更多资讯

返回资讯目录