浙大SpaceCast-Bench评测21个VLM：预测性空间推理最高仅58.0%

资讯雷峰网 2026/11/13 10:59 全文 7755 字 · 约 20 分钟读完配图 15 张分类世界模型

空间专项模型反而不如通用模型？浙大庄越挺团队提出空间智能新基准

所属频道模型发布

VLM 在预测性空间推理上的缺口还有多大？21 个模型，最高准确率仅 58.0%

空间专项模型反而不如通用模型？浙大庄越挺团队提出空间智能新基准

AI 竞赛里，空间智能的位置正越来越核心。对视觉语言模型（Vision-Language Model，VLM）来说，回答“一个物体在另一个物体哪一侧”“两者相距多远”“换个视角物体在哪”这类问题，已经不是难事。

可空间智能并不只是看懂静态场景。放到真实交互环境里，机器人得应付动作造成的场景变化：物体被挪走、转了个角度或者被拿开之后，视觉语言模型要能判断出新的空间关系。

那要是变化后的画面不给它看，只丢一句“把这个物体移走”或者“把整个场景转一个方向”，它还能判断出新的空间关系吗？

浙江大学新近提出的 SpaceCast-Bench，评测的正是这类预测性空间推理（predictive spatial reasoning）：模型先要从变换前的观测里读懂当前场景状态，接着给定一次空间变换或干预，再对从未直接展示过的结果状态做空间关系推理。

评测覆盖 21 个视觉语言模型，结果最高准确率只有 58.0%。人类在这一项上的准确率是 87.2%，差距仍然明显。

更反直觉的是，6 个空间专项模型的总体准确率落在 25.7% 至 29.1% 之间，接近 25.9% 的随机水平，还低于所有闭源模型和通用开放权重模型。

沈永亮是通讯作者，李弘幸与苏进越为共同一作；李鼎铭、张文祺、鲁伟明、肖俊、庄越挺等人也参与了论文工作。在空间智能这个方向上，这支队伍的分量并不轻：

浙江大学求是特聘教授庄越挺三十年前就发表过空间推理相关研究《基于空间推理的设计方法及其应用》。那会儿空间推理还停留在理论探讨阶段，他已经先一步把它推向真实的设计应用。

通讯作者沈永亮是庄越挺的学生，也是浙江大学“百人计划”研究员。LLM Agent 领域的开创性工作 HuggingGPT，一作就是他。他如今深耕 Agentic AI 与 Physical AI，空间推理同样是他重点关注的研究方向。

肖俊同为浙江大学求是特聘教授，拿过吴文俊人工智能科学技术奖自然科学奖一等奖、ACM Multimedia 唯一最佳论文奖，长期做三维识别与检索，眼下也把跨媒体计算与计算机视觉方面的积累延伸到空间推理研究里。

浙江大学研究员张文祺曾是“华为天才少年”，主攻具身模型与空间智能方向，做的正是让模型在三维环境中推理与行动。

浙江大学副教授鲁伟明则从大数据管理与知识挖掘的角度，为基准的数据构建提供支撑。

就这项研究为何要做、实验里冒出的反常现象，以及团队如何看待空间智能当前的瓶颈、打算怎么应对，AI 科技评论与论文一作、浙江大学博士生李弘幸聊了聊。

论文地址：https://arxiv.org/abs/2610.12402

这个新基准为什么要测、怎么测、又测出了什么？先从现有基准没有测到的地方说起。

现有空间推理，难在变化之后

现有空间评测已经覆盖单图、多视角和视频，方向、距离、3D 尺度估计以及跨视角位置关系也开始进入测试范围。不过不少任务重点仍放在视觉语言模型对当前空间关系的识别上，也就是依据输入中已经给出的视觉信息，判断物体之间是什么关系。

真实操作里的问题要复杂得多。

一本书下面压着一个信封，书上还放着一个杯子。机器人只回答“杯子在哪”“信封在哪”，判断的是当前关系；可它要把信封取出来，就得先预测移动书之后场景关系会怎么变，再据此决定下一步怎么动。

关键区别就在这里：视觉语言模型得根据一次空间干预，推断场景关系随后会发生什么变化。

SpaceCast-Bench 把整个过程拆成 observe–transform–infer：先从一个或多个视角拿到当前场景信息，再施加一次指定的空间变化，最后推断变化后的关系，结果状态本身不会以新图片的形式直接交给模型。

三个层级拆开测，预测性空间推理的短板在哪

静态空间感知和变化后推理，视觉语言模型的表现差多少？SpaceCast-Bench 为此划出三个能力层级。

L1 Static Perception 不改动场景，只考当前的方向、距离、可见性、遮挡和附着关系，相当于给后面立一个基础参照——原始空间关系都判错，预测失败就不能全算到状态更新头上。L2 Local Prediction 则引入局部变化，物体被移动、旋转或移除，还要考虑附着关系引发的联动，比如床向北挪 1.5 米后，再问两个物体之间新的方向关系。

L3 Global Prediction 把整个场景布局整体旋转，要求模型换到不同参考系下重新判断空间关系。三个层级对应三类任务：静态空间感知、局部状态变化预测、整体场景变化预测。

整套基准最终覆盖 182 个真实室内场景、3862 道问题、16 类任务，方向判断在三种参考系下各测一遍：camera-centric、object-centric、world-centric，也就是以相机、物体和世界为中心。

空间专项模型为何没占到便宜？

21 个被测视觉语言模型里，最高准确率 58.0%，人类是 87.2%，相差 29.2 个百分点。

6 个空间专项模型的总体得分落在 25.7% 至 29.1% 之间，离 25.9% 的随机基线不远，整体还不如闭源模型和通用开放权重模型。

问题出在哪？

先按能力层级看。三类模型在 L1 静态感知、L2 局部预测、L3 全局预测上的走势并不一致。

闭源模型和通用开放权重模型在 L2 上普遍比 L1 掉一截，可其中较强的模型到 L3 又明显拉回来：Gemini 3.5 Flash 从 L2 的 45.3% 升到 L3 的 69.4%，Qwen3.7-Plus 也从 43.2% 升到 66.6%。

空间专项模型的曲线不一样，它们在 L3 上整体更弱。SenseNova-SI-1.2 从 L2 的 30.5% 降到 L3 的 16.1%，Cambrian-S-7B 从 28.8% 降到 17.1%。

这说明现有的空间专项训练还没能有效提升模型对全局空间的表示和更新能力，碰到要推断整体场景变化的任务，短板尤其明显。

再拆到具体关系类型，问题更清楚。SpaceCast-Bench 考的不只是“A 在 B 的哪一边”，还有 attachment（附着关系）。

拿一本书和一个杯子举例：杯子上放在书上，书一移动，杯子跟着走。模型得理解这种物体之间的联动，才能把变化后的场景预测对。

对闭源和通用开放权重模型来说，附着关系反倒算相对容易的一项。Qwen3.7-Plus、GPT-5.6-Luna 和 Qwen3.5-27B 的准确率分别为 80.4%、74.2% 和 68.0%。

空间专项模型这项就差得远：SenseNova-SI-1.2 只有 13.4%，SpatialLadder 为 9.3%。

附着关系并不是各类模型共同的难点，可空间专项模型偏偏在这项上明显偏低，说明空间专项训练对附着关系的覆盖还不够。

论文还试了 Chain-of-Thought（思维链）提示，让模型先写出推理步骤再给答案。结果并没有稳定提升：不同模型、不同能力层级上变化方向不一致，有的任务涨，有的任务反而跌。

光加推理步骤，预测性空间推理并不会稳定变好，模型还得更有效地整合和利用空间信息。

要判断视觉语言模型的空间推理水平，还得看它究竟在哪类任务上更拿手：是当前关系识别、跨视角整合、3D 表示，还是空间关系变化之后的推断。

显式 3D 信息，能帮视觉语言模型把空间推理做得更好

为了弄清不同空间信息各自对预测性空间推理的作用，论文又测试了几种不同形式的空间信息输入。

思路可以分成两类。

第一类是显式 3D 信息。说白了，就是除了照片，还把场景的三维结构一并交给模型。以 BEV（鸟瞰图）为例，它把场景转成俯视视角下的空间表示，物体的位置关系和整体布局一眼可见。3D metadata（3D 元数据）走的则是文本路线：把物体的位置、尺寸、朝向写成文字或结构化数据，直接送给模型。

另一类是生成式证据。先让图像或视频生成模型“想象”出干预之后的画面，比如桌子被搬走后房间是什么样，再把这个生成结果交给模型，让它对着新画面作答。

结果显示，闭源模型和通用开放权重模型对显式 3D 信息的利用更充分。文本形式的 3D metadata 加进去后，闭源模型平均提升 30.7 个百分点，通用开放权重模型平均提升 10.9 个百分点；BEV 同样能带来一定提升。

对视觉语言模型来说，从视觉观察里拿到可靠的 3D 空间表示，是处理预测性空间推理任务时的一大限制。一旦明确的空间结构给到位，后面的空间变换和关系判断就会明显好转。

反过来，让生成模型先产出变化后的图片或视频，帮助要小得多，也不够稳定。

生成式证据实验挑了 600 道局部变化题：先由 Qwen-Image-Edit 或 GPT-image-2 生成干预后的画面，再把生成结果当作额外信息提供给回答模型。

结果是，在模型答错的样本里，Qwen-Image-Edit 条件下有 80.3% 的错误跟生成失败有关，GPT-image-2这一比例为 38.3 %。进一步检查这些错误案例，常见的生成问题有物体缺失、形变，以及尺度、透视不一致。

可见生成式结果图本身就可能带来额外误差。就算生成结果看不出明显问题，模型也得把新画面和原始场景观察对应起来。

在 SpaceCast-Bench 这类受控任务中，明确的 3D 空间信息对通用视觉语言模型的帮助，比生成变化后的结果画面更稳定。

多视角整合、训练效果与评测边界

除了额外提供空间信息，视觉语言模型能不能有效整合手上已有的多视角观察，同样左右着预测性空间推理。论文从多视角整合、训练效果和评测边界三个角度继续做了分析。

多视角整合先看。SpaceCast-Bench 里有部分问题牵涉两个分开的场景区域，单个视角拍不全。

做法是先挑两个锚点视图（anchor views），一个主要看其中一组物体，另一个看另一组物体，两个视角之间没有直接连接。然后在两个锚点之间插入 bridge views（桥接视角），用连续视角把原本分散的区域连起来。

把这些中间视角去掉后，三个参考系下的方向判断都会下滑，世界参考系方向准确率从 39.9% 降到 34.6%。

桥接视角能帮模型把分散视角里的空间信息整合起来。多视角输入本身，并不代表模型已经建立起完整的空间理解，不同观察中的信息还得整合。

除了输入和视角，论文还测了训练能不能改善这项能力。

SFT（Supervised Fine-Tuning，监督微调）是一种常见的后训练方法：拿程序自动生成的一批问答数据继续训练模型，每道题都配有标准答案。这些答案由 3D 几何引擎自动推导，不是人工标注。分阶段 SFT 则是先训练 L1 静态感知，再训练 L2、L3 并回放 L1，任务复杂度逐步加码。

通用开放权重模型 Qwen3-VL-4B 经过分阶段 SFT 后，SpaceCast-Bench 准确率从 34.0% 提升到 65.7%，并在 6 个分布外空间推理基准（OOD Benchmark）上取得宏平均提升。

关键不只在于“训练有没有用”，更在于训练数据覆盖了哪一种预测性空间推理能力。对比之下，专门针对预测性空间推理任务生成训练数据后，模型表现能明显改善。

不过，这套评测离完整的物理预测仍有明显距离。

SpaceCast-Bench 所用的场景取自真实室内三维数据集 ScanNet 与 ScanNet++。变化以程序化平移、旋转、移除为主，物体形变、碰撞这类更复杂的物理交互并未纳入模拟。

该测试考察的是视觉语言模型在受控空间变化下的预测能力，不对完整物理世界模拟作衡量。核心问题在于模型能否依据已有观察更新空间状态，并推断变化之后的关系。

预测性空间推理只占据空间智能能力中的一个维度。面向真实环境的视觉语言模型，往后还得应对更复杂的物理变化、长期交互以及持续学习。

对话 SpaceCast-Bench 一作李弘幸

实验数据之外，团队如何看待这些现象、结果对后续研究又意味着什么，同样需要追问。以下是 AI 科技评论与 SpaceCast-Bench 一作李弘幸的对话，内容经过不改变原意的删减与整理。

▎AI 科技评论：不少空间理解任务盯的是视觉语言模型能不能认出当前场景里的空间关系。团队为何认定只理解当前状态不够？为何要再往前一步，研究“根据场景变化预测新的空间关系”？

李弘幸：空间智能要求模型理解当前环境，也要求它具备预测环境变化的能力。

李弘幸：视觉语言模型在空间感知上已有不少进展，方向、距离、跨视角空间关系都能判断。问题在于，这些任务大多盯着已经能被观察到的空间状态。

李弘幸：真实物理环境中，智能体常常要在动作执行前预判动作带来的结果。机器人挪动桌子，既要弄清桌子眼下在哪，也要预判桌面物体跟着怎么动、周围环境受何影响。

李弘幸：从静态空间感知转向预测性空间推理，是视觉语言模型走向真实物理世界、支撑具身交互与复杂任务规划的关键一步，也是我们提出 SpaceCast-Bench 的核心动机。

▎AI 科技评论：从理解当前空间到预测空间变化，中间最难的地方在哪？

李弘幸：难在模型能否搭起一个稳定、完整、可动态更新的空间表示。

李弘幸：传统空间感知任务一般只需识别当前的空间关系。预测性空间推理还要求模型整合多视角信息、理解空间变换，并重新推断变化后的物体关系。

李弘幸：桌子一移动，模型既要判断移动的方向和距离，也要考虑桌面物体如何联动，以及最终的空间关系。

李弘幸：实验显示，当前模型一边难以形成跨视角一致的三维空间理解，一边也缺少可靠的空间状态更新能力。

李弘幸：真正的难点在于维护和操作空间表示、在环境变化后保持推理一致，理解空间关系反倒排在后面。

▎AI 科技评论：SpaceCast-Bench 为何采用 observe–transform–infer 这一框架？

李弘幸：我们选 observe–transform–infer（观察—变换—推断），是想把预测性空间推理拆成相对独立的环节，便于更系统地分析模型的能力边界。

李弘幸：与传统空间问答不同，模型只看得到变化前的场景和指定的空间变换，变化后的结果不会直接呈现。如此便能进一步分清问题出在空间感知、状态更新，还是关系推断。

▎AI 科技评论：团队此前做过 ViewSpatial-Bench、SpatialLadder、SpatialEvo、GPD 等工作。这几项工作和 SpaceCast-Bench 如何串成一条线？

李弘幸：我们团队从 2024 年到 2025 年持续关注空间推理这一方向。

李弘幸：那段时间这一方向在多模态领域比较热，空间理解与推理是 VLM 从视觉感知走向更高级智能的重要能力，对具身智能这类需要与真实环境交互的场景尤其关键。

李弘幸：这几项工作都围绕提升 VLM 的空间推理能力展开，侧重点各有不同。ViewSpatial-Bench 关注空间感知与跨视角理解，SpatialLadder 探索从感知到推理的渐进式训练，SpatialEvo 尝试用自进化机制持续提升空间推理能力，GPD 研究如何借助三维几何信息辅助模型训练。SpaceCast-Bench 则把研究重点从静态空间理解推到预测性空间推理。

李弘幸：我们想让模型理解当前的空间关系，也能推断空间变化后的状态，一步步朝更完整的空间智能走。

AI 科技评论问：这次实验里，哪些结果和你们原来的预期不一样？

李弘幸说，多数结果其实在团队预想之中。一些通用闭源模型的表现倒是超出预期——它们跟人类水平还差得远，但已经能做出一定程度的预测性空间推理。

基础模型整体能力在涨，它们在其他任务里练出的推理本事，或许已经能部分迁移到没专门训练过的新任务上。

真正让人意外的是生成式世界模型。按此前研究的说法，团队原本以为世界模型能靠生成变化后的场景来辅助预测性空间推理。实验结果却显示，这类模型处理空间变化时短板明显，生成结果常出现物体缺失、形变或空间关系错误。

画面看着合理，不等于模型真能准确预测空间状态的变化。生成质量与空间正确性得分开评：前者看画面清不清楚、真不真实、自不自然，后者看物体位置、朝向、尺度以及相互之间的关系准不准。

评测世界模型，除了视觉质量，几何一致性、物体关系的保持、对外部干预的准确响应都该纳入考量。长期预测能力同样关键，也就是模型在连续多步变化中能不能维持空间状态的一致与准确。

AI 科技评论问：6 个空间专项模型整体表现偏低，怎么看这个结果？

李弘幸表示，空间专项模型没显出明显优势，这一现象值得继续研究。团队认为，原因在于现有空间模型的后训练方法仍以静态空间感知为主，重点放在提升模型对方向、距离和空间关系的识别上，对空间变化预测、动态状态更新等能力关注不够。结果就是，模型在传统空间任务里获得的能力，很难有效迁移到预测性空间推理任务。

具体错误也有迹可循：模型通常不是认不出物体，而是没把三维空间关系维护对。跨视角时容易依赖二维位置，物体移动时忽略联动变化，全局旋转时则可能把左右关系简单反转。

合起来看，当前模型卡在两个瓶颈上：一是难以从视觉观察中建立准确、一致的三维空间表示，二是缺乏在空间变化后可靠更新场景状态的能力。

往后空间模型的后训练，既要提升静态空间感知，也该针对空间状态更新和预测性推理设计训练任务与数据，让模型从理解当前空间走向预测空间变化。

AI 科技评论问：BEV、3D metadata 等显式 3D 信息都带来了提升，这些结果给你们什么启发？

李弘幸说，如何准确获取和表示空间信息，可能跟模型本身的推理能力一样重要。

给出 3D metadata 后，闭源模型平均提升了 30.7 个百分点，可见准确的空间表示能明显降低后续推理的难度。

显式三维表示与生成式世界模型并不冲突，两者更可能互补：前者提供稳定的场景结构，后者负责预测动态变化。

代码：https://github.com/ZJU-REAL/SpaceCast-Bench
数据：https://huggingface.co/datasets/hongxingli/SpaceCast-Bench

本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。

继续浏览更多资讯

返回资讯目录