浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%

资讯 AI 行业观察 2026/11/13 10:59 全文 7707 字 · 约 20 分钟读完配图 15 张分类世界模型机器人

空间专项模型反而不如通用模型？浙大庄越挺团队提出空间智能新基准作者丨张岂萍编辑丨幸丽娟空间智能正在成为 AI 竞赛的主战场。视觉语言模型（Vision-Language Model，VLM）已经能回答不少空间问题：一个物体在另一个物体的哪一侧，两者距离多远，换一个视角后物体在哪里。但空间智能不止于理解静态场景。

所属频道模型发布机器人与具身智能

空间智能眼下正被视作 AI 竞赛的关键战场。视觉语言模型（Vision-Language Model，VLM）已经能回答不少空间层面的问题，比如一个物体位于另一个物体的哪一侧、两者相隔多远、换个视角之后物体又在哪里。

不过，理解静态场景并不等于具备完整的空间智能。置身真实交互环境时，机器人还得应对自身动作引发的场景变动：物体被挪走、转动或取走之后，视觉语言模型要重新判断空间关系。

倘若不提供变化后的画面，只丢给视觉语言模型一句“把这个物体移走”或者“把整个场景转一个方向”，它是否还能推断出新的空间关系？

浙江大学最新提出的 SpaceCast-Bench 就是用来评估这类预测性空间推理（predictive spatial reasoning）的。按照设计，视觉语言模型要先从变换前的观测里读懂当前场景状态，再在给定一次空间变换或干预之后，对从未被直接展示过的结果状态作空间关系推理。

评测结果并不乐观：21 个视觉语言模型中，最高准确率只有 58.0%，与人类 87.2% 的准确率相比仍有明显差距。

更反直觉的是那 6 个空间专项模型，总体准确率仅 25.7% 至 29.1%，接近 25.9% 的随机水平，并且低于所有闭源模型和通用开放权重模型。

这篇论文由李弘幸和苏进越共同担任第一作者，通讯作者是沈永亮，李鼎铭、张文祺、鲁伟明、肖俊、庄越挺等人也参与了研究。这支队伍在空间智能方向上积累很深。浙江大学求是特聘教授庄越挺早在三十年前就发表过空间推理方面的研究《基于空间推理的设计方法及其应用》，那时候空间推理还多停留在理论层面，他已经把它带进了真实的设计应用。

通讯作者沈永亮是庄越挺的学生，也是浙江大学“百人计划”研究员。他是 LLM Agent 领域开创性工作 HuggingGPT 的一作，如今深耕 Agentic AI 与 Physical AI，空间推理也是他重点关注的研究方向。

肖俊也是浙江大学求是特聘教授，拿过吴文俊人工智能科学技术奖自然科学奖一等奖，还有 ACM Multimedia 唯一最佳论文奖。三维识别与检索是他长期钻研的方向，眼下他又把跨媒体计算和计算机视觉上的积累用到了空间推理研究里。

浙江大学研究员张文祺曾是“华为天才少年”，主要研究具身模型与空间智能方向，做的正是让模型在三维环境中推理与行动。

浙江大学副教授鲁伟明则从大数据管理与知识挖掘的角度，为基准的数据构建提供支撑。

论文一作李弘幸是浙江大学的博士生，AI 科技评论采访了他，聊到这项工作的研究动机、实验里出现的反常结果，以及团队对空间智能瓶颈和应对路径的进一步思考与判断。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 1）

论文地址：https://arxiv.org/abs/2610.12402

这个新基准为何要测、怎样测、又测出了什么？得从现有基准没有覆盖的地方讲起。

现有空间推理，难在变化之后

现在的空间评测已覆盖单图、多视角和视频，方向、距离、3D 尺度估计以及跨视角位置关系也开始进入测试范围。不过很多任务考查的重点，仍是视觉语言模型对当前空间关系的识别，也就是看它能否依据输入里已经给出的视觉信息，判断物体之间是什么关系。真实操作中遇到的问题要复杂得多。

书上搁着一个杯子，书下面压着一个信封。机器人若只回答“杯子在哪”“信封在哪”，考的是当前关系；可要是让它把信封取出来，它就得先预测书被移走之后场景关系会怎么变，再根据这个判断决定下一步怎么动。

这里的关键区别在于，视觉语言模型需要根据一次空间干预，预测场景关系随后如何变化。

SpaceCast-Bench 把整个过程拆成 observe–transform–infer：先从一个或多个视角获得当前场景信息，再应用一次指定的空间变化，最后推断变化后的关系，结果状态本身不会直接以新图片提供给模型。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 3）

三个层级，拆开测试预测性空间推理能力

为了区分视觉语言模型在静态空间感知和变化后推理中的表现差异，SpaceCast-Bench 设置了三个能力层级。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 5）

L1 Static Perception 不动场景，只考查当前的方向、距离、可见性、遮挡和附着关系。这一层给出的是基础参照：原始空间关系要是本身就判断错了，后面预测失败就不能全算到状态更新头上。

L2 Local Prediction 则引入局部变化，物体被移动、旋转或移除都算在内，附着关系引起的联动变化也要考虑。比如把床往北挪 1.5 米，再问两个物体之间新的方向关系。

L3 Global Prediction 这一层级考察的是把整个场景布局做一次整体旋转后，模型能否在不同参考系下重新判断空间关系。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 6）

三个层级对应三类任务：静态空间感知、局部状态变化预测、整体场景变化预测。SpaceCast-Bench 最终收录 182 个真实室内场景、3862 道问题和 16 类任务，方向判断在三种参考系下各测一遍，即 camera-centric、object-centric、world-centric，分别以相机、物体和世界为中心。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 7）

空间专项模型为何没有体现优势？

21 个被测视觉语言模型里，最高准确率只有 58.0%，人类是 87.2%，两者相差 29.2 个百分点。6 个空间专项模型的总体得分落在 25.7% 至 29.1% 之间，接近 25.9% 的随机基线，整体还不如闭源模型和通用开放权重模型。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 9）

问题出在哪？

先按能力层级看。三类模型在 L1 静态感知、L2 局部预测和 L3 全局预测上的表现各不相同。闭源模型和通用开放权重模型在 L2 上普遍比 L1 有所下降，但表现较强的那几款到了 L3 又明显回升。Gemini 3.5 Flash 从 L2 的 45.3% 升到 L3 的 69.4%，Qwen3.7-Plus 也从 43.2% 升到 66.6%。

空间专项模型走的是另一条曲线，它们在 L3 上整体更弱。SenseNova-SI-1.2 从 L2 的 30.5% 掉到 L3 的 16.1%，Cambrian-S-7B 从 28.8% 降到 17.1%。这说明现有的空间专项训练还没能有效提升模型的全局空间表示和更新能力，碰到需要推断整体场景变化的任务，短板尤其明显。

再拆到具体关系类型，问题更清楚。SpaceCast-Bench 测的不只是“A 在 B 的哪一边”，还包括 attachment（附着关系）。打个比方，一本书上放着杯子，书一移动杯子也跟着动，模型得理解这种物体之间的联动，才能正确预测变化后的场景。

对闭源模型和通用开放权重模型来说，附着关系反倒算容易的一类。Qwen3.7-Plus、GPT-5.6-Luna 和 Qwen3.5-27B 的准确率分别为 80.4%、74.2% 和 68.0%。空间专项模型在这一项上明显偏低，SenseNova-SI-1.2 只有 13.4%，SpatialLadder 为 9.3%。可见附着关系并非各类模型共同的难点，空间专项模型却普遍偏弱，说明这类关系在空间专项训练中的覆盖还不够。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 10）

论文还测了 Chain-of-Thought（思维链）提示，也就是让模型先写出推理步骤再给答案。结果显示，多写推理步骤并没有带来稳定提升：不同模型、不同能力层级的变化方向并不一致，有的任务提高，有的反而下降。仅靠增加推理步骤，预测性空间推理并不能稳定改善，模型还得更有效地整合和利用空间信息。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 11）

评价视觉语言模型的空间推理能力时，也有必要进一步区分它到底强在哪类任务上：是当前关系识别、跨视角整合、3D 表示，还是变化后的空间关系推断。

显式 3D 信息帮助视觉语言模型提升空间推理能力

为了进一步分析不同空间信息对视觉语言模型预测性空间推理的影响，论文接着测试了不同形式的空间信息输入。这里有两类思路。

第一类思路是给模型补上显式的三维信息。说白了，不再只让模型看照片，而是把场景的三维结构直接递到它面前。BEV（鸟瞰图）就是把场景换算成俯视视角下的空间表示，物体的位置关系和整体布局一眼可见；文本形式的 3D metadata（3D 元数据）则把物体的位置、尺寸、朝向写成文字或结构化数据，直接喂给模型。

另一类是生成式证据：先让图像或视频生成模型“想象”出干预之后的画面，比如桌子被搬走以后房间是什么样，再把生成结果交给模型，让它对着新画面作答。

从结果看，闭源模型和通用开放权重模型对显式 3D 信息的利用更充分。文本形式的 3D metadata 一加进去，闭源模型平均涨了 30.7 个百分点，通用开放权重模型平均提升 10.9 个百分点；BEV 同样能带来一定幅度的提升。

视觉语言模型做预测性空间推理时，一大限制就出在“从视觉观察里拿到可靠的 3D 空间表示”这一步。一旦明确的空间结构被提供出来，后面的空间变换和关系判断就会明显好转。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 13）

反过来说，让生成模型先画出变化后的图片或视频，这种做法的帮助更小，稳定性也更差。

生成式证据这组实验挑了 600 道局部变化题。流程是先用 Qwen-Image-Edit 或 GPT-image-2 生成干预后的画面，再把生成结果当作额外信息交给回答模型。

在回答出错的样本里，Qwen-Image-Edit 条件下有 80.3% 的错误跟生成失败有关，GPT-image-2 这一比例是 38.3 %。进一步翻看这些错误案例，常见的生成毛病包括物体缺失、形变，以及尺度、透视对不上。

可见生成式结果图本身就可能带进额外误差。就算生成结果没有明显问题，模型也得把新画面和原始场景观察对应起来。

浙江大学SpaceCast-Bench测评：21个VLM最高准确率仅58.0%（配图 14）

放到 SpaceCast-Bench 这类受控任务里，明确的 3D 空间信息对通用视觉语言模型的帮助，比生成变化后的结果画面更稳定。

多视角整合、训练效果与评测边界

除了额外喂空间信息，视觉语言模型能不能把已有的多视角观察有效整合起来，也影响预测性空间推理。论文就此从多视角整合、训练效果和评测边界三个角度继续分析。

先看多视角整合。SpaceCast-Bench 中有部分问题牵扯两个分开的场景区域，单靠一个视角拍不全。

做法是先挑两个锚点视图（anchor views），一个主要盯其中一组物体，另一个盯另一组物体，两个视角之间没有直接连接。随后在两个锚点中间插入 bridge views（桥接视角），用连续视角把原本分散的区域串起来。

把这些中间视角拿掉，三个参考系下的方向判断都会下滑，世界参考系方向准确率从 39.9% 降到 34.6%。

桥接视角能帮模型把分散视角里的空间信息整合起来。多视角输入本身并不等于模型已经建立起完整的空间理解，不同观察中的信息还得再做整合。

输入和视角之外，论文还测了训练能不能改善这项能力。

SFT（Supervised Fine-Tuning，监督微调）是常见的后训练方法：拿程序自动生成的一批问答数据继续训练模型，每道题都配标准答案。这些答案由 3D 几何引擎自动推导，并非人工标注。分阶段 SFT 则是先训 L1 静态感知，再训 L2、L3 并回放 L1，一步步加入更复杂的任务。

通用开放权重模型 Qwen3-VL-4B 经过分阶段 SFT 后，SpaceCast-Bench 准确率从 34.0% 升到 65.7%，并在 6 个分布外空间推理基准（OOD Benchmark）上取得宏平均提升。

关键不只是“训练有没有用”，而是训练数据覆盖了哪一种预测性空间推理能力。两相对比，针对预测性空间推理任务生成训练数据之后，模型表现能明显改善。

不过这套评测离完整的物理预测仍有明显边界。

SpaceCast-Bench 的场景取自真实室内三维数据集 ScanNet 和 ScanNet++，变化主要是程序化的平移、旋转和移除，更复杂的物理交互过程并没有模拟，比如物体形变、碰撞这类动力学变化。

这项测试量的是视觉语言模型在受控空间变化下的预测能力，不是完整的物理世界模拟能力。它关心的是模型能不能依据已有观察更新空间状态，并推断变化后的关系。

预测性空间推理只是空间智能能力中的一个重要维度。未来面向真实环境的视觉语言模型，还得处理更复杂的物理变化、长期交互和持续学习问题。

对话 SpaceCast-Bench 一作李弘幸

实验数据之外，团队怎么理解这些现象、结果对后续研究意味着什么，同样值得看。以下是 AI 科技评论与 SpaceCast-Bench 一作李弘幸的对话，内容经过删减整理，原意未变。

▎AI 科技评论：不少空间理解任务盯的是视觉语言模型能不能认出当前场景里的空间关系。团队为何认定光理解当前状态不够，还要去研究“依据场景变化预测新的空间关系”？

李弘幸：空间智能要求模型懂当前环境，也要求它能预测环境怎么变。

眼下视觉语言模型在空间感知上进展不少，判断物体间的方向、距离、跨视角空间关系都有人做，可这些任务大多只看已经被观察到的空间状态。

真实物理环境里，智能体常常得在执行动作前先把动作可能带来的结果预测出来。机器人挪桌子就是一例：它要懂桌子现在在哪，还要预测桌面上东西会跟着怎么动、这些变化又会波及周围什么。

从静态空间感知走到预测性空间推理，是视觉语言模型奔向真实物理世界、支撑具身交互和复杂任务规划的关键一步，也是团队提出 SpaceCast-Bench 的核心动机。

▎AI 科技评论：从理解当前空间到预测空间变化，中间最难的坎是什么？

李弘幸：最难的地方，是模型能不能建立起一个稳定、完整、还能动态更新的空间表示。

传统空间感知任务一般只认当前的空间关系；预测性空间推理则要求模型把多视角信息整合起来、读懂空间变换，再重新推断变化之后的物体关系。

桌子一动，模型要弄明白移动的方向和距离，还要顾及桌面上物体的联动变化，以及最终形成的空间关系。

实验显示，当前模型一头难以形成跨视角一致的三维空间理解，另一头也缺少可靠的空间状态更新能力。

真正的难点在于怎么维护和操作空间表示、在环境变化后让推理保持一致，理解空间关系反倒还在其次。

▎AI 科技评论：SpaceCast-Bench 为何选 observe–transform–infer 这套框架？

李弘幸：选 observe–transform–infer（观察—变换—推断），是想把预测性空间推理拆成几个相对独立的环节，便于更系统地摸清模型的能力边界。

它和传统空间问答不一样：模型只看得到变化前的场景和指定的空间变换，变化后的结果不会直接给它。这样一来，问题究竟出在空间感知、状态更新还是关系推断，就能分得更清。

▎AI 科技评论：团队此前做过 ViewSpatial-Bench、SpatialLadder、SpatialEvo、GPD 等工作。这几项跟 SpaceCast-Bench 是怎么串起来的？

李弘幸：团队从 2024 年到 2025 年一直在盯空间推理这个方向。

那阵子它在多模态领域挺热。空间理解与推理是 VLM 从视觉感知走向更高智能的重要能力，对具身智能这类要和真实环境打交道的场景尤其关键。

这几项工作都围着提升 VLM 的空间推理能力转，只是各有侧重。ViewSpatial-Bench 盯空间感知与跨视角理解，SpatialLadder 摸索从感知到推理的渐进式训练，SpatialEvo 试着用自进化机制持续抬高空间推理能力，GPD 研究怎么拿三维几何信息辅助训练。SpaceCast-Bench 则把研究重心从静态空间理解推到预测性空间推理。

说到底，团队希望模型能懂当前的空间关系，也能推断空间变化后的状态，一步步走向更完整的空间智能。

▎AI 科技评论：这次实验里，哪些结果跟你们原先的预期对不上？

李弘幸：多数结果都在预期之内。一些通用闭源模型的表现超乎预料——它们离人类水平仍有明显差距，但已经露出一定的预测性空间推理能力。

基础模型整体能力往上走，它们在其他任务里练出的推理能力，或许已经能部分泛化到没专门训练过的新任务上。

真正让团队意外的是生成式世界模型。按先前的研究，原本以为世界模型能靠生成变化后的场景来帮忙做预测性空间推理。实验却发现，现有生成式世界模型处理这类空间变化时明显不够，生成结果常出现物体缺失、形变或空间关系错误。

画面生成得再逼真，也不代表模型真能准确预判空间状态会怎么变。生成质量和空间正确性得拆开来看：前者看的是画面清不清楚、真不真实、自不自然，后者盯的是物体位置、朝向、尺度以及彼此关系准不准。

评测世界模型，不能只看视觉质量。几何一致性、物体关系能不能保住、遇到外部干预能不能准确响应，这些都得纳入进来。长期预测同样关键——模型在连续多步变化中，空间状态能不能一直保持一致、保持准确。

▎AI 科技评论：6 个空间专项模型整体表现偏低。你们怎么看这个结果？

李弘幸：空间专项模型没显出明显优势，这个现象值得再往下研究。我们的看法是，现有空间模型的后训练方法还是以静态空间感知为主，重点放在提升模型对方向、距离和空间关系的识别上，对空间变化预测、动态状态更新这些能力关注得相对不够。结果就是，模型在传统空间任务里学到的东西，很难迁移到预测性空间推理上。

从具体错误看，问题往往不在认不出物体，而在于三维空间关系没维护对。跨视角的时候容易依赖二维位置，物体一动就忽略联动变化，全局旋转时还可能把左右关系简单反过来。

合起来看，当前模型卡在两个瓶颈上：一是难以从视觉观察里建立起准确、一致的三维空间表示，二是空间变了之后，缺乏可靠更新场景状态的能力。

往后做空间模型后训练，静态空间感知能力要继续提升，同时还得针对空间状态更新和预测性推理设计专门的训练任务与数据。这样模型才可能从理解当前空间，走到预测空间变化。

▎AI 科技评论：BEV、3D metadata 等显式 3D 信息都带来了提升。这些结果给你们什么启发？

李弘幸：怎么准确获取和表示空间信息，可能和模型本身的推理能力一样重要。

给出 3D metadata 之后，闭源模型平均提升了 30.7 个百分点。这说明准确的空间表示能把后续推理的难度明显降下来。

显式三维表示和生成式世界模型并不冲突，更可能是互补关系：前者给出稳定的场景结构，后者负责预测动态变化。

代码：https://github.com/ZJU-REAL/SpaceCast-Bench
数据：https://huggingface.co/datasets/hongxingli/SpaceCast-Bench

本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。

继续浏览更多资讯

返回资讯目录