浙大让21个AI模型做空间预测题，最强只拿58分

设想这么一种情形：桌上放着一本书，书上压着一只杯子，机器人想把这本抽走。问题是，它若直接抽，杯子会不会翻下来？

三岁孩子几乎不用想就能回答：会，杯子多半会跟着书晃动，弄不好还摔了。所以得先把杯子挪开，再去抽书。

这个判断简单得似乎没什么好说，可放到眼下最先进的AI视觉语言模型身上，恰恰是它们最弱的一环。浙江大学的研究团队做了一次颇让人难受的测试：专门出了一套题，让21个顶尖AI模型回答这种“接下来会发生什么”的空间推理题。成绩最好的一款只有58分（满分100），人类随便答答就有87.2分。更难看的是，那些专门针对空间推理训练过的“空间专家模型”，得分低到跟瞎猜差不多。

论文的名字是SpaceCast-Bench，换成中文大致叫“空间推演测试集”。它要追问的事情并不复杂：给AI看一个场景，再告诉它场景被改动了，它能不能像人一样，在脑子里推出改动之后的样子？

**空间感知与空间预测，根本不是一回事**

有个概念容易搅在一起，得先讲明白。

眼下大多数空间推理测试，考的其实是**空间感知**

空间感知*：从图片里直接读出已经摆在那儿的空间关系，像“杯子在桌子左边”这种瞄一眼就有答案的题。

比方说，递给你一张卧室照片，问“床头柜在床的哪一边”，答案就藏在画面里，模型只要把图像“看对”就行。What'sUp、EmbSpatial-Bench、SpatialRGPT-Bench这些早期测试集，考的基本都是这一类。后来的VSI-Bench、MMSI-Bench又添了多视角、多图片的内容，可说到底还是在考“看懂眼前这个场景”。

然而在真实世界里，真正吃劲的能力常常不是“看懂现在”，而是**空间预测**

空间预测*：在结果没有被真正观察到的情况下，推出某次干预或变化发生之后，场景会变成什么样。

回到机器人抽书那个例子。它得在脑子里搭起场景模型，模拟“抽走书”会带来哪些后果，再赶在动手之前把决定做对。这种本事，自动驾驶躲行人要用，家庭机器人收拾房间要用，凡是要在物理世界里行动的AI系统，都绕不过去。

好比开车时琢磨“我这时候变道，旁边那辆车会不会撞过来”。你不用真变一次、撞一回才知道危险，大脑会提前把整个物理过程跑一遍，在脑子里“预演”结果。缺了这种预演，就只能靠事后复盘去学，而在马路上，事后复盘往往意味着事故已经出了。AI想进真实物理世界干活，少了这个能力，代价是实打实的。

**三层难度，一级比一级狠的空间推演测试**

SpaceCast-Bench总共出了3862道题，覆盖182个真实场景、16种任务类型。整套测试围绕一个叫“观察-转换-推断”的框架搭起来。

观察-转换-推断*：先给模型看一组照片，让它了解场景原本的状态；接着告诉它场景起了某种变化（比如物体被挪动了）；最后让它推出变化之后某个空间关系是什么——但要注意，变化后的画面模型是看不到的，只能靠脑子想。

在这个框架下，题目分成三个难度等级。

头一层是**静态感知**，这一层其实什么都没变，只考察模型能不能从多张照片里把场景看对，比如“你是鞋架，面朝电风扇，暖气在哪个方向”。这一层是基础分，答错了，后面两层更无从谈起。

第二层是**局部预测**，到这儿才引入真正的干预：把某个物体挪个位置，或者绕着另一个物体转一圈，又或者干脆把它从场景里拿走。模型要推的是，这个局部动作做完之后，某两个物体之间的空间关系变成了什么样。比如“床往北移1.5米后，枕头和洗衣篮是什么方位关系”。

第三层是**全局预测**，这一层最硬：把整个房间当作一个整体，绕某个轴转一下（比如顺时针转180度），再问模型某两个物体如今的方位关系。这一层尤其考验模型有没有真正弄明白“场景的朝向”和“摄像机的朝向”是两码事——两者一旦搞混，答案必然出错。

举个具体例子，体会一下难度是怎么跳的。静态感知可能问“从相机角度看，垂直方向的热水壁炉在哪”，答案就摆在图里。局部预测会问“假设微波炉绕着法压壶转了180度，从你（咖啡杯）的视角看，储物柜在哪个方向”，这就要模型在脑子里实打实做一次旋转计算。全局预测则是“假设这个房间原本是顺时针转了180度建造的，垃圾桶相对笔记本电脑在哪个方向”，这种题没有任何画面可以对照，全靠脑内把整个房间的三维布局重建出来再做变换。

这就像让你先瞄一眼朋友家客厅的照片，然后告诉你“我们把沙发挪到对面墙边了”，再问你电视和茶几现在是什么关系。你没法直接看答案，得在脑子里把整个房间重新摆一遍才答得上来。要是连原始房间的三维结构都没弄明白（比如沙发到底离墙多远），后面的推理只能是瞎猜。

**出题这件事，比想象中讲究得多**

这套题不是随手拍几张照片、编几个问题就能交差的，背后有一整套严密的工程流程。

团队选用了ScanNet和ScanNet++两套真实室内场景数据集，共182个场景。每个场景都包含带深度信息的RGB照片、精确标注的相机姿态、重建出的三维几何结构，以及各个物体的身份标注。他们据此搭建了一个名为空间关系引擎的计算系统。

所谓空间关系引擎*，就是一套直接根据三维几何数据算出空间关系标签的程序，每道题的正确答答案都来自几何计算，而非人工猜测。

举例来说，要判断两个物体之间的方向关系，程序会把物体中心点投影到地面平面上，看相对向量落在哪个45度扇区；要判断距离，就用网格采样算出两个物体表面最近点之间的真实距离；要判断遮挡，则用光线投射模拟相机视角下哪个物体会挡住哪个物体。

团队还专门做了一样东西，叫附着关系图。

附着关系图*：它记录的是物体之间"谁动了谁也会跟着动"的依赖关系。比如桌子一动，桌上的键盘和鼠标也会跟着动。

这一设计很关键。预测类题目经常要考"移动这个物体之后，哪些东西也会跟着挪动"，没有这张关系图，模型很容易漏掉那些被忽视的"连带受害者"。想象你搬家时抱起一个纸箱，箱子里的东西会跟着你一起移动，但箱子旁边没放进去的东西不会。附着关系图干的活，就是提前标注清楚哪些东西算"箱子里的"，哪些不算。

另一个特别值得一提的设计是视图链构建。

视图链构建*：针对需要跨视角理解的题目，专门挑出两组互不重叠的"锚点视图"，再用若干"桥接视图"把它们连起来，模拟真实场景中信息分散在不同照片里、需要整合的情况。

为什么要有桥接视图？现实里没人能一眼把整间屋子看全。人往往是先瞥见客厅这头摆着桌子，又瞧见那头放着茶几，中间穿走廊时还顺带扫过几眼别的物件，最后才在脑子里把房间的样子拼起来。桥接视图做的就是这几眼“中间经过”的活儿。一旦少了它，模型只能硬猜两张毫不相干的照片之间是什么关系，准确率会掉得很明显——后面的实验数据能说明这点。

题目全部生成完，还得过一道严的质量关。每道题都由10名标注员至少独立审两遍：单选题上，审核一致率有98.9%；多选题里的“连带移动”类题目，一致率是91.8%。碰上审核意见不统一的，就再找第三位标注员来定夺。这一轮下来，157道题的标准答案被改过，143道题重新写过，另有36道题被直接删掉。

**21个模型考试，成绩普遍不理想**

测试覆盖了21个模型，分成三组：9个商业闭源模型（比如Claude、Gemini、GPT系列、Qwen商业版）、6个开源通用模型（InternVL、Qwen系列开源版），以及6个专门为空间推理打造的"专家模型"。

结果排名第一的是Gemini 3.5 Flash，拿到58.0分。第二名Gemini 3 Flash是56.7分，第三名Qwen3.7-Plus是55.3分。再往下排名直接掉到40分以下，比如Claude Sonnet 4.6只有36.0分。

**最拿手的模型也比人类低了29.2分**。

这个差距到底有多大？换算一下，10道题里人类大约能答对8.7道，最强的AI只对5.8道，少了整整3道。差的可不只是小数点后那点零头，是实实在在的能力鸿沟。

开源通用模型里表现最好的是Qwen3.5-27B，39.3分,——比最强的商业模型还低了18.7分，比人类低了快48分。

但真正让人意外的是专门为空间推理训练的那6个"专家模型"。

**这些模型的分数普遍在25.7到29.1分之间，几乎等于瞎猜的水平**（随机瞎答大概25.9分）。

这情形就像特意报了空间定向培训班，考出来的分数反倒不如没上过课的同学。研究者猜测，这批模型受的空间训练可能偏向“看懂眼前画面”这类静态感知任务，没人专门教它们去推“做完动作会变成什么样”，于是真遇上预测类题目就成片失守。

**三个层级的分数走向，也暴露出不同模型的性格差异**

把成绩按三个难度层级拆开看，能看出一些挺有意思的规律。

商业模型和开源通用模型，普遍在第二层（局部预测）比第一层（静态感知）掉分明显。比如Gemini 3.5 Flash从第一层的62.9分掉到第二层的50.9分，掉了近12分;Qwen3.7-Plus从56.8分掉到49.8分。这说明，模型能看懂现在的场景，但要它去推理"动一下之后会怎样"，立刻就露了怯。

可到了第三层（全局旋转），这些顶尖商业模型又都涨了回来。Gemini 3.5 Flash在第三层拿了69.4分，比第二层高出近19分；Qwen3.7-Plus第三层是66.6分。这个回升有点意思，研究团队的说法是：整体旋转这类任务，模型也许只要把握住“整个房间换了个朝向”这种大格局就行，不必细致追踪单个物体怎么挪，更像是在做模式识别，而非一步步推演。

而那些空间专家模型，走向完全不同。它们在第三层掉得特别惨，SenseNova-SI-1.2从第二层的30.5分掉到第三层的16.1分，Cambrian-S-7B从28.8分掉到17.1分。这说明专家模型的训练可能偏重局部细节特征，一旦涉及到"整个场景发生了全局性变化"这种需要跳出局部、重建全局空间认知的任务，就彻底不会了。

这个结果耐人寻味。有人能把一棵树的每片叶子看得很细，却画不出整片森林的地图。盯局部和看全局，似乎是两套并不完全重合的本事。

哪些空间关系最棘手，哪种参考系最绕人

论文还把不同类别的空间关系拆开算了分数。

按关系类型看，“附着关系”——也就是判断移动A会不会带着B一起动——在多数模型里得分最高。Qwen3.7-Plus拿了80.4分，GPT-5.6-Luna是74.2分。原因可能在于，附着关系说到底是个二元判断，动或者不动，比方向、距离这类要精确空间计算的题型简单些。方向和距离则普遍是最难拿分的两类。

再看参考系，“世界坐标系”以房间的东南西北为基准，模型普遍表现最好；“物体坐标系”以某个物体自身面朝的方向为基准，表现最差。Qwen3-VL-4B在两者之间的落差格外夸张：相机坐标系39.3分，物体坐标系只剩16.2分，相差23分。

这现象其实合乎直觉。“北边”这类方向概念是绝对的、固定的，模型大概在训练数据里见过大量类似表述。可换成“假设你是这个物体，面朝另一个物体，那么第三个物体在你左边还是右边”，就得先在脑子里给自己换一具“身体”，再从这个新身体的角度重新判断左右。这种视角转换，对AI来说明显更费劲。

链式思考并非万能钥匙，有时反倒添乱

论文设计了一组很有意思的对照：同一批题目，一边让模型“直接给答案”，一边让它“先说理由再给答案”，也就是常说的思维链提示，然后比较两种方式的分数。

结果，思维链提示没有带来稳定提升，效果因模型而异，甚至因任务层级而异。

举例来说，Qwen3.7-Plus用了思维链之后，全局预测这层涨了9.8分，静态感知这层却掉了4.1分。Qwen3-VL-4B恰好相反，静态感知涨了6.3分，局部预测掉了1.7分。

这个结果打破了一种常见的默认预期：不少人觉得“让AI多想一想总没坏处”，思维链提示在很多任务上也确实管用。但放到空间预测任务上，它更像一把双刃剑，效果取决于模型本身的空间推理底子。模型对空间结构的理解要是本来就错，“多想一想”只会把错误的推理过程写得更详细，方向不会自动纠正过来。

桥接视图：拼图缺一块，答案就偏了

前面说到视图链里的桥接视图设计，论文专门做了对照实验来验证它的价值。

拿掉桥接视图之后，模型在方向判断题上的平均准确率明显下滑，尤其是“世界坐标系”方向判断，从39.9分降到34.6分，少了5.3分。相机坐标系和物体坐标系的降幅相对小些，大约1.7到1.9分。

可见桥接视图对维持连贯的全局空间表征相当关键。

设想你去一座从没去过的大房子做客，主人只带你飞快扫了两眼客厅和卧室，中间全程闭眼走路。你大概记得客厅什么样、卧室什么样，却完全说不清两者到底是什么方位关系——因为“从客厅走到卧室”这段中间路程你根本没经历。桥接视图补的就是这段“中间路程”。缺了它，模型只能靠猜去连接两个孤立的场景片段，像世界坐标系这种需要绝对方位感的判断，自然最容易出错。

给AI喂地图，比让它看“想象图”更靠谱

论文还做了一个挺前沿的尝试：既然模型自己脑补场景转换很吃力，那给它一些外部辅助信息，能不能帮上忙？

团队试了两类辅助信息。第一类叫显式三维证据，做法是直接给模型一张鸟瞰图，也就是从天花板上方往下看整个房间的俯视图，或者把三维坐标信息用文字描述出来。第二类叫世界模型生成的证据，用图像生成模型（Qwen-Image-Edit、GPT-image-2）或视频生成模型（Seedance2-mini）去“想象”干预之后场景会变成什么样，再把这张想象出来的画面交给模型参考。

结果反差很大。商业模型和开源模型对显式三维证据反应都很积极：给了文字版三维坐标信息之后，商业模型平均涨了30.7分，开源模型涨了10.9分。可见不少模型的瓶颈其实卡在“没正确理解三维结构”这一步，一旦把三维结构直接摆出来，它们后面的推理反而跟得上。

可拿生成的“想象图”或“想象视频”做参考，效果就很有限，忽高忽低，没什么稳定规律。原因在哪？团队人工审查了600道局部预测题的生成结果，发现在模型答错的案例中，80.3%使用Qwen-Image-Edit生成的图片存在明显失败——物体变形、消失、比例错乱、视角不对之类。GPT-image-2的生成失败比例也有38.3%。

这结果挺现实：AI想象出来的画面，本身质量就不够可靠，拿这种不靠谱的“想象图”去辅助另一个AI推理，自然很难指望奇迹。

好比让一个记性不太好的朋友帮你描述昨天的事，你再照他的描述做判断。他描述得本身就有偏差，你分析能力再强，结论也跟着跑偏。给模型喂文字版三维坐标，相当于直接递上一份精确的会议纪要；喂AI生成的想象图，相当于让一个记不太清的人转述口述，信息中途已经掉了，再往下推理只会越走越偏。

让模型“刷题”之后，分数能涨多少

模型表现这么差，能不能靠专门训练补救？研究团队确实试了：拿Qwen3-VL-4B这个44亿参数的开源模型做实验。

训练数据用同一套程序化生成办法造出来，跟测试集场景完全不重叠，共12249道题，16种任务类型全部覆盖。微调分两种路子：一种把所有难度的题目混在一起练，即混合监督微调；另一种按静态感知到预测任务的顺序分阶段练，即分阶段监督微调。另外还单独试了GRPO这种强化学习训练方式。

结果提升幅度很大。Qwen3-VL-4B原本只有34.0分，分阶段监督微调之后涨到65.7分，几乎翻了一倍。混合训练也拿到64.8分，两者差距不大。强化学习那条路提升有限，只到37.7分。研究者推测，任务本身太难，模型在强化学习过程中很难得到足够一致的奖励信号，学起来效率不高。

更关键的是，训练效果不只体现在SpaceCast-Bench上，还能迁移到另外六个完全不同的空间推理测试集：MMSI-Bench、SPARTQA、MindCube、CLEVRER、VSI-Bench和DSI-Bench。分阶段训练之后，这六个测试集的平均分从33.5分升到38.1分，DSI-Bench涨了10.2分，SPARTQA涨了6分。

可见这套"刷题"训练练出来的并非死记硬背的套路，而是某种真正能迁移的空间推理能力。好比学会一类数学题的通用思路，题目换个说法照样能解，而不是只会背过的那几道原题。

**这些发现意味着什么**

整篇论文读下来，有几个点让人反复琢磨。

头一个是空间专家模型的集体失常。这些模型专门针对空间任务训练，按理说是这个赛道上的尖子生，结果反而垫底。这里藏着一个容易被忽略的事实：为某个能力专门训练模型，不等于自动拿下这个能力的所有子项。空间感知和空间预测看着像一个大类下的两个小分支，实际上可能得靠完全不同的训练数据和训练目标，才能分别练出来。

第二个是思维链提示失效。很多任务里被反复验证过的经验——"多想一步总是好的"——在这里不成立。放到空间预测任务上，思维链更像放大镜，把模型原本就错的推理路径放得更明显，而不是帮它纠正方向。

第三个是生成式"想象画面"眼下帮不上太大忙。不少人期待用视频生成模型给AI提供"预演未来"的能力，这个想法本身有吸引力，可现实是生成模型自己还不够靠谱，想象出来的画面经常物体变形、消失、位置错乱。要让"AI想象未来帮助AI推理"这条路真正走通，生成模型的物理一致性得先过硬，中间还有很长的路。

论文最后留了个没完全解决的问题：三个难度层级之间，究竟是什么让模型在局部预测环节普遍崩溃，反而在全局旋转这个看起来更难的环节表现正常？背后是因为局部预测需要更精细地追踪单个物体的位移，还是另有原因，论文没给出确切答案。这个问题留给后面的研究去追问。

Q&A

Q1：SpaceCast-Bench是什么？

浙江大学团队做了一套名为 SpaceCast-Bench 的测试集，专门用来考察 AI“预测空间变化”的本事，这也是同类评测中的第一个。它一共收录 3862 道题，覆盖 182 个真实场景、16 种任务类型，看的是模型观察完场景之后，能不能推断出干预或变化发生后那些还没出现的结果。

Q2：为什么空间专家模型在SpaceCast-Bench上表现这么差？

A：这些模型主要针对"看懂当下场景"这类静态感知任务训练，缺少专门针对"动作发生后场景会怎样"的预测性训练，碰到真正的预测题时准确率接近随机瞎猜水平，比通用商业模型还低。

Q3：给AI模型做空间推理题时，思维链提示有用吗？

论文里提到，思维链提示的表现谈不上稳定：同一个模型，在某个难度层级上靠它能多拿分，换到另一个层级分数反倒往下掉。这说明模型自身空间推理方向错了，思维链并不会自动把它掰回来，最终起多大作用，还得看模型原本的空间理解水平。