AI模型脑内有没有空间地图？清华等团队找到S-Space证据

当手机助手盯着照片说出“杯子在桌子左边”，它内部究竟在发生什么？

它到底是真把空间位置弄明白了，还是靠模式匹配蒙对了答案？

这问题听着带点哲学味，可现实得很：多模态大语言模型（MLLM）

**多模态大语言模型*：能同时理解图像和文字的AI系统，比如你给它一张照片加一句话，它能看懂图里的内容并回答你的问题。

已经进了机器人抓取、自动驾驶导航、三维重建这些实打实的场景。要是它对空间的理解全靠猜，后果不会轻。

MirroS、清华大学和北京大学的一群研究者决定钻进这些AI模型的“大脑”里看个究竟。这回他们不只数模型答对几道题，而是想弄清一件事：模型内部有没有一套专门处理空间信息的机制？要是有，长什么样？

结果还真让他们翻出一个东西，名字叫S-Space。

空间推理到底卡在哪

先说个不太舒服的事实：现在的AI模型不少任务已经超过人类，可一碰到换个角度看问题，表现就突然崩了。

SpinBench

**SpinBench*：一个专门测试AI换视角推理能力的题库，比如问“如果从左边看这个场景，哪个物体会出现在左侧”。

这个基准测试里有一类题特别简单，三岁小孩都能秒答：给一张正面拍的桌面照片，上面摆着杯子和瓶子，问“从左边看过去，哪个物体会出现在左边”。

人做这种题基本靠本能，脑子里转一下画面就出来了。可论文测的几个主流模型——Molmo2-ER、Qwen3.5-4B、Qwen3.6-27B——在没有任何提示时直接回答，准确率只有60.96%。

这算什么水平？两个选项随机蒙也有50%，也就是说这些模型只比瞎猜强那么一点。就算让模型用思维链

**思维链*：让AI在给出最终答案前，先一步步写出推理过程，类似人做数学题时打草稿。

一步步推，Qwen3.6-27B也只能把准确率提到83.56%，仍有接近两成的错误率摆在那儿。

那问题就来了：这种失败，是模型压根没“看懂”场景里物体的位置，还是看懂了却没做成“想象换个角度”这个心理操作？

两种失败性质完全不同。前者说明感知系统有缺陷，后者说明感知没问题、推理环节掉了链子。不把这两者分开，你永远不知道该往哪边改模型。

好比去医院，医生只说“你身体不舒服”，不说到底是心脏的毛病还是胃的毛病。治疗方案能一样吗？不做鉴别诊断，药吃得再多也是碰运气。

研究者要做的，就是给AI模型来一次精确的“鉴别诊断”。

S-Space：AI脑里的一张坐标图

他们提了个假设：AI模型内部的概念经常按线性方式编码

**线性表征假设**：有观点提出，模型内部不少抽象概念——像“猫”这类事物、“开心”这种情绪——在高维数据空间中沿某一特定方向分布，好比直线上排列的刻度。

那么，物体的空间坐标——左右、上下、远近——会不会也以类似方式藏在模型的中间层表示里？

研究者确实找到了这么一种结构，给它起名S-Space。它落在模型中间某一层的隐藏表示里，是一个三维的线性子空间。模型处理一张图片以及图中物体的名称时，每个物体名对应的词元

**词元**：AI模型处理文字时的最小单位，可以理解为一个词或一个字的编号，比如“苹果”可能被拆成一两个词元。

在内部的表示，只要往这三个特定方向做投影，就能读出一组连续坐标值，分别对应该物体在水平、垂直、远近三条轴上的位置。

那这三个方向是怎么定出来的？研究者的办法有点巧。他们拿一堆“物体A在物体B左边还是右边”这类问题去问模型，再观察模型回答“左”“右”两个词时内部激活值怎么变。做法是算出模型输出“右”相对“左”的分数差，再对这个分数差求梯度

**梯度**：这个数学概念说的是某个量朝哪个方向变动得最猛；放到这里，就是顺着该方向对物体的内部表示稍作推动，模型给出“更偏右”答案的倾向便会显著加强。

接下来是关键一步：对“查询物体”和“参照物体”的梯度做反对称处理，也就是查询物体的梯度减去参照物体的梯度，再除以二。道理在于，让查询物体更往右移，模型该更想说“右”；同样的变化放到参照物体身上，模型该更想说“左”。两种效应方向相反，一减就把共有的空间信号放大了，同时把物体身份、提示语句式这些无关因素平均掉。

打个比方，想知道跷跷板哪头更重，不能只盯一边沉了多少，得同时看两边的升降幅度，才能把“风吹的偶然晃动”和“真正的重量差”分开。只看一边，容易被噪声带偏，得出错误结论。

研究团队在COCO数据集

**COCO数据集**：一个常用的图像标注数据集，里面有大量标好物体位置和类别的照片，常被用来训练和测试AI的视觉能力。

上先用六千张图片定出这三个方向，再用一千八百张图片挑该在模型哪一层找这个空间子空间。结果发现，太早的层还紧贴输入的原始信息，太晚的层已经开始为预测下一个词服务，只有中间层空间信息最稳定、最容易读出来。

这意味着什么？AI模型内部确实存在一个相对独立、相对稳定的“空间坐标系”，它不是每次任务临时拼出来的，而是模型自带的一种组织结构。

这张地图到底准不准，是不是摆设

找到结构还不够，得证明它真靠谱。

研究者做了三件事来验证。

第一件看坐标准不准。他们把物体词元投影到S-Space得到的坐标，跟物体在图片里的真实位置（由标注框中心点算出）做对比，相关性相当高：水平方向相关系数0.789，垂直方向0.774，两两物体之间坐标差异的相关性分别冲到0.871和0.872。

第二件是直接拿这些坐标回答空间问题，完全不让模型说话，只比较两个物体在S-Space里谁的坐标更靠右、更靠上或更近，把这个大小关系当答案。这种“读心术式”的答法，准确率跟模型自己用语言回答几乎不相上下，某些情况下还更高。比如Qwen3.5-4B在CV-Bench

**CV-Bench**：一个专门测试AI视觉空间理解能力的评测集，包含物体相对位置和远近判断等题目。

上直接回答只有73.60%，用S-Space读出的坐标去判断，准确率升到89.36%，高了接近16个百分点。

这个结果挺颠覆常识：模型嘴上说错了，脑子里其实是对的。换句话说，有些时候模型不是没看懂，而是没说对。这跟平时想象的“模型哪里出错就是哪里没学会”完全不一样。

第三件是因果干预。研究者直接动手术，把S-Space里读出的坐标人为改一改，比如把某个物体的坐标往右挪一大截，再把改后的坐标写回模型内部表示，让模型继续往下生成。结果模型关于左右关系的回答真的跟着变了，而物体颜色这类无关问题的回答几乎没受影响。

这说明S-Space不是研究者臆想出来的摆设，而是模型真正在用来生成回答的一条因果通路。

好比怀疑一辆车的方向盘和轮胎之间有没有真实机械连接，还是方向盘只是个装饰。验证办法很简单，直接转方向盘看轮胎动不动。转了方向盘车还径直往前开，说明根本没接上。这次实验里，研究者转了“方向盘”，车真的转弯了，这条连接是真实存在的，不是巧合。

更有意思的是持久性测试。研究者换了好几种完全不同的问法，有直接问相对位置的，有分别单独问两个物体在哪的，甚至还换成跟空间完全无关的“这两个物体是什么颜色”。结果S-Space读出的坐标依然稳定，依然能支撑准确的空间判断。这套坐标系统不是因为某个特定问法才临时冒出来的，而是模型骨子里自带的东西，哪怕压根没问空间问题，它也在后台默默运转。

S-Space不只管看得见的东西

后面的发现有些出人意料。

研究者推测，S-Space之所以冒出来，或许是因为模型在海量文本训练时，要正确预测"左""右""上""下"这类空间词，就得把物体跟它们的相对位置绑在一起，这种训练压力无意间把模型内部的激活塑造成了稳定的空间坐标轴。

倘若这个推测成立，这套坐标系统应当不会只用来处理图片里直接看得见的东西，毕竟语言本身承载的空间含义要丰富得多。

实验数据也站在这边。研究者给模型看一张守门员扑球的照片，球本身因为运动模糊或者画面裁切根本看不清，再问模型球在哪，模型照样能把"球"这个词的坐标放到守门员扑救方向的那一侧。也就是说，S-Space登记的不只是"我看到的物体在哪"，它还能顺着画面里的动作线索，去推断一个看不太清甚至没出现的东西该在哪。

再往前走一步，研究者测了一个压根不在画面里的概念——"你"这个代词，代表观察者自己。模型把"你"的坐标放在了远近轴上最靠近的那一端，好像观察者天然就该是离镜头最近的那个存在。

语言给的暗示同样能挪动S-Space里的坐标。研究者把同一张送货机器人的图片固定住，只把提示语从"机器人从你身边经过"换成"机器人朝你走来"，"你"这个词在S-Space里的远近坐标就真的从远挪到了近，机器人自己的坐标几乎没动。换句话说，单换一个介词，就能让模型内部那套空间坐标系统重新排布一次。这已经不只是视觉感知了，是语言含义在直接操纵这套空间表示。

最让人意外的，是一个关于政治立场的小实验。研究者给模型一个辩论场景的提示，里面包含"社会主义者""温和派""保守派"三种身份，结果"社会主义者"这个词在S-Space的水平轴上真被投影到了偏左的位置，"保守派"则偏右，跟日常所说的"政治光谱上的左派和右派"这种比喻完全对得上。

换句话说，“政治立场偏左”这类原本只当比喻用的空间说法，在AI模型内部竟和物理上的左右落在同一套坐标系里。大规模语言训练能把语言中各种细微的空间隐喻都学进去，这是本事；可风险也藏在这儿——模型未必分得清哪次该指物理左右、哪次该指比喻左右，两者在它内部是混在一处的。

用S-Space给AI做体检：问题到底出在哪

回到最开始那个问题：换视角推理失败，到底是感知的问题还是推理的问题？

如今有了S-Space这个工具，研究者就能把这两件事彻底拆开来检验。

他们设计了一套对照实验。一边让模型正常回答问题，或者用思维链一步步推理；另一边则把模型内部S-Space的坐标直接读出来，用一个写死的数学公式对坐标做旋转变换，模拟"假如从左边看过去会是什么样子"，再拿变换后的坐标去判断答案。

结果相当震撼。Molmo2-ER直接回答只有60.96%的准确率，可用坐标旋转这套办法，准确率一下冲到94.52%，整整提升了33.56个百分点。Qwen3.6-27B用思维链推理能到83.56%，但坐标旋转法依然更高，达到95.21%。

这个对比说明什么？说明模型内部其实早就有足够准确的空间信息，只是它自己不太会把信息正确转换成"换个角度看会怎样"这个答案。问题不在于看，而在于算。

研究者还做了一个更狠的实验，叫带前提设置。他们把"源视角下物体A比物体B更近"这个正确答案预先告诉模型，等于把感知这一步的难度直接清零，模型只需要专心做变换计算。结果呢，即便给了这个提示，模型自己直接回答的准确率依然只能从60.96%爬到72.92%，离完美差得远。但与此同时，S-Space里读出来的坐标在有了这个语言提示之后变得更加精准，几乎能支持百分之百的正确判断。

这个结果像是给模型做了一次CT扫描，清清楚楚照出问题出在哪个部位：不是眼睛看不清，是大脑里那个负责"心理旋转"的计算环节没发育好。

打个比方：一个人清楚从家到公司该怎么走，每条路多长、朝哪个方向都记得，可一旦要他在脑子里把整张地图转上九十度、重新判断哪条路更近，他就完全转不过来了。信息全在他脑子里，缺的是把信息按另一个视角重新组织起来的那种空间想象力。眼下AI模型最弱的地方，正好就在这儿。

思维链推理时S-Space坐标怎么变，研究者也做了跟踪。他们手工搭了一套标准化推理模板：先让模型分析当前视角下的关系，再让它设想目标视角，最后给出变换后的结论。三个阶段各读一次S-Space坐标，看到的渐变挺有意思——推理刚起步时，直接拿原始坐标判答案，正确率只有44.5%，而事先套上旋转变换能到96.6%；等推理临近结束，情况倒了过来，直接用坐标判断升到86.3%，套旋转的反而降到67.1%。

照这么说，随着思维链一层层铺开，模型内部的S-Space坐标的确在一步步被“转动”，它是在真的模拟换视角这个心理过程。只不过内部这次转动做得不够到位，也未必总能正确落到最终给出的答案上。

换视角之外，研究者还发现另一种混乱，称作参照系耦合。有些题考的是“东南西北”这类地理方位，而不是简单的“图片里的左右”，模型却常把两者弄混，直接把图片里的“右边”当成地理上的“东边”。研究者在MMSI-Bench上统计了模型的表现

**MMSI-Bench*：一个专门测试多图像空间智能的评测基准，涉及跨图片的位置推理任务。

研究者把测试集推理文本里的方位词挑出来，将“东”“南”“西”“北”投影到S-Space的坐标上，发现“东”确实和“右”落在同一个方向，“北”则与“上”重合。两种本该彼此独立的参照系，在模型的内部表示里被搅到了一起。原因很可能是：模型从海量网络文本里读到的地图类数据，习惯把东方画在右边、北方画在上边，时间一长，这种习惯就渗进了它对抽象方位概念的理解。

研究里还有一处发现跟机器人训练有关，挺有意思。团队拿同一个基础模型Molmo2-ER，和它经动作训练衍生出的两个机器人控制模型MolmoAct2-Pretrain、MolmoAct2做对比，让它们判断物体整体与功能部件（比如水壶和水壶把手）哪个离镜头更近。随着动作训练推进，这类局部深度判断的准确率稳步往上走，从63.1%升到67.1%，再升到69.0%。让AI去学怎么伸手抓取、操作物体，反过来会让它内部那张空间地图变得更精细——这算一个挺有启发的侧面证据：和物理世界真实互动，或许是打磨空间理解能力的一条有效路径。

S-Space在多视角场景下表现如何，研究者也做了测试。他们同时给模型看两张照片，视角不同、拍的是同一个场景，然后用提示语告诉模型“以第一张图为准”，再悄悄把两张图的顺序调换，观察模型内部的坐标会不会跟着视角一起换。结果显示，不同模型的方向steering准确率普遍落在73%到97%之间，说明S-Space并非死死焊在某一张特定图片上，语言提示可以把它动态地重新锚定到不同的观察视角。

写在后面

论文读下来，最触动人的其实不是S-Space这个发现本身，而是那个“带前提”的实验设计。它用特别干脆的方式，把“感知失败”和“推理失败”这两个长期被混为一谈的问题彻底剥离开了。

不少人讨论AI做不好空间推理，习惯性归结为“它没看懂图片”。这篇论文却说明，至少在换视角这类任务上，看懂和算对完全是两回事——模型可能早就看懂了，只是不会算。这个区分对下一步怎么改进模型很关键。病根要真在计算环节，堆更多标注数据、换更强的视觉编码器，可能都是无用功，真正该投入精力的方向是训练模型怎么在心里转动一个场景。

那个政治隐喻的小实验也让人多想了一下。社会主义偏左、保守主义偏右，本来只是人类历史上偶然形成的政治隐喻，来自法国大革命时期议会座位左右分布留下的习惯。可AI模型吃了海量文本之后，居然把这种纯粹文化层面的隐喻，和物理空间里真实的左右方向编码进了同一套坐标系统。当我们说AI“理解”了空间，这份理解里混杂着多少真实的物理常识、又有多少只是语言习惯的沉淀，恐怕没那么容易说清楚。

论文结尾提了一句，未来也许不必指望一个模型自己把所有空间操作都算明白，可以让AI去调用专门的外部工具做坐标变换、模拟演算。这倒让人想起一个问题：如果AI真正擅长的是感知而不是计算，那未来最好的空间智能系统，会不会根本不是一个更聪明的大脑，而是一个知道什么时候该掏出计算器的大脑？

Q&A

Q1：S-Space是什么？

A：S-Space是研究者在多模态AI模型内部找到的一个三维线性子空间，物体的水平、垂直、远近坐标都能从中直接读出来，相当于模型内部自带的一张空间坐标图。

Q2：AI模型空间推理失败是因为看不懂图片吗？

A：不完全是。研究发现，模型内部往往已经形成了准确的空间坐标表示，真正的瓶颈在于把这些坐标正确转换到新视角所需要的计算环节——感知没问题，推理环节掉了链子。

Q3：S-Space只能处理图片里看得见的物体吗？

也不是。S-Space 在实验里还能靠动作线索去推断画面之外、眼睛看不到的物体在哪儿，甚至连抽象的观察者“你”，它也能给出坐标；政治立场这类隐喻概念，同样会被它投到相应的空间方向上。