浙大团队GPD：训练给AI开天眼，上岗只留RGB照片

蒙上眼睛，让你说一间屋子怎么摆的，能说准吗？

多半会出错。沙发在左边也许记得，离门多远就说不清了；椅子是有的，可它朝哪边，转个身就忘了。眼下能看图说话、还能回答图片问题的视觉语言模型，干的正是这桩事：手里只有一张张扁平的RGB图片，却要回答“沙发离门多远”“往左还是往右能走到喷泉”这类需要立体感的问题。

这就像让一个只翻过照片、没进过房间摸一摸的人，去估两件家具的真实间距。他手上只有光影和像素，没有深度，也没有尺子。RGB图片本身不带几何证据，模型只能靠“脑补”去猜深度和方位，猜错是常态。

浙江大学团队的一篇论文，盯的就是这个“蒙眼猜房间”的麻烦。方法叫GPD，中文可理解为“几何特权蒸馏”。思路挺巧：训练时偷偷给AI开个“天眼”，让它看到深度图、物体位置这些真实的三维信息；到了考试，也就是实际使用的时候，天眼必须关掉，AI仍旧只看普通照片答题。

这篇论文到底在较什么劲

先说现有两条技术路线各自卡在哪儿。

第一条是“硬装备”流派：直接给AI配上三维感知的硬件或算法模块，比如深度编码器，或者在推理时调用额外的三维重建工具。效果确实好，代价也摆在那儿——模型变复杂，推理变慢，部署成本直接上去。

架构修改*：指的是在模型本身的网络结构里加入额外模块，比如处理三维信息的编码器，这种改动会让模型变得更重、更慢。

第二条是“只看结果”流派：拿问答数据训练模型，告诉它正确答案是什么，让它在强化学习里自己慢慢调。这条路保住了AI只看RGB图片就能用的便利，问题是监督信号只来自最终答案对不对，AI是怎么“想”出这个答案的，没人管。

漏洞就留在这儿。推理中间某一步判断错了，比如远近顺序弄反、左右搞混，可最后蒙对了答案，这种错误不会被纠正。更糟的是最后答错时，你也说不清是哪一步出的问题——看错了深度，搞错了方向，还是压根没读懂题目。

论文作者的洞察是：空间推理出错，源头往往在感知层面，不在逻辑推理层面。模型先看错了景深、位置或大小，再在这个错误事实上“合理地”往下推，得出一个逻辑自洽、实际满盘皆错的答案。

根子抓错了，怎么纠正都是隔靴搔痒。只给答案对错的反馈，好比老师批数学卷只打对号叉号，从不告诉学生哪一步算错了。下次大概率还在同一个地方栽跟头。

那为什么不一直让AI看深度图、三维信息？真实场景里，AI部署使用时往往只有摄像头拍的普通照片，没人会专门配一套三维扫描设备。这些几何真相只存在于训练数据的来源，也就是用三维扫描仪采集的真实场景数据集里。训练时有，用的时候没有，论文标题里的“privilege”即特权信息，来由就在这里：只能在训练阶段享受特权待遇，上岗以后就得交出去。

特权蒸馏：怎么让AI偷师而不作弊

GPD的解法，建在一个叫“同策略自蒸馏”（On-Policy Self-Distillation，简称OPSD）的技术框架上。

同策略自蒸馏：同一个模型扮演两个角色。“学生”只看基础信息自己做题，“老师”额外看到更多信息，给学生的答题过程打分，用这个打分去修正学生的行为，而不是直接把正确答案告诉学生。

乍一看有点怪，老师和学生是同一个模型？其实不难理解。就像一个人做完一套题，拿着参考答案和解析重新审视自己刚才每一步推理，用“事后诸葛亮”的视角评价当时的思路好不好。这个“开天眼复盘”的过程，就是用来生成训练信号的。

在GPD这里，开天眼看到的内容被具体化为三样：深度信息、语义分割信息，还有鸟瞰图信息。

深度信息*：记录画面里每个物体离摄像机有多远，谁近谁远排好顺序。

语义分割*：标出图片里每个物体是什么、大概占据什么位置和区域。

鸟瞰图*（Bird's-Eye-View，简称BEV）：换一个视角，从空中往下看整个场景再画出来，把各物体之间上下左右的相对位置交代清楚。

这三类信息不是AI自己脑补的，而是从真实三维扫描数据里直接提取，或者用专门的深度估计模型（Depth Anything 3）和图像分割模型（Grounded-SAM-2）离线算好、提前存下的。也就是说，这些几何证据经过验证，是真实信息，不是另一个AI模型的猜测结果。

问题导向的路由：别一股脑全塞给老师

这里有个很实际的问题：深度、语义、鸟瞰图这三种信息，是不是每道题都得全给老师看？

论文作者得出的结论是否定的。像数清房间里有几把椅子这类计数题，答案基本靠语义信息撑起来，塞深度图进去几乎帮不上忙；要判断两个物体隔多远，起主要作用的是深度信息，鸟瞰图在这上面作用有限；至于估摸房间整体尺寸，鸟瞰图的贡献大到近乎压倒一切。

GPD据此搭了一套"问题导向路由"机制：让AI自己先判断这道题该调哪几类几何信息，而不是一股脑全推给老师。

这个思路跟医生开检查单差不多。感冒发烧用不着上核磁共振，骨折了也不必先验血常规。不对症还把检查全做一遍，资源白花不说，信息一多医生反而抓不住重点，诊断容易被拖慢。论文实验也印证了这一点：三类信息不分青红皂白全给老师，效果反倒比精准路由低1.7个百分点，说明信息给太多比给得精简更糟。

只改错题，做对的不去碰

GPD还有一处设计很关键："老师复盘打分"这个监督信号，只落在学生答错的题目上，答对的题一概不管。

道理很直白。学生题都做对了，老师还非要凑上去指点，说这步该这么想那步该那么想，多半是画蛇添足，弄不好把人家原本对的思路搅乱。论文的消融实验也支持这个直觉：把纠偏信号铺到所有轨迹（含答对的）上，整体平均分从41.5滑到40.6，掉了0.9个百分点。盯着错题纠，才是最划算的做法。

这跟批改作业一个道理。题做对了还要求学生按"标准解法"重做一遍，既费时间，又可能让学生怀疑自己原来那套对不对，本来扎实的理解反倒动摇了。只在出错的地方给针对性反馈，教学效率才真正高。

GRPO：强化学习的另一条腿

GPD不是另起炉灶，它是在GRPO（Group Relative Policy Optimization，分组相对策略优化）这个强化学习算法上做的增强。

GRPO* 属于强化学习的训练路子：对同一个问题，先让模型给出多个不一样的回答，再按这些回答最后是对还是错，算出一个相对而言的“优势分数”，拿它来调模型，好的回答受到鼓励，差的回答受到压制。

GPD的做法是：GRPO原本只盯结果对错，GPD在这路训练信号之外再叠上前面说的"老师复盘打分"，两路加权合成最终训练目标。模型既从最终答案的对错里学，也从推理每一步是否符合几何事实里学，两条腿一起走。

效果如何：数字说话

实验跑在Qwen3-VL这个开源视觉语言模型的2B和4B两个参数规模版本上，用了五个专门测空间推理能力的基准数据集。

VSI-Bench是专测视频空间理解的基准，4B规模的GPD模型在这里平均拿到57.1分。直接用GRPO训练的为56.4分，GPD高出0.7分；答案特权版本的OPSD是55.7分，GPD高出1.4分；完全不加特殊训练的基线模型55.4分，GPD高出1.7分。

另外四个基准上，4B模型的GPD平均37.6分，GRPO是35.7分，提升1.9分；OPSD只有31.5分，GPD比它高出6.1分，幅度相当明显。这四个基准各有侧重：MindCube看有限视角下的空间心理建模，SPAR-Bench看三维物体关系，MMSI-Bench看多图空间智能，ViewSpatial看视角相关的空间理解。其中MindCube任务上GPD拿到38.0分，GRPO是33.0分，整整高出5个百分点。

零样本测试环节的发现更值得一说。正式强化学习训练之前，研究者先做了对照实验：把不同形式的三维信息直接喂给模型，看哪种最管用，包括完整的三维图片、路由筛选后的图片、完整文本、路由筛选后的文本。结果挺出人意料：

图片形式的三维信息直接塞过去，不管完整不完整、筛没筛过，效果都比什么都不给的基线（49.1分）更差，分别只有47.4分和48.3分。完整的文本描述同样不灵，只有48.3分。只有经过问题导向路由筛选后的文本描述拿到52.2分，比基线高出3.1分。

可见几何信息转成结构化文字描述，比直接塞图片管用得多。原因也不难想：图片对AI来说是另一重"视觉理解"负担，文字描述则能直接接上AI原有的语言推理链条，省掉一道视觉转语言的损耗。好比一个人正用数学公式解题，你递张示意图和给他一行写好的坐标数值，后者往往能直接代进去算，前者还得先"读图"才能提炼出可用的东西。

AI到底有没有把几何知识学到脑子里

这个验证很关键：GPD训出来的模型，是真把几何推理内化了，还是偷偷靠着训练时见过的特权信息，一撤走就现原形？

研究者设计了一组巧妙的对比：测试时分别给GRPO模型和GPD模型额外注入路由后的三维文本信息，看各自成绩能涨多少。

结果是GRPO模型拿到额外三维信息后，成绩从54.9跳到57.0，涨了2.1分，说明它平时推理很依赖外部信息补位。GPD模型不给任何额外信息、纯靠RGB图片推理时就已经有56.3分，加上额外信息只小幅升到56.9，涨幅0.6分。

涨幅小反而是好事。它说明GPD模型已把训练阶段学到的几何推理能力内化进权重，不再像GRPO模型那样严重依赖临场递来的外部拐杖。好比一个学生平时做题总偷偷翻书，考试一收书成绩就暴跌；另一个学生平时也参考过答案，但解题方法真弄懂了，考试不带书影响不大，临场再给点提示提升空间也有限，该会的早会了。

案例还原：一道题里的差距

论文中举了一个例子，把问题说得很清楚。四张照片从不同角度拍下同一间屋子，题目问：假设人站在图2所处的位置、面朝图2所对的方向，接着左转再向前走，会不会离一座石头喷泉更近。

接受GRPO训练的模型给出了错误答案。它的推理中写着“喷泉在罐子的右边，往左走会靠近墙壁、远离喷泉”。这是方位判断上的典型失误。

GPD训练的模型推理过程清楚得多：先确定摄像机在图2中相对中央罐子的位置，再推断左转并前进之后会朝向画面的哪一侧，最后跨图比对，确认喷泉正好落在新方向上，答案因此正确。

这个案例之所以有价值，是因为它把“过程监督”比“结果监督”强在哪里摆到了台面上。GRPO模型并不是逻辑推理不行，它一开始的空间定位就出了偏差，后面推导得再严密也只是错上加错。GPD则在训练中专门针对这类容易出错的几何环节做了纠偏，从源头上避开了这种偏差。

写在后面

通读论文，最让人记住的其实是那个“路由”设计。不少技术论文提到引入额外信息，第一反应往往是“信息越多越好”，恨不得把所有能拿到的数据都塞进模型。可这篇论文的实验结果很清楚：全量注入三维信息，效果反倒比精准筛选差了将近两个百分点。给AI喂信息，跟给人喂知识是一个道理，消化不了的信息不是财富，是噪音。

另一个细节也耐人寻味：论文发现“图片形式的三维信息”效果不如“文字形式”，尽管图片理论上承载的信息更丰富。这多少打破了直觉。我们总觉得图像更直观、更丰富，但对一个用语言链条做推理的模型来说，图像反而成了需要额外解码的“外语”，不如直接给一份用母语写好的说明书来得痛快。以后设计多模态训练方案，这大概是个该记住的提醒：模态匹配比信息总量更重要。

论文没回答的一个问题是：换成完全没有三维扫描数据支撑的场景，比如户外开放环境或者动态变化的场景，这套“路由筛选几何特权”的思路还管不管用？论文用到的训练数据大部分来自ScanNet这类室内三维扫描数据集，真实世界要复杂得多。这道题，或许留给后来者。

Q&A

Q1：GPD是什么？

A：GPD全称Geometry-Privileged Distillation（几何特权蒸馏），是一种训练视觉语言模型做空间推理的方法。训练阶段，它额外给模型提供深度、语义、鸟瞰图等三维几何信息，作为“特权信息”来纠正推理过程中的错误；到了部署使用时，模型依然只靠普通RGB图片推理。

Q2：GPD和直接给AI配三维传感器有什么区别？

A：直接配三维传感器属于论文所说的“显式三维方法”，要改动模型架构，或者在推理时增加硬件、算力开销。GPD完全不改变模型推理时的输入形式，三维信息只在训练阶段以“老师给学生复盘打分”的方式起作用，部署时模型仍是纯RGB输入，推理成本一点不增加。

Q3：GPD的效果具体好在哪里？

A：在4B参数规模下，GPD在VSI-Bench上拿到57.1分，在MindCube、SPAR-Bench、MMSI-Bench、ViewSpatial四个基准上平均达到37.6分，均优于普通GRPO训练和答案特权版OPSD。实验还表明，GPD训练出的模型能把几何推理能力真正内化，不依赖测试时的额外信息提示。