Imagine3D-LLM：让AI先拼出3D场景再答题，KAIST等机构提出新方法

闭上眼睛，让朋友从四个角度给一间屋子拍照，再凭这几张照片回答"床在你左边还是右边"——这个游戏很多人都玩过。

多数人能答上来。扫一眼照片，脑子就自动把椅子、桌子、门认了出来，顺手在心里搭出一个房间的大致轮廓，方向问题这才有了答案。

可换成眼下最先进的多模态大语言模型，事情就常常翻车。这类AI能同时看懂图片和文字，偏偏在这种题上频频出错。

MLLM（多模态大语言模型）指的是这样一类 AI 模型：图像和文字都能作为输入，输出则用自然语言来回答，看图说话、看视频答题都算它的典型用法。

KAIST、ETH苏黎世等机构的论文给了一个挺有意思的解释：现有AI要么处理不了多视角信息，要么被硬塞了一堆像素级的几何细节，两条路似乎都没摸到人类做空间推理的门道。

论文要讲的是一个叫Imagine3D-LLM的新方法，思路听着有点反常规：不让AI去学更精确的几何坐标，而是先让它在心里"想象"出一个粗糙的3D场景，再去答题。

单视角很简单，多视角为什么这么难

先把问题出在哪说清楚。

只看一张照片时，现在的AI表现已经相当不错，某些任务上甚至超过人类。但给它一组多视角照片，比如同一间屋子从四个角度拍的，问它"床后面是什么"，它就经常答错。

原因在于单张图片的信息是现成的，模型只要认出图里有什么。多视角推理则难得多：模型得先意识到这四张照片拍的是同一个房间，再把它们在脑子里"拼"起来，建立起物体之间的相对位置关系，最后才能作答。

过去研究者试过两条路。

第一条路是喂更精细的几何信息，比如把每个图像小块对应的3D坐标直接编码进模型输入，或者在图上画出鸟瞰图标记点，方便模型对齐不同视角里的相同内容。

第二条路是请专门的3D重建基础模型来帮忙，像CUT3R、VGGT这类，把它们提取的几何特征和AI自身的图像特征融在一起，等于给AI配了个"3D助手"，随时在旁边提供参考数据。

CUT3R 和 VGGT 是近年出现的两种 3D 几何基础模型，多张图片输入后，能直接估出场景深度、相机位置这类几何信息；大语言模型需要 3D 先验知识时，常把它们当"外援"来用。

两条路都试过，效果只是略微提升，离人类水平还差得远。论文作者们开始琢磨：会不会方向一开始就错了？人类理解3D空间，真是靠记住每个像素的精确坐标吗？

认知科学给出的答案可能让人意外：并不是。

人脑其实不太靠谱，但够用

认知科学的研究发现，人类脑子里根本没有一张精确的深度图，也没有逐像素的对应关系表。

我们看几张照片时做的事其实很"糊弄"：先认出里面有哪些常见物体，这是椅子那是桌子，再拿这些物体当"锚点"，粗略估一下不同视角之间怎么转的，最后在心里拼出一个大致的3D布局。整个过程既不精确，也不逐像素，但回答空间关系问题已经够用。

好比去一个从没去过的朋友家做客，路上拍几张照片发给另一个朋友问路。你不会报出每棵树的精确GPS坐标，只会说"过了那个红色邮筒往左拐，看到一个白色房子"。靠的是物体级别的粗略定位，不是像素级的精确测量。真要靠精确坐标才能描述路线，每回问路都得先测绘一遍，根本没法操作。

这个发现给了研究者新方向：人类靠的是粗糙的、物体层面的3D理解，那AI是不是也该学这种"想象"能力，而不是死磕像素级的几何精度？

Imagine3D-LLM：先想象，再回答

顺着这个洞察，论文提出了Imagine3D-LLM。核心设计是在AI处理图片的token序列后面，插入一组叫"高斯摘要token"的东西。

Token 是大型语言模型处理信息时的基本单位，可以把它想成模型"思考"过程中切出来的一个个信息片段；不管图像还是文字，都要先转成 token 序列，再送进模型。

3D Gaussian Splatting（3DGS）是近年来三维重建领域挺流行的一种做法：用一大堆小“高斯球”来表示三维场景，每个球都带位置、形状、颜色这些属性，叠加渲染之后就能还出场景原貌。所谓高斯球，可以想成模糊的小椭圆。

模型从这些高斯摘要token里解码出一组3DGS参数，拼成紧凑的3D场景表示。训练时这套流程和标准语言建模任务绑在一起——模型一边学答题，一边在心里把场景建起来。

设计上有两个关键决策，值得展开说说。

决策一：别让模型“抄近道”。

假如让模型直接从图像特征预测高斯参数，它很容易偷懒——把2D图像内容原封不动“贴”到对应位置的3D高斯上，压根不去理解场景的几何结构。

打个比方：让学生写读书笔记，要是允许他照抄书里的句子，他多半不会真去理解内容，只会机械复制粘贴。只有要求他用自己的话总结，他才被迫去消化、理解、重新组织信息。

论文的对策是单独设一批“高斯摘要token”，不让图像token兼职去预测高斯参数。这样摘要token就得主动从图像token里“提取”信息，而不是被动绑在某个固定像素位置上。

决策二：故意留一个信息瓶颈。

第二个设计更有意思：高斯摘要token的数量远少于图像token——论文里是2592个摘要token对应32张输入图片，图像token则有6720个。

差这么多，是故意的。

瓶颈的作用在于：摘要token太少，没法给每个像素或每个图像小块都配一个专属token，模型只好想办法把多个视角里重复出现的内容“合并”进同一组token。换句话说，椅子在四张照片里都出现了，模型最划算的策略是用同一组摘要token代表这把椅子，而不是分四次各记一遍。

这就像公司里的会议记录员。要是允许她把每句话都原文记下来，记录又长又没重点；可要求她压缩成一页纸的摘要，她就得去识别“这几个人其实在聊同一件事”，再把内容归并、提炼成一条要点。记录短了，会议的核心结构反而更清楚。这个瓶颈想要的就是这个效果——逼模型按“物体”而不是按“像素”组织信息。

从哪一层解码，也有讲究。

还有个技术细节：高斯摘要token该从LLM的哪一层取出来解码成3D高斯？

论文选的是中间层——28层LLM里的第14层。取早了，摘要token还没吸够视觉信息；取晚了，后面剩的层数不够让文字token“回看”摘要token、吸收其中编码的场景信息。中间层恰好卡在两者之间。

对比实验也支持这个判断：分别从第7层（早）、第14层（中）、第21层（晚）解码，中间层在SQA3D测试集上拿到63.8分，高于早层的60.7分和晚层的61.7分。

训练提速：请个“老师”来教。

只靠渲染损失（让渲染出的图片尽量像原图）训练这套系统，收敛会非常慢。论文提到，纯用这种光度监督，哪怕训练很多轮，提升也有限。

为此，论文搬来一个已经训练好的紧凑3DGS估计模型ZipSplat当“老师”，指导Imagine3D-LLM里的摘要token该学成什么样。

蒸馏（Distillation）指的是让新模型或小模型模仿已训练好的大模型（教师模型）的行为，学生不必从零摸索，能更快学到相近能力。

蒸馏分两层做：一层拿摘要token的隐藏状态去对齐老师模型里对应的查询token，用余弦相似度衡量两者像不像；另一层直接比对师生预测的高斯参数数值，用一个简单的误差损失把两边拉近。

消融实验显示，去掉蒸馏后，模型要训4个轮次才勉强追上有蒸馏、只训1轮的效果。可见蒸馏主要作用是加快收敛，让训练落在实际可承受的时间和算力范围内——没有它，这事也不是做不成。

意外发现：重建训练“溢出”到了图像特征本身。

这是论文里我觉得最值得多说两句的部分。

渲染损失直接作用的对象只有高斯摘要token，按说图像token属于“旁观者”，不该被直接波及。可实际观察发现，图像token的表示也跟着变得更“懂3D”了。

论文为此做了注意力可视化：在一张图里挑一个点，比如沙发上的某个角，观察模型在另一张图里会不会也注意到沙发对应的那个角。结果显示，联合训练之后的模型跨视角注意力明显更集中、更准确；没有经过这种训练的基线模型则乱成一团。

PCA可视化也给出了同样的信号。这是一种把高维特征降到三维、再用颜色表示出来的分析方法。基线模型的特征图斑驳杂乱，像电视没调好频道时的雪花噪点；Imagine3D-LLM的特征图干净得多，同一个物体（比如椅子、桌子）在不同视角下被编码成相近的颜色，也就是相近的特征表示。

量化实验同样做了：直接对图像特征做K-means聚类，再拿聚类结果和真实的ScanNet语义标签比对，用mIoU（平均交并比，衡量预测区域与真实区域重合程度的指标）打分。基线模型只有26.54分，Imagine3D-LLM拿到35.43分；专门做语义特征提取的DINOv3模型以37.62分作为参考上限。也就是说，Imagine3D-LLM的特征空间已经相当接近专业语义模型的水平，而这一切只是重建训练“顺带”带来的，全程没有任何语义标签的直接监督。

这有点像班里的情形：老师只给班长额外布置了一项任务，让他每周总结全班学习进度并汇报。表面上只有班长在“加班”，一学期下来却发现全班同学的学习习惯都更有条理了。原因是班长整理汇报内容时，会不自觉地去跟同学核对细节、理清知识点之间的联系，这种梳理反过来影响了全班的学法。要是没有这个汇报任务，班长不必主动梳理，大家各自为战的状态可能一直持续下去。

摘要token自己“学会了”按物体分类

为了验证这一点，论文设计了一个很直观的测试：把训练完成的摘要token拿去做K-means聚类，再检查同一聚类中token解码出的高斯球，是否恰好落在同一个物体上。

结果真的对应上了。把聚成一类的token所对应的高斯球可视化出来，它们稳定地落在同一把椅子上，换哪个视角看都一样。整个过程中没有人告诉模型“这是椅子，那是桌子”，这种物体级别的分组方式完全是模型自己摸索出来的。

这也印证了论文最初的设想：那个“故意设置的信息瓶颈”确实起了预想中的作用，逼着模型用物体、而不是用像素来组织它对场景的理解。

实验结果：数字说话

设计思路说了这么多，实际效果到底怎样？论文在七个基准测试上做了全面评估。

在ScanNet系列数据集（包括SQA3D、Real-3DQA、ScanQA等）上，Imagine3D-LLM在几乎所有指标上都超过了此前最强的方法Ross3D。Real-3DQA尤其值得看，它是专门用来检验AI是否真的理解3D空间关系、而非靠语言套路蒙对答案的测试集。Imagine3D-LLM在这个基准上拿到39.2的EM分数，相比Video-3D-LLM的31.2分提升明显，说明方法带来的是真实的空间推理能力，不是语言模式上的巧合。

在专门考察空间推理与3D理解能力的SPAR-Bench上，它的表现更为亮眼。该基准把能力划分为三个层级：低层级任务如深度估计，中层级任务如视角变化推断，高层级任务如空间想象。

ScanNet是常用的室内场景3D数据集，包含大量用深度相机扫描得到的真实房间点云和图像，也是3D视觉和3D语言理解研究里最常用的基准数据集之一。

Imagine3D-LLM在SPAR-Bench上的平均得分是68.5分，超过参数量大得多的Qwen2.5-VL-72B（39.4分）将近29个百分点，也超过了专为空间推理设计的G?VLM-SR-2B（54.9分）和同期工作3DThinker-7B（63.3分）。中层级任务上的差距尤其明显：Imagine3D-LLM拿到67.0分，对比模型VLM3R-7B只有28.4分。这恰好说明该方法擅长的正是跨视角的物体级推理，而中层级任务最直接地考验这种能力。

为了排除「训练数据更多」这一干扰，论文还设置了对照实验。他们训练了一个基线模型，结构、数据和训练流程都完全相同，唯一差别在于不引入高斯摘要token，也不使用重建损失与蒸馏损失。对比下来，Imagine3D-LLM在全部基准上都明显胜过这个对照基线，SPAR-Bench中层级任务从51.5分升到67.0分，提高了15.5个百分点。可见增益来自这套重建机制本身，并非训练数据或训练时长造成的巧合。

研究者进一步做了细致的排除实验，想分清好处究竟来自「学会重建」，还是仅仅因为多加了token或老师模型的信号。实验结果是：只把老师模型的查询token塞给LLM、不要求重建，表现与基线接近；只用蒸馏损失训练摘要token、不加重建损失，同样没有明显改善。唯有重建损失真正起作用、促使摘要token主动从图像中提取视觉证据时，提升才出现。换句话说，关键不在多塞了什么信息，而在于「主动重建」这一学习过程本身改变了模型内部的注意力与表示方式。

关于成本：这套设计贵不贵

天下没有免费的午餐，这套方法肯定会带来一些额外成本，论文也诚实地给出了数字。

训练阶段，加上重建损失和蒸馏损失之后，每张GPU的峰值显存从40GB涨到44GB，大概多了10%。这个代价不算小，但也在可接受范围内，主要得益于高斯摘要token的数量被控制得很紧凑，只有2592个。按像素对齐的3DGS方法可能要生成470万个高斯球，两者差了两个数量级。

推理时，这套系统占20.43GB显存，单样本耗时176.9毫秒。基线的数字是17.09GB和112.1毫秒，增加的部分主要来自更长的输入序列。换个参照系看：VLM3R那类方法要先跑一个3D基础模型（比如CUT3R）再做特征融合，显存25.29GB、每样本344毫秒，差不多是Imagine3D-LLM的两倍。Imagine3D-LLM推理阶段不需要任何外部3D模型，成本反而压下来不少。

渲染质量上，它的取向是"够用"，不是好看。

得说清楚一点：Imagine3D-LLM重建出的3D场景，渲染质量并不出色。论文对比过，它的PSNR（峰值信噪比，衡量图像质量的常用指标，数值越高越好）为17.61，专门的重建模型ZipSplat是20.60，差距不小。

这不是bug，是设计使然。系统从一开始就没打算做能拿去打游戏特效或做VR体验的高精度渲染，它要的是让模型"理解"场景的大致结构，好支撑后面的语言推理。画面可以模糊，但主要物体的大致位置、整体布局得对——有了这些，回答"床在你左边还是右边"这类问题就够了。

打个比方，小孩画的房间简笔画，比例可能全错，门画得比窗户还大，可你一眼就知道哪是床、哪是桌子，房间大概什么格局。这张画拿去比赛肯定不行，但给朋友指路说"进门左转就是厨房"，完全够用。精确度和实用性，有时候并不完全重合。

还有哪些问题没解决

论文作者也坦诚地列出了目前这套方法还存在的局限。

一是训练效率。完全不用那个预训练老师模型做蒸馏，模型也能学会这套能力，但要多花不少训练步数才能达到类似效果。老师模型目前仍是加速收敛的重要手段，算不上框架里的"可选项"。

二是场景类型和token数量的适应性。现有实验都在室内场景（比如ScanNet这类数据集）里完成，固定数量的摘要token和高斯球在室内基本够用；室外场景空间尺度更大、结构更复杂，固定的表示容量可能就不够了。让模型根据场景规模和复杂度动态调整摘要token数量，这个问题还没解决。

写在后面

读完论文，我印象最深的不是性能数字，而是那个"重建训练会溢出到图像特征本身"的发现。

这事挺反直觉。按常理，你只监督了A（摘要token），B（图像特征）不该受到直接影响。但实验数据明明白白显示B也变好了，而且好得很具体：跨视角的注意力更准，语义聚类的mIoU从26.54涨到35.43。

这让我想到一件完全不相关的事。很多老师会说，教会一个知识点最好的办法不是反复讲，而是让学生去给别人讲一遍。学生为了讲清楚，会被迫把脑子里模糊的理解梳理清楚，这个梳理过程本身就是学习。摘要token有点像那个"被迫讲课的学生"，它得向渲染损失交代清楚场景是什么样子，而交代的过程反过来重塑了它和图像特征之间的互动方式。

另一个让我停下来想了一会儿的地方是，论文反复强调自己追求的不是更好的3D重建质量，而是"更有用"的中间表示。这和当前很多工作的直觉相反——大家默认"几何越精确，推理应该越准"，但这篇论文用实验证明了，有时候更粗糙、更抽象的表示反而更贴近人类实际的思考方式，效果也更好。

换个角度想：连 AI 都认定"细节记太满没意义，抓大放小就行"，人类或许更没必要纠结脑子里那张含混的世界地图——说不准它天生就是够用的那种聪明。

Q&A

Q1：Imagine3D-LLM是什么？

A：它是一种方法：让多模态大语言模型在回答3D空间问题之前，先用一组学习出来的"高斯摘要token"在心里重建一个紧凑的3D场景表示，模仿人类先粗略想象场景再推理的思维方式。

Q2：Imagine3D-LLM和之前依赖3D几何基础模型的方法有什么不同？

A：之前的方法主要靠融合外部3D基础模型（如CUT3R、VGGT）提供的精细几何特征；Imagine3D-LLM推理时不依赖外部模型，让摘要token主动从图像特征里学习重建场景，这个过程本身重塑了模型内部的表示，效果反而更好。

Q3：Imagine3D-LLM重建出来的3D场景清晰吗？

A：谈不上特别清楚。按论文的说法，渲染出来的质量确实不如专门做重建的模型；可重建本就不是为了产出高清画面，重点在于让模型摸清场景的大致结构，应付空间推理类问题，这已经够了。