北大天大开源SpatialScout:让AI像人一样主动探索三维空间
北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精
从“看图说话”到“主动探索”,空间智能的评测范式正在变了。
大模型这两年读二维图像的本事已经很强。丢一张照片过去,它能说出画面里有什么、谁站在谁左边。可这离真正的“空间智能”还差得远。现实世界是三维的,而且多半是陌生的。一个机器人走进没去过的房间,光靠一张静态照片定不了下一步往哪走,它得转头、挪动、再看,把零碎的视角一点点拼成完整的空间地图。
北京大学和天津大学的研究团队联合开源了 SpatialScout,针对的正是这个难题。这是一个新的三维空间智能基准,用来评估视觉语言模型(VLM)在动态环境里主动感知、主动建图的能力。
SpatialScout 最核心的改动,是任务范式换了。早先的基准比如 VSI-Bench,更像选择题或填空题:给模型一段视频或一张全景图,问“桌子离墙多远”“房间里有几把椅子”。这种被动问答查不出模型是怎么获取信息的。SpatialScout 则把模型丢进模拟的三维环境,只给一个初始视角和一份目标物体清单,其余全凭它自己。摄像头往哪转、往哪移,拍什么新图像,要不要调用专门的几何工具估算深度,都得模型自己定,最后在统一坐标系下输出所有目标物体的三维中心位置。
这不是技术上的小修小补,而是把“智能”的定义往前推了一步。它考的不是模型背了多少空间常识,而是面对未知环境时,能不能像人那样靠主动探索建立认知。
SpatialScout 具体怎么运转?
想知道它价值在哪,先得看它让模型做什么。整个评测被设计成一个闭环的交互任务。
智能体(也就是被测模型)先被放进由物理引擎渲染的室内场景。基准目前收了 80 个不同的室内场景,客厅、卧室、办公室等布局都有,涉及的目标物体共 3,140 个。模型起手只能看到当前视角的 RGB 图像,知道相机的内参和位姿,外加一份要找的物体清单,比如“找到红色的马克杯”“找到蓝色的书”。
接着进入核心的主动探索环节。模型手上有两样工具。一样是控制摄像头,执行平移(Pan)、倾斜(Tilt)等动作换视角、拍新图;另一样是三角测量工具,模型在不同视角的图像里认出同一个物体的对应像素点后,可以调它算出这些点在三维空间中的具体坐标。
这里有条硬限制:每个任务最多 100 次模型调用、100 张图像。模型没法漫无目的地乱拍,路径和视角都得高效规划。哪些视觉特征属于同一个物体,哪些视角能给出有效的几何信息,局部观察又怎么并进全局地图,全要它自己判断。
探索途中,模型分批提交它认为找到的物体中心坐标,这些坐标都基于初始相机定义的固定坐标系。评测器中途不透露对错,要等任务结束或预算用光才见分晓。
评分放在最后。SpatialScout 用了双重机制,既看找得准不准,也看找全没找全。
定位精度用的是尺度相关的三维 IoU(交并比)。模型不用预测物体大小(长宽高),只交中心坐标就行。评测器把该物体标准的参考包围盒平移到模型预测的中心位置,再算它和真实包围盒的三维 IoU。尺寸估计带来的噪声就这样被绕开了,考察点落在模型对物体位置的感知上。
覆盖率方面,凡是没提交的物体一律记零分。最终的全目标平均 IoU 把这两方面合在一起看。模型要是只挑容易发现的找、其余不管,平均分高不了。另外,同类可互换的物体(比如两把一样的椅子)采用组内一一匹配,模型想靠猜编号顺序作弊行不通。
现有基准为什么不够用?
SpatialScout 出来之前,空间智能的评测大多停在静态场景理解上。VSI-Bench 就是例子,它给了大量真实场景的第一视角视频和全景图像,让模型回答方向、距离、计数之类的问题。
这种模式有两处明显短板。一是被动,模型决定不了看哪里,信息都打包好喂到嘴边。现实里这行不通,机器人或 AR 设备常常得从零开始搭建对环境的理解。二是输出形式受限,文字答案或选项反映不出模型对三维几何结构的深层理解。模型可能蒙对了“杯子在桌子左边”,但它并不知道杯子在空间里的具体坐标,也就没法据此规划抓取路径。
对比之下,SpatialScout 的长处在于交互性,过程也能拿来分析。
模型完整的观察轨迹、工具调用记录、位置更新历史都保留着,研究人员可以顺着往下查失败原因。是视角选错导致看不清物体?是跨视角的特征对应出了错,三角测量因此失效?还是几何残差虽小,物体压根就找错了?
研究发现,几何残差小不等于找对了物体中心。不少时候,模型在错误的特征点上做了精确的三角测量,结果照样偏。这类细粒度归因对改进具身智能算法很关键,传统静态基准做不到。
还有一点,SpatialScout 的统一评测协议保证了公平。所有模型用同一套工具接口、提示词模板和交互预算,提示工程技巧不同带来的性能差异被抹掉了,研究者比较不同模型架构的空间推理能力时,能看得更纯粹。
技术细节:防作弊与公平性怎么保证
设计评测基准时,防模型“走捷径”是绕不开的一环。SpatialScout 在好几个层面布了防作弊机制。
编号就是一例。三维场景里同类物体(比如好几把相同的椅子)往往不好区分。若简单按列表顺序把预测坐标和真实坐标配对,模型可能靠记忆训练数据里的物体分布规律猜位置,而不是真去“看”。为此 SpatialScout 引入了组内一一匹配算法:同一类别有多个实例时,评测器在预测集和真实集之间找最优匹配组合,编号顺序对评分的影响就此消除。
尺寸预测也会带来干扰。模型若同时预测位置与尺寸,任务复杂度会上升,尺寸上的误差还常常盖过位置误差。SpatialScout 的做法是固定包围盒尺寸,只评估中心坐标,把考察重点收回到空间定位本身。评分因此更稳定,也更贴近导航到物体附近这类下游任务的实际需要。
覆盖率同样需要约束。只评估已提交物体的精度,模型就可能趋于保守,专挑置信度极高、容易发现的物体上报,其余目标一概不管。SpatialScout 把未提交的物体计为零分并计入平均分,促使模型做更全面的探索,精度与召回率由此得到平衡。
几何真值则全部留在评测端,包括物体真实中心与包围盒尺寸,模型无法获取。模型只能凭视觉观测和工具调用去推断,评测的真实性得以保证。
应用场景:从实验室走向现实
SpatialScout 是评测基准,但它指向的落地场景相当多,与具身智能、空间计算技术的落地直接相关。最直接的受益方是具身智能机器人。家用服务机器人要听懂“去厨房拿桌上的苹果”,光认出苹果不够,还得知道它在三维空间里的确切位置,才能规划机械臂的运动轨迹。SpatialScout 所验证的主动探索与建图能力,正是完成这件事的核心。
AR/VR 方向上,空间感知的精度决定了虚拟内容与现实世界融合的逼真程度。AR 眼镜对周围物体三维位置的估计越准,虚拟物体锚定在真实表面上就越稳,遮挡关系也更自然。开发者可以借助 SpatialScout 的评测结果优化底层的空间感知算法。
智能家居是另一个潜在方向。未来的扫地机器人或陪伴机器人若能建出高精度的室内物体地图,服务就能更个性化。用户说“帮我找一下沙发下的遥控器”,机器人得自主移动摄像头,扫描沙发底部,再用三角测量确定遥控器的位置。
仓储物流行业也有类似需求,移动机器人自主巡检货架、清点库存的场景越来越多。SpatialScout 验证过的主动感知式建图算法,能为快速生成仓库数字孪生体提供技术支撑,库存管理的自动化水平也随之提高。
结语
空间智能是人工智能通向物理世界的关键一步。SpatialScout 把学界对这项能力的评估,从静态、被动推向了动态、主动。它关心的不再只是模型“知道”什么,而是模型如何“发现”什么。
研究者拿到的是一个标准化的试验场,可以用来厘清当前视觉语言模型在空间推理上的短板;产业界则从中看到具身智能算法性能提升的方向。接入这一基准的模型越多,越有可能出现更聪明、空间意识更强的 AI 助手。
SpatialScout 的代码目前已在 GitHub 开源,技术论文也已在 arXiv 发布。做计算机视觉、机器人学习和大模型研究的人,可以深入看看这个项目。