新智元报道  

设想这样一项任务：把相机交给AI，让它进入一间从未见过的虚拟房间。事先没有给物体的坐标，也没有替它规划好参观路线。它得自己判断朝哪转、往哪走、什么时候该再拍一张，最后还要讲明白各个目标物体在三维空间里究竟在什么位置。

论文链接：https://arxiv.org/abs/2610.26659

代码链接：https://github.com/JesseZZZZZ/SpatialScout

数据集链接：https://huggingface.co/datasets/jessezhaoxizhang/SpatialScout

SpatialScout把这一探索过程做成了一项能记录、能打分、能对比的研究任务。每次观察有没有用、不同视角之间能不能对上、交上来的坐标靠不靠得住，都会体现在最终的物体级地图里。

图1 一次空间探索由相机行动、多视角观测和物体位置估计共同构成。

模型需要自己选择下一次观察：从RGB图像出发，借助相机控制和几何工具估计物体中心。探索策略与空间推断被放进同一个交互闭环中一起考察。

人走进一间屋子，四下看看、绕上一圈，一般就能对整体布局形成连贯的认识：桌子挨着哪面墙，椅子在桌子的哪一边，转过身之后刚才那件东西又位于什么方向。有了这样的三维空间表征，接近、绕行、伸手去拿这些动作才有依据。

物理AI同样离不开这层基础。智能体要在真实环境里持续行动，就得把零散的视觉线索组织成稳定的空间关系。如果连基本的位置和布局都难以通过观察确定，后面的行动规划、物体操作和环境交互也就少了可靠的参照。SpatialScout关注的主动空间理解能力，正是迈向物理AI的一块基石。

正式评测选了80个室内场景、3,140个目标实例，分别来自iTHOR、RoboTHOR、ArchitecTHOR、ReplicaCAD和ProcTHOR。房间类型上有厨房、客厅、卧室、浴室，也有公寓和多房间住宅。场景与初始相机设置固定下来，不同模型面对的任务条件因此保持一致。

图2 为数据集物体类别词云。统计口径为完整90场景目录下的3,440个实例，按原有归一化规则归并后得到143类；最终结果则取自其中80场景的评测协议。

这些环境里既有椅子、桌子、橱柜，也有书本、灯具和日常用品。物体的尺度、摆放位置和可见程度各不相同，模型得不断调整视角，在局部细节和房间整体布局之间建立联系。

任务一开始，模型会收到一份目标实体清单和初始图像。清单说明要找哪些对象，坐标却不给。模型能自己拍照、挪动相机、读取相机内参与位姿，再把不同视角里的对应观测送进三角测量工具；位置确认之后，可以分批提交，也能接着修正。每个任务最多允许100轮模型交互。

打分看两件事：「找得全不全」和「放得准不准」。全部目标与已提交目标各算四项指标——平均IoU，以及IoU超过0%、50%、90%的比例。没提交的目标，在全部物体指标里记为零。IoU按平移至预测中心的原有渲染几何包围盒来算，主要衡量中心定位和目标覆盖。

表1 基于正常执行finish_mapping结束的轨迹，按任务求平均（macro）。

眼下比较了7个模型、8种配置。Opus 5.5的任务平均IoU是41.71%，Astra（xhigh）33.16%，Sonnet 5.5为32.28%。最高分离满分仍有明显距离，观察决策和空间推断里哪些环节偏弱，也就更值得追下去。

图3 从准确布局到物体缺失、位置偏移，重建画面直观呈现了不同的成功与失败形式。

看过一个物体，不等于已经定下它的空间位置。各次观察之间若缺少稳定对应，图像越多，可能只是多了一堆局部印象。模型还得认出同一物体在不同视角中的同一位置，挑出能提供有效视差的拍摄点，几何约束才立得住。

图4 探索过程中不同类型工具的调用分布，展示了观察、相机移动与建图操作之间的调度差异。

工具调用分布里有个现象值得留意：一些模型在探索中反复观察、频繁挪动相机，后面的mapping操作却没怎么跟上。图像收了不少，跨视角信息却没被有效组织起来，几何计算没能把「看见了」落成「定位到了」。

三角测量尤其吃精细的空间感知。输入得来自不同拍摄位置的对应图像点；物体中心标记偏移、遮挡、视差不足，都会影响估计。这一环里，观察准不准、计算及不及时、结果有没有核对，比单纯多拍几次更关键。

在共同的80个任务上，Astra最终提交的物体中有99.33%此前得到过成功三角测量支持；DeepSeek是63.48%。这个差距，为「观察怎样变成定位证据」提供了一个可以分析的切入口。

这些轨迹线索指向一个改进方向：提高跨视角对应的精度，让观察、计算与提交配合得更紧。工具调用次数本身量不出观测质量，上面的分析属于描述性证据。图里的mapping还包含位置提交与结束建图，不能当成纯计算量；后期柱高下降，也会受任务结束影响。

SpatialScout的另一个用处，是让过程可以追踪：物体缺失，可能说明覆盖不够；布局偏移，可能说明坐标推断不稳；观察很多却得分很低，则提示要检查视觉对应和几何工具用得对不对。研究者能顺着这些线索，设计更有针对性的探索策略。

持续拍摄、长上下文推理、多轮工具交互，每一项都要花资源。SpatialScout把重建IoU和每任务平均费用画进同一张图，借Pareto前沿看不同预算下质量怎么选。

图5 模型的质量—费用分布。平均费用以美元计，横轴使用对数刻度，虚线连接Pareto前沿配置。

按当前保存的价格与token记录估算，Astra（medium）平均约2.47美元/任务，Astra（xhigh）约3.06美元/任务；Opus5.5约为27.90美元/任务。DeepSeekV4.1 Flash的均值约为0.027美元/任务，其对应的定位得分也较低。这组结果让探索策略的质量收益与资源投入能够被同时讨论。

费用取OpenRouter固定价格快照，只对token记录完整的任务求均值。Cost图中的IoU是按物体汇总的micro指标，前文表格则是逐任务平均的macro指标；费用为价格快照下的估算，不代表实际账单。Astra medium延续先前IoU与新运行费用均值的既定统计口径。

从挑一个新视角，到确认一组空间坐标，再到形成可用的物体级地图，主动空间理解要靠一整条能力链。SpatialScout给出固定任务、交互工具与评分流程，研究者可以接入自己的模型，把新的视角规划、多视角推理和几何工具策略放到同一个环境里比较。

有了这个基准，更多研究可以把目光转向真实行动所依赖的空间根基：智能体得先弄清自己在什么位置、对象又在什么位置，再据此判断下一步该怎么看、怎么做。

参考资料：https://arxiv.org/abs/2610.26659