北大天大开源SpatialScout:让AI像人一样主动探索三维空间

资讯 AI 应用前沿 全文 3575 字 · 约 9 分钟读完 分类开源模型发布世界模型学术研究

北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

所属频道 模型发布开源生态前沿研究

从“看图说话”到“主动探索”,空间智能的评测范式正在变了。

大模型这两年读二维图像的本事已经很强。丢一张照片过去,它能说出画面里有什么、谁站在谁左边。可这离真正的“空间智能”还差得远。现实世界是三维的,而且多半是陌生的。一个机器人走进没去过的房间,光靠一张静态照片定不了下一步往哪走,它得转头、挪动、再看,把零碎的视角一点点拼成完整的空间地图。

北京大学和天津大学的研究团队联合开源了 SpatialScout,针对的正是这个难题。这是一个新的三维空间智能基准,用来评估视觉语言模型(VLM)在动态环境里主动感知、主动建图的能力。

SpatialScout 最核心的改动,是任务范式换了。早先的基准比如 VSI-Bench,更像选择题或填空题:给模型一段视频或一张全景图,问“桌子离墙多远”“房间里有几把椅子”。这种被动问答查不出模型是怎么获取信息的。SpatialScout 则把模型丢进模拟的三维环境,只给一个初始视角和一份目标物体清单,其余全凭它自己。摄像头往哪转、往哪移,拍什么新图像,要不要调用专门的几何工具估算深度,都得模型自己定,最后在统一坐标系下输出所有目标物体的三维中心位置。

这不是技术上的小修小补,而是把“智能”的定义往前推了一步。它考的不是模型背了多少空间常识,而是面对未知环境时,能不能像人那样靠主动探索建立认知。

SpatialScout 具体怎么运转?

想知道它价值在哪,先得看它让模型做什么。整个评测被设计成一个闭环的交互任务。

智能体(也就是被测模型)先被放进由物理引擎渲染的室内场景。基准目前收了 80 个不同的室内场景,客厅、卧室、办公室等布局都有,涉及的目标物体共 3,140 个。模型起手只能看到当前视角的 RGB 图像,知道相机的内参和位姿,外加一份要找的物体清单,比如“找到红色的马克杯”“找到蓝色的书”。

接着进入核心的主动探索环节。模型手上有两样工具。一样是控制摄像头,执行平移(Pan)、倾斜(Tilt)等动作换视角、拍新图;另一样是三角测量工具,模型在不同视角的图像里认出同一个物体的对应像素点后,可以调它算出这些点在三维空间中的具体坐标。

这里有条硬限制:每个任务最多 100 次模型调用、100 张图像。模型没法漫无目的地乱拍,路径和视角都得高效规划。哪些视觉特征属于同一个物体,哪些视角能给出有效的几何信息,局部观察又怎么并进全局地图,全要它自己判断。

探索途中,模型分批提交它认为找到的物体中心坐标,这些坐标都基于初始相机定义的固定坐标系。评测器中途不透露对错,要等任务结束或预算用光才见分晓。

评分放在最后。SpatialScout 用了双重机制,既看找得准不准,也看找全没找全。

定位精度用的是尺度相关的三维 IoU(交并比)。模型不用预测物体大小(长宽高),只交中心坐标就行。评测器把该物体标准的参考包围盒平移到模型预测的中心位置,再算它和真实包围盒的三维 IoU。尺寸估计带来的噪声就这样被绕开了,考察点落在模型对物体位置的感知上。

覆盖率方面,凡是没提交的物体一律记零分。最终的全目标平均 IoU 把这两方面合在一起看。模型要是只挑容易发现的找、其余不管,平均分高不了。另外,同类可互换的物体(比如两把一样的椅子)采用组内一一匹配,模型想靠猜编号顺序作弊行不通。

现有基准为什么不够用?

SpatialScout 出来之前,空间智能的评测大多停在静态场景理解上。VSI-Bench 就是例子,它给了大量真实场景的第一视角视频和全景图像,让模型回答方向、距离、计数之类的问题。

这种模式有两处明显短板。一是被动,模型决定不了看哪里,信息都打包好喂到嘴边。现实里这行不通,机器人或 AR 设备常常得从零开始搭建对环境的理解。二是输出形式受限,文字答案或选项反映不出模型对三维几何结构的深层理解。模型可能蒙对了“杯子在桌子左边”,但它并不知道杯子在空间里的具体坐标,也就没法据此规划抓取路径。

对比之下,SpatialScout 的长处在于交互性,过程也能拿来分析。

模型完整的观察轨迹、工具调用记录、位置更新历史都保留着,研究人员可以顺着往下查失败原因。是视角选错导致看不清物体?是跨视角的特征对应出了错,三角测量因此失效?还是几何残差虽小,物体压根就找错了?

研究发现,几何残差小不等于找对了物体中心。不少时候,模型在错误的特征点上做了精确的三角测量,结果照样偏。这类细粒度归因对改进具身智能算法很关键,传统静态基准做不到。

还有一点,SpatialScout 的统一评测协议保证了公平。所有模型用同一套工具接口、提示词模板和交互预算,提示工程技巧不同带来的性能差异被抹掉了,研究者比较不同模型架构的空间推理能力时,能看得更纯粹。

技术细节:防作弊与公平性怎么保证

设计评测基准时,防模型“走捷径”是绕不开的一环。SpatialScout 在好几个层面布了防作弊机制。

编号就是一例。三维场景里同类物体(比如好几把相同的椅子)往往不好区分。若简单按列表顺序把预测坐标和真实坐标配对,模型可能靠记忆训练数据里的物体分布规律猜位置,而不是真去“看”。为此 SpatialScout 引入了组内一一匹配算法:同一类别有多个实例时,评测器在预测集和真实集之间找最优匹配组合,编号顺序对评分的影响就此消除。

尺寸预测也会带来干扰。模型若同时预测位置与尺寸,任务复杂度会上升,尺寸上的误差还常常盖过位置误差。SpatialScout 的做法是固定包围盒尺寸,只评估中心坐标,把考察重点收回到空间定位本身。评分因此更稳定,也更贴近导航到物体附近这类下游任务的实际需要。

覆盖率同样需要约束。只评估已提交物体的精度,模型就可能趋于保守,专挑置信度极高、容易发现的物体上报,其余目标一概不管。SpatialScout 把未提交的物体计为零分并计入平均分,促使模型做更全面的探索,精度与召回率由此得到平衡。

几何真值则全部留在评测端,包括物体真实中心与包围盒尺寸,模型无法获取。模型只能凭视觉观测和工具调用去推断,评测的真实性得以保证。

应用场景:从实验室走向现实

SpatialScout 是评测基准,但它指向的落地场景相当多,与具身智能、空间计算技术的落地直接相关。最直接的受益方是具身智能机器人。家用服务机器人要听懂“去厨房拿桌上的苹果”,光认出苹果不够,还得知道它在三维空间里的确切位置,才能规划机械臂的运动轨迹。SpatialScout 所验证的主动探索与建图能力,正是完成这件事的核心。

AR/VR 方向上,空间感知的精度决定了虚拟内容与现实世界融合的逼真程度。AR 眼镜对周围物体三维位置的估计越准,虚拟物体锚定在真实表面上就越稳,遮挡关系也更自然。开发者可以借助 SpatialScout 的评测结果优化底层的空间感知算法。

智能家居是另一个潜在方向。未来的扫地机器人或陪伴机器人若能建出高精度的室内物体地图,服务就能更个性化。用户说“帮我找一下沙发下的遥控器”,机器人得自主移动摄像头,扫描沙发底部,再用三角测量确定遥控器的位置。

仓储物流行业也有类似需求,移动机器人自主巡检货架、清点库存的场景越来越多。SpatialScout 验证过的主动感知式建图算法,能为快速生成仓库数字孪生体提供技术支撑,库存管理的自动化水平也随之提高。

结语

空间智能是人工智能通向物理世界的关键一步。SpatialScout 把学界对这项能力的评估,从静态、被动推向了动态、主动。它关心的不再只是模型“知道”什么,而是模型如何“发现”什么。

研究者拿到的是一个标准化的试验场,可以用来厘清当前视觉语言模型在空间推理上的短板;产业界则从中看到具身智能算法性能提升的方向。接入这一基准的模型越多,越有可能出现更聪明、空间意识更强的 AI 助手。

SpatialScout 的代码目前已在 GitHub 开源,技术论文也已在 arXiv 发布。做计算机视觉、机器人学习和大模型研究的人,可以深入看看这个项目。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  2. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  3. 华为云开源具身世界模型:覆盖八成具身企业,做机器人底层基建

    11月16日,华为云在线上发布并全面开源昇腾原生具身世界模型CloudRobo-WM1.2。该模型依托共享的世界模型骨干网络,增强了对环境的预测能力,并基于原生DualAct架构,实现了世界模型原生动作生成。同时,华为云宣布与福龙马集团联合研制的智能清扫机器人启动预售。据发布会介绍,该款CloudRobo-WM1.2模

    来源 腾讯网
  4. 香港科技大学:AI游戏为何按一下慢半拍、再按又猛冲?

    想象你在玩一个AI生成的游戏,你按下"向前走",可是屏幕上的角色却像踩在果冻上一样,慢吞吞地挪了半步。你再按一次,这次它又冲出去老远。你心里犯嘀咕:这游戏是不是卡了?其实它没卡。这是一个更深层的问题:生成这个世界的AI模型,根本不知道"一秒钟"到底该往前走多远。这篇来自香港科技大学团队的论文,把这个问题起了个...

    来源 腾讯网
  5. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  6. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  7. 6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存

    Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣

    来源 AI 应用前沿
  8. 华为云:80%中国具身智能企业选了昇腾云,具身智能市场排中国第一

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云方面透露,华为昇腾云在具身智能市场格局中排行中国第一,已有 80% 的中国具身智能企业选择昇腾云,重点高校基本实现全覆盖。 2025 年 6 月,华为云发布 CloudRobo 具身智能平台。华为常务董事、华为云计算 BU

    来源 AI 行业观察
  9. 华为云开源昇腾原生具身世界模型CloudRobo-WM1.2,亮出三张牌

    2026年,具身世界模型成了人工智能行业最拥挤的赛道之一。海外,谷歌、英伟达接连加码;国内,智元、星海图、智源、腾讯、阿里相继下场。各家路线略有差异,但共识已经形成:让机器人先理解世界,再做动作决策。有行业媒体梳理显示,国内公开的世界模型已有59个,全球公开入场的公司达55家。11月16日,华为云“行业AI梦工厂...

    来源 腾讯网
  10. 华为云将发布首款昇腾原生具身世界模型 CloudRoboWM1.2

    华为云将于11月16日14:00-15:30举办线上发布会,正式发布首款昇腾原生具身世界模型 CloudRoboWM1.2,旨在推动具身智能从实验室研发走向千行百业规模化落地。 根据已披露议程,该模型将由华为云具身产品线总裁、具身智能 Lab 主任吴小东正式发布。随后,华为云具身智能 Lab 首席模

    来源 AI 开发者社区
  11. Qwen4-Max发布背后:AI数据这门矿生意,谁能挖到最后?

    今天,阿里发布了 Qwen4-Max。发布材料所展示的,除了回答问题、生成文字,还有制作金融投研底稿、整理法律尽调材料、规划汽车产线。团队同时公布了Work360行业基准,评估模型完成复杂专业任务的能力。 这些演示仍需在真实场景中检验,但它们提出了一个共同问题:要让AI交付专业成果,该拿什么教它,又该如何判断它做得对不

    来源 AI 行业观察
  12. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
  13. 华为公布最新数据:80%中国具身智能企业选择昇腾云

    11月16日华为云CloudRobo具身世界模型发布会上,华为云披露80%的中国具身智能企业选择昇腾云,重点高校基本实现覆盖,并称昇腾云在中国具身智能云市场排名第一。CloudRobo平台已汇聚超1.65万名开发者、230多家企业和高校,累计沉淀超1500项行业资产。

    来源 凤凰科技
  14. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  15. de Souza 谈 AI 代读:知识判断的责任该由谁承担

    研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论

    来源 AI 行业观察
  16. VLM记忆机制综述出炉:八机构联合提出4D分类框架

    来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

    来源 腾讯网
  17. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
向下滚动自动加载更多