机器人找沙发有多难：浙大SuperNav让通用AI调用导航工具

让机器人去客厅里找一张沙发，这件事到底难在哪儿？不少人可能没细想过。

乍一听像是小菜一碟：机器人有摄像头，看得懂画面，走到沙发前停下来就完了。真把“找沙发”这句话丢给它，接下来却是一连串没有标准答案的判断——这个房间搜过没有？那个长得像沙发的东西，是沙发还是扶手椅？门被挡住了，要不要绕路？任务要是换成“找个能休息的地方”，它还得先猜你说的“休息”指什么。

浙江大学等机构的论文提出了一个叫SuperNav的导航系统，想把这件看着简单、做起来复杂的事弄明白。它的核心思路有点反直觉：不专门训练一个更懂导航的AI模型，而是让一个本来就很聪明的通用AI学会使用导航工具。

论文作者让人意识到，导航问题的关键也许压根不在导航本身，而在由谁来做决策。

这个思路的转变，得从行业现状讲起。

两条老路，为什么都走不通

先看第一条路：模块化零样本导航系统。

这类系统的做法是搭一套固定工作流程——用视觉语言模型给当前画面打个“和目标相关不相关”的分，再按这个分数决定往哪探索。VLFM、L3MVN、SG-Nav这些方法都属于这个思路，近两年陆续迭代。

问题出在哪？

> 视觉语言模型（VLM）：一种既能看图又能理解语言的AI模型，常用来判断图像和文字描述是否匹配。

这套打分机制挺聪明，能根据新看到的画面调整探索方向。可任务需求一变，整套工作流程往往就得跟着改。找一个物体类别和找一个特定实例，是两种完全不同的判断逻辑：前者只要大致像就行，后者得认准具体是哪一件。任务要是变成按顺序访问多个目标，又得加一套进度追踪机制。任务要是变成满足一个抽象需求，比如“找个地方休息”，连目标是什么都得现推理。工作流程是针对某一类任务设计的，换个任务就得重新设计。

这就好比给一个新来的服务员定了一套固定服务流程：先问桌号，再上菜单，再问要不要加水。服务普通顾客很顺畅。可要是来了个带小孩的顾客需要儿童椅，或者来了个只想打包带走的顾客，这套流程就卡壳了，因为流程压根没考虑过这些分支。你要么不断给流程打补丁，要么干脆重新设计一套。不做任何调整、硬套原流程，顾客多半会觉得这服务员死板，体验很差。

第二条路是端到端导航模型：直接在一堆“导航指令配轨迹”的数据上微调视觉语言模型，让它从图像和语言直接预测下一步往哪走。NaVid、UniNaVid这些模型走的就是这条路。

> 微调（Fine-tuning）：在一个已经训练好的大模型基础上，用特定领域的数据继续训练，让模型更适应某个具体任务。

问题其实出在更底层的地方。模型抓住的是观察、指令与导航动作之间的一种对应关系。在训练时见过的环境里，这种对应关系管用；可要是换到没见过的场景、碰上没遇到过的指令，它还能不能站得住，没人能打包票。论文中的跨环境测试很能说明这一点：UniNaVid在单目标导航任务上的成功率仅为34%，StreamVLN更低，只有13.33%。也就是说，这些模型在训练数据覆盖的范围内表现尚可，可一旦离开训练环境，成绩就掉得厉害。

打个比方，一个司机只在自己老家开过车，突然被放到一座陌生城市。他的驾驶技术本身没退步，方向盘怎么打、油门怎么踩照样没问题，可他对这座城市的道路布局毫无感觉。碰上没见过的路口形状，他反应和判断的速度都会明显变慢。训练数据没覆盖到的场景一多，这样的司机在新城市里走错路、出岔子的可能性就会骤然上升。

两条路都堵在同一个点上：任务一变，流程就得重新设计；场景一换，判断力就跟着丢失。SuperNav要处理的，恰恰是“任务通用性”与“场景通用性”难以两全这个老毛病。

SuperNav的答案：让AI做决策，把跑腿的活交出去

SuperNav的思路并不复杂：它不单独训一个导航专用的大脑，而是拿一个本身就很能打的通用多模态大语言模型（简称MLLM），再给它配上整套专用的“外挂装备”。

> 多模态大语言模型（MLLM）：一种既能读懂文字又能看懂图像的大型AI模型，比如GPT系列的视觉版本，本身有通用的推理与理解能力，只是并非为导航而训练。

这套外挂装备论文里叫“agent harness”，可以理解成一整套协作机制。它包含三块东西：导航技能包（Navigation Skills），面向智能体的工具（agent-oriented Tools），以及任务进度和上下文管理机制。

这个设计巧妙在分工。AI大脑负责理解请求、看懂场景、做判断这些“动脑子”的活，比如这个东西到底是不是沙发、这条路走不走得通、任务算不算完成了。至于“怎么走过去”这种具体执行动作，交给专门的导航工具去做。

这有点像总经理和专业司机之间的分工。去哪个城市谈生意、挑哪家餐厅招待客户、行程什么时候收尾，这些需要综合权衡的事由总经理来定。方向盘、油门、刹车这些具体动作则交给司机。要是让总经理亲自开车，他得一边分神应付路况，一边做判断，处理执行细节会拖累他的判断力。反过来让司机决定去哪儿谈生意，他又缺少那种统揽全局的经验。两者分开、各管一摊，系统才既能灵活应对新情况，又能把动作稳稳执行下来。不这么分工，非要训一个既精于判断又擅于执行的全能模型，往往两头都做不到位——端到端方法碰上的正是这个难题。

###

SuperNav里的“Navigation Skills”是什么东西？

这些技能本质上是一份份Markdown格式的说明文档，里面写的是“碰到什么情况该怎么做”的经验。论文把技能分成四类：搜索（Search）、候选复核（Recheck）、恢复（Recover）、完成判定（Complete）。

> Markdown是一种轻量级文本格式，常用来写结构化的说明文档，标题、列表、链接这些格式都能用简单符号表示。

技能包不是写死在程序里的逻辑，而是AI需要时自己去翻的参考资料。搜索技能会提醒AI记下已经探索过的区域、看到的开口、还不确定的岔路，方便之后回去查看；恢复技能会建议，某条路走不通就换个落脚点或者换条路线，候选目标看不清就先退后一步重新观察；完成判定技能则提醒AI核对候选物体的外观、与任务要求的关系、周围环境，确认无误后再记录完成，接着处理剩下的任务。论文开头那张配图讲得挺形象：机器人要找沙发，先检查了几把扶手椅发现不对，又搜了个主卧室发现只有床，撞上一扇被挡住的门，退回走廊换路，最后才确认找到了真正的沙发。整个过程里，AI不是靠一套死板流程推着走，而是每一步都在读技能文档、看反馈、重新判断。

实验数据能看出技能包到底有多重要。论文做了对比实验，去掉这些技能包、只保留基础工具使用后，成功率从73.33%直接掉到54.17%（1米阈值下）；在更严格的0.25米阈值下，更是从68.33%跌到35.00%，几乎腰斩。可见技能包提供的不是锦上添花的小优化，而是实打实的决策支撑。

###

SuperNav另一个关键设计，是它把AI的决策和机器人的实际移动连接起来的方式，论文称之为“统一视觉指点接口”（unified visual-point interface）。

具体怎么做？机器人每次观察环境会拿到四张照片，分别对应前、右、后、左四个方向。AI要选目的地，不用输出复杂坐标或指令，只需在某张图片上指一个点，用归一化的坐标（u, v）表示这个点在图片里的位置。工具会自动把这个点转成实际的移动动作，执行完再把新的四视角照片和执行状态反馈回去。

> 归一化坐标：图片的宽和高都按0到1的区间来算，于是无论一张图实际是多少像素，某个位置都能写成0到1之间的小数，不同分辨率的图片处理起来也就有了统一口径。

这套设计真正巧妙的一点，是把“定目的地”和“怎么走过去”分成了两件事。论文给出了两种执行后端：Geo-based Executor 借助深度信息、相机参数和导航网格做几何层面的精确规划；Learned Executor 则是一个学出来的运动策略模型，不靠精确的几何测量，直接看图判断往哪挪。

打个比方，叫网约车时你只需在地图上点个目的地，司机是照导航规划的路线走，还是凭经验抄近道，你不用操心。乘客要什么，和司机怎么开，是解耦的。少了这层解耦，每回打车都得跟司机交代“向前开50米，左转30度，再开200米”，麻烦不说，换个人这套指令未必执行得了。统一接口的意义就在这里：后端用哪种执行机制都行，AI只管专心选点。

实验结果证明这套设计确实管用。在单目标导航任务上，SuperNav配合Geo-based Executor拿到78%的成功率，而表现最好的基线方法UniNaVid只有34%，差距超过一倍。

###

任务一跑久，AI就容易“失忆”。走出十几步后，哪里探过、哪些目标已找到、哪些还没找到，这些信息管不好，AI就会重复劳动，甚至原地打转。SuperNav为此专门做了任务进度记录和上下文管理：维护一份目标清单，标明哪些任务已完成、哪些还待完成，同时以文字形式留下探过的区域、发现的线索、失败的尝试等历史信息。

可现实问题是，每一步都把全部历史图片原样传给AI，上下文会越积越大，处理又慢又贵。SuperNav的做法是：某张图片一旦处理过、被更新的观察取代，就把图片本身从后续请求里拿掉，但它对应的文字记录和图片路径仍然保留，AI需要时还能从工作区调出来看。

这有点像随行秘书帮你记每天的会议。秘书不会把每场会议的录像都存着反复放给你看，那样效率太低，电脑内存很快就爆了。他会写会议纪要，记下关键结论和待办事项，原始录像存档备查，真要核对细节再调出来。没有这种取舍，系统要么丢信息乱了阵脚，要么负担太重拖慢反应。

换了四个场景，SuperNav都站住了脚。光说设计思路还不够，这套系统到底好不好使，得看实测数据。

论文在四种不同场景下做了测试：单目标导航、多目标有序导航、需求驱动导航，以及类别级导航。

| 任务类型 | SuperNav（Geo-based）成功率 | 最强基线成功率 ||---|---|---|| 单目标导航 | **78.00%** | 34.00%（UniNaVid） || 多目标导航 | **34.00%** | 4.00%（OmniNav） || 需求驱动导航 | **59.50%** | 37.50%（OmniNav） |

需求驱动导航这项测试挺有意思，它考的不是“找到一个指定物体”，而是“满足一个抽象需求”。论文里举的例子是，用户说“我马上要开始工作了，需要一个干净可用的空间”，AI得自己推理出要找一张桌子当工作台，识别出桌上有个花瓶需要挪走，再找个合适的地方比如架子把花瓶放好。这已经超出简单的目标检索，需要连续的常识推理。SuperNav在这项任务上的成功率接近基线方法的1.6倍。

类别级导航测试中，SuperNav在HM3D-OVON数据集上拿到73.33%的成功率，而且没有针对这个数据集做任何专门训练或适应。这点挺关键，说明它的通用性不是靠“刷题”刷出来的。

论文还做了一项真实世界测试，把系统部署到一个Unitree Go2四足机器人上。机器人靠四个方向的摄像头和激光雷达执行导航，能在真实办公室环境里完成找篮球、找另一台机器人、依次访问打印机和垃圾桶这些任务，遇到死路时还能自己调整路线。这套方法不只是在模拟器里好看，搬到真实世界也站得住。

换个大脑试试：这套外挂装备挑不挑AI模型

研究者还做了一个挺有说服力的实验，把驱动决策的AI模型从GPT-5.6 Terra换成GPT-6 Astra（中等推理强度），其他一切保持不变。结果换了模型之后，成功率和路径效率反而都提升了，在0.25米阈值下成功率从68.33%升到71.67%。

这个结果说明什么？

SuperNav这套外加的装备，跟底下接的是哪个AI大脑，关系其实不大。换一个本事更强的模型，整套系统的成绩也会随之往上走。论文最初的设计思路也正是这样：与其花力气单独训一个只负责导航的大脑，不如把通用大脑的本事用足。往后大模型自己越练越强，这套系统不用重新训练就能一块儿升级。

写在后面

读这篇论文最让我愣了一下的地方，是作者对“失败”的态度。

论文里专门提了一句：任务终止工具记下的“完成”或者“受阻”，只是AI自己的判断，不等于任务真办成了。成没成，还得靠另一套独立的评分规则去核对。这个细节挺说明问题：AI嘴上说“我搞定了”，跟它实际有没有搞定，中间总隔着一道缝。SuperNav没装看不见，而是把判断和评判分开摆着处理。这种坦白不多见，不少系统更愿意把这点不确定糊过去。

还有个地方值得多看两眼。论文的消融实验里，拿掉技能包对成功率的拖累，比把摄像头视角从四个减到一个还严重。也就是说，在导航这件事上，“懂怎么判断”恐怕比“看得更多”更管用。这跟日常直觉有点拧着——大家总以为信息越多越好，可要是没有一套合适的判断框架去消化，信息再多也发挥不出多少价值。

论文留下的开放问题也很实在。作者自己就承认，需求驱动导航的评测眼下只看了AI有没有走到相关目标附近，用户的需求到底满没满足，并没有真正验证。打个比方，“工作区清理好了”这件事，机器人站到桌子边上，不等于桌子真被收拾干净了。这段落差，或许就是接下来最该追的方向。

如果你让一个机器人去帮你收拾房间，它走到了乱糟糟的桌子前面，拍了张照片，然后告诉你“任务完成”，你会相信吗？

Q&A

Q1：SuperNav是什么？

A：SuperNav是浙江大学等机构提出的一套智能体导航框架。它给预训练的多模态大语言模型配上专用的导航工具、技能包和上下文管理机制，让AI只管做判断，具体怎么移动交给导航工具去执行，大模型不用做导航方面的专门微调。

Q2：SuperNav和之前的导航方法比，优势在哪？

A：以往的做法，要么靠一套固定流程，任务一换就得重新设计；要么直接微调大模型去预测动作，一到没见过的环境，表现就掉得厉害。SuperNav的思路是让AI保住通用理解和推理的能力，单目标导航成功率达到78%，基线方法UniNaVid只有34%，差距明显；陌生场景、多样任务下它也都稳得住。

Q3：SuperNav能在真实机器人上用吗？

A：可以。论文在Unitree Go2四足机器人上做了真实环境部署测试。机器人用四方向摄像头加激光雷达来导航，找物体、按顺序访问多个目标这些任务都能完成；路被挡住的时候，它还会自己改道、重新规划路线。