NavGPT-3给机器人装上双系统:语言模型慢想,动作模型快跑
你有没有想过,为什么那些能写代码、能做数学证明、能跟你聊哲学的大语言模型,装到机器人身上之后却常常显得笨手笨脚?这不是算力不够的问题。2026年的GPT-6 Astra和Claude Opus 5已经强到可以进行长达数百步的推理,可以调用各种工具,可以记住几十万字的上下文。但当你让它们控制一个真实的机器人穿过房间、绕过
能写代码、能做数学证明、还能跟你聊哲学的模型已经不少。可一旦让它们去开一台真实的机器人,穿过房间、绕过桌子、走到指定位置,麻烦就来了。
这不是算力不够。2026年的
GPT-6 Astra和Claude Opus 5已经能连续推理数百步,会调用各种工具,上下文能记住几十万字。问题是这个世界不会等它想清楚。
打个比方,你正过马路,一辆车突然冲过来。脑子里负责"深思熟虑"的那部分还在算车速、角度、相对位置,身体已经本能地跳开了。非要等分析完再动,人可能已经出事。
机器人同理。语言模型想得深,但想得慢,做一次决策可能要3到19秒。突然出现的玻璃门、临时要绕开的障碍物,根本等不了这么久。
他们给出的答案叫NavGPT-3。
两种能力被拆开了
有个概念得先讲明白。
规划器(Planner)
动作策略(VLA,Vision-Language-Action model)
以前的做法,总想让一个模型又聪明反应又快。这等于让同一个人既当CEO又站流水线,两头都干不好。
论文里有一组数据很能说明分工的价值:没有动作策略介入时,系统反应速度全看语言模型的思考节奏,平均3到19秒才做一次决策;让动作策略接管具体执行后,整个系统的反应速度提到每0.5到1秒一次,相当于1到2赫兹的控制频率。
这就像一家餐厅,老板负责想今天做什么菜、给谁上菜、什么时候打烊,炒菜颠勺交给厨师。老板要是从买菜到颠勺全自己上,客人可能等到天黑都吃不上饭;反过来让厨师决定整个餐厅的经营策略,这家店大概率也开不长久。
不过有个细节值得玩味:论文发现动作策略到底有没有用,取决于语言模型本身有多强。
Claude Opus 5引入动作策略后,每集对话轮次从16.75次降到8.5到11.19次,成功率从73%升到76%到81%,成本从0.99美元降到0.35到0.4美元,全面受益。
但GPT-6 Astra的情况有点反常:轮次确实从10.71降到了3.37,成功率却从83%掉到75%,成本没怎么变。
为什么会这样?研究者的解释是,Astra本身已经足够强,强到能把环境读得很准,动作策略带来的执行效率提升,被用来监督和纠正动作策略执行中的偏差所抵消了。换句话说,一个已经很聪明的大脑,反而要花更多精力去"管教"手脚,上限被自己的能力框住了。
光把两个模型拼在一起还不够。现实世界里,"思考"、"执行"、"监控"这三件事得同时进行,不能排队等候。
运行时(Runtime)
这个设计很像电脑里的多任务系统:后台下载文件,前台打字写文档,突然来了个紧急来电提醒,提醒会立刻弹出来打断你,而不是排在下载任务后面慢慢等。
论文里专门提出了一个概念叫
举个论文里的真实例子。机器人正在执行一段长距离导航,动作策略持有移动权限,后台的监控线程审查进度,发现路线有问题,提出中断请求。系统会等动作策略完成当前这一步动作,再把权限转交给修复工具,原来的主线程暂停,修复完成后权限交还给动作策略继续执行。
“等当前动作做完再切换”这条很关键。不这么干会出什么事?设想你正倒车入库,手机忽然弹来一条短信,提醒你该左转了;要是车当场照新指令执行,方向盘当时打到什么角度都不管,旁边那辆车很可能就被撞上。运行时的做法,就是让每次权限转移都“干净”,不留下做到一半的动作去添乱。
遇到真正紧急的状况,比如激光雷达扫到障碍物,运行时的处理完全是另一套:不等任何动作收尾,权限马上收回,这就是所谓的协议优先级更高。论文里的真实机器人实验(用的是
1840毫秒有多久?大约够你眨两下眼。180毫秒,差不多就是警报响起、你本能做出反应的那段间隔。放到现实里,这个差距可能就决定了机器人撞不撞得上人。
视觉信息该怎么分配
动作策略每走一步都要先“看”清楚四周。可机器人身上的摄像头一直在出画面,过去拍到的每一帧都喂给模型,计算量根本扛不住。
研究团队的办法是从视频压缩那边借来的。
编解码分配(codec allocation)
换个日常场景就好懂了。回想自己走过的一段路,脑子里并不会把每一秒的画面都存得一样清楚。走廊笔直又空荡,连着五秒几乎没变化,这段就被略过去了;拐过弯突然看见一扇门,或者对面有人走过来,那一瞬反而记得格外牢。
论文举了个具体例子:第16步时,前方、右侧、后方、左侧四个视角分到的token依次是80、48、24、35。前方视角变化最大——正好经过一个新场景——注意力资源拿得最多;后方视角变化最小,只给了24个。
要是省掉这套动态分配会怎样?论文的对照实验直接给了答案。在8B模型上,这种编解码分配让
说白了,这跟带新来的实习生一个道理。你定死“每项工作永远按固定比例分配精力”,碰上突发急活他准手忙脚乱;换成“哪里变化大就盯哪里”,应变能力自然就上来了。
通才模型,靠海量数据喂出来
这套动作策略在论文里叫NavGPT VLA,训练数据量相当吓人:每个训练周期约有1928万条有效样本,背后是一套仔细搭起来的数据配比。
训练数据被切成四个维度:能力、载体、场景条件、视觉语言理解。能力从易到难排下来,是指令跟随、按目标物体主动探索、追踪会动的目标,最后到跨平台的室外驾驶。载体这边覆盖四视角全景摄像头、单前置摄像头,还有不同机器人平台的摄像头配置。场景条件则专门补语言表达的多样性、少见的离轨状态,以及动作类型的均衡。
有一处处理很见巧思。原始的
好比教小孩写字。只给他看写得对的字帖,他永远不知道怎么把写歪的笔画拉回来;可要是在每个歪笔画旁边都标一句“该往哪边收”,孩子反倒学会了自我纠正。这种“错了怎么改”的数据,常常比“从不犯错的范本”更顶用。
规模效应在论文里摆得很直白。训练数据从170万条扩到完整的1928万条,
数据量涨上去带来的提升,甚至压过了模型参数翻倍的收益。论文里有个很直观的比较:用跨平台数据训出来的4B模型(69.2% SR),成绩超过了只拿导航数据训的8B模型(65.3% SR)。在这个任务上,让模型见识足够杂、足够多的经历,确实比一味加参数更有效。
成绩单:导航能力追平人类
说到底,设计成不成,最后还得看分数。
在
而在
更亮眼的是耗时:NAVGPT-3平均每集只要1分22秒,人却要花大约3分钟。
这是个历史性的节点。头一回有自主智能体在连续环境(不是简化过的离散路网图)导航任务上,成功率和路径准确度两项同时跟人类打平。要知道,此前的方法大多还卡在六七十的成功率区间,这一步跨得不小。
论文还做了一个挺有意思的拆分实验,专门看“检查频率”怎么影响结果。规划器隔多久查一次动作策略的执行进度:完全不查,就只能等动作策略自己停下才能插手;每32步查一次,成功率从77%微升到78%,token消耗却从17.9万冲到153万;每16步查一次,成功率到83%,token消耗直接飙到232万。
结论指向一件事:监督越勤,结果确实越好,可计算成本是指数级往上翻的。这跟公司管理层有点像——事事都往上汇报请示,决策也许更稳,但沟通和时间成本指数级膨胀,到头来整体效率反而被拖慢。NavGPT-3换了个更聪明的法子:规划器只在关键节点出手,其余时间放手让执行层自己跑。
论文还列了几个真实的失败恢复案例。比如在一次
写在后面
读完这篇论文,让我印象最深的不是那些刷新纪录的成功率,而是关于GPT-6 Astra和Claude
Opus 5表现差异的那个发现。
语言模型更聪明,接上动作策略之后成绩反倒掉了。这跟我原先“模块越强、组合越好”的直觉正好相反。事实可能就是这样:某个组件本身已经够胜任这份活,再给它配个执行层,反而要多花精力去监督和纠正,把整体表现拖下水。系统设计不是简单叠加,强强凑一块有时会互相拆台。
另一个让我反复琢磨的细节,是“等动作做完再切换权限”这个设计。看着不起眼的工程处理,解决的却是个极根本的问题:多个智能体同时在场,怎么防止“半成品决策”彼此打架、搅成一团乱。这套思路也许能搬到别的多主体协同系统里去,不限于机器人。
论文并没有把所有问题都解决。例如“检查越频繁效果越好、成本却随之飙升”这个矛盾,论文给出的方向是改用“事件触发式”监督,不再按固定周期巡检,但只提了思路,完整实现和验证都还没有。这大概要留到下一篇论文去处理。
Q&A
NavGPT-3是什么?按论文的说法,它是一套把语言模型与动作模型分开设计的导航方案。
它的导航效果如何?关键就在这种分工上:语言模型推理能力强,可反应慢,每次决策要3到19秒,真实环境的变化不会停下来等它;动作模型反应快,却不够聪明。
A:在
两者拆开之后,系统反应速度提升到0.5到1秒一次,智能和速度都兼顾到了。