NavGPT-3给机器人装上双系统:语言模型慢想,动作模型快跑

资讯 腾讯网 作者:腾讯网 全文 3955 字 · 约 10 分钟读完 配图 3 张 分类ClaudeOpusGPTGPT-6AnthropicOpenAI

你有没有想过,为什么那些能写代码、能做数学证明、能跟你聊哲学的大语言模型,装到机器人身上之后却常常显得笨手笨脚?这不是算力不够的问题。2026年的GPT-6 Astra和Claude Opus 5已经强到可以进行长达数百步的推理,可以调用各种工具,可以记住几十万字的上下文。但当你让它们控制一个真实的机器人穿过房间、绕过

所属频道 大厂动态ChatGPT 与 GPTClaude 与 Anthropic

能写代码、能做数学证明、还能跟你聊哲学的模型已经不少。可一旦让它们去开一台真实的机器人,穿过房间、绕过桌子、走到指定位置,麻烦就来了。

这不是算力不够。2026年的GPT-6 Astra和Claude Opus 5已经能连续推理数百步,会调用各种工具,上下文能记住几十万字。问题是这个世界不会等它想清楚。

打个比方,你正过马路,一辆车突然冲过来。脑子里负责"深思熟虑"的那部分还在算车速、角度、相对位置,身体已经本能地跳开了。非要等分析完再动,人可能已经出事。

机器人同理。语言模型想得深,但想得慢,做一次决策可能要3到19秒。突然出现的玻璃门、临时要绕开的障碍物,根本等不了这么久。

他们给出的答案叫NavGPT-3。

两种能力被拆开了

有个概念得先讲明白。

规划器(Planner)

动作策略(VLA,Vision-Language-Action model)

以前的做法,总想让一个模型又聪明反应又快。这等于让同一个人既当CEO又站流水线,两头都干不好。

论文里有一组数据很能说明分工的价值:没有动作策略介入时,系统反应速度全看语言模型的思考节奏,平均3到19秒才做一次决策;让动作策略接管具体执行后,整个系统的反应速度提到每0.5到1秒一次,相当于1到2赫兹的控制频率。

这就像一家餐厅,老板负责想今天做什么菜、给谁上菜、什么时候打烊,炒菜颠勺交给厨师。老板要是从买菜到颠勺全自己上,客人可能等到天黑都吃不上饭;反过来让厨师决定整个餐厅的经营策略,这家店大概率也开不长久。

不过有个细节值得玩味:论文发现动作策略到底有没有用,取决于语言模型本身有多强。Claude Opus 5引入动作策略后,每集对话轮次从16.75次降到8.5到11.19次,成功率从73%升到76%到81%,成本从0.99美元降到0.35到0.4美元,全面受益。

但GPT-6 Astra的情况有点反常:轮次确实从10.71降到了3.37,成功率却从83%掉到75%,成本没怎么变。

为什么会这样?研究者的解释是,Astra本身已经足够强,强到能把环境读得很准,动作策略带来的执行效率提升,被用来监督和纠正动作策略执行中的偏差所抵消了。换句话说,一个已经很聪明的大脑,反而要花更多精力去"管教"手脚,上限被自己的能力框住了。

光把两个模型拼在一起还不够。现实世界里,"思考"、"执行"、"监控"这三件事得同时进行,不能排队等候。

运行时(Runtime)

这个设计很像电脑里的多任务系统:后台下载文件,前台打字写文档,突然来了个紧急来电提醒,提醒会立刻弹出来打断你,而不是排在下载任务后面慢慢等。

论文里专门提出了一个概念叫

举个论文里的真实例子。机器人正在执行一段长距离导航,动作策略持有移动权限,后台的监控线程审查进度,发现路线有问题,提出中断请求。系统会等动作策略完成当前这一步动作,再把权限转交给修复工具,原来的主线程暂停,修复完成后权限交还给动作策略继续执行。

“等当前动作做完再切换”这条很关键。不这么干会出什么事?设想你正倒车入库,手机忽然弹来一条短信,提醒你该左转了;要是车当场照新指令执行,方向盘当时打到什么角度都不管,旁边那辆车很可能就被撞上。运行时的做法,就是让每次权限转移都“干净”,不留下做到一半的动作去添乱。

遇到真正紧急的状况,比如激光雷达扫到障碍物,运行时的处理完全是另一套:不等任何动作收尾,权限马上收回,这就是所谓的协议优先级更高。论文里的真实机器人实验(用的是

1840毫秒有多久?大约够你眨两下眼。180毫秒,差不多就是警报响起、你本能做出反应的那段间隔。放到现实里,这个差距可能就决定了机器人撞不撞得上人。

视觉信息该怎么分配

动作策略每走一步都要先“看”清楚四周。可机器人身上的摄像头一直在出画面,过去拍到的每一帧都喂给模型,计算量根本扛不住。

研究团队的办法是从视频压缩那边借来的。

编解码分配(codec allocation)

换个日常场景就好懂了。回想自己走过的一段路,脑子里并不会把每一秒的画面都存得一样清楚。走廊笔直又空荡,连着五秒几乎没变化,这段就被略过去了;拐过弯突然看见一扇门,或者对面有人走过来,那一瞬反而记得格外牢。

论文举了个具体例子:第16步时,前方、右侧、后方、左侧四个视角分到的token依次是80、48、24、35。前方视角变化最大——正好经过一个新场景——注意力资源拿得最多;后方视角变化最小,只给了24个。

要是省掉这套动态分配会怎样?论文的对照实验直接给了答案。在8B模型上,这种编解码分配让

说白了,这跟带新来的实习生一个道理。你定死“每项工作永远按固定比例分配精力”,碰上突发急活他准手忙脚乱;换成“哪里变化大就盯哪里”,应变能力自然就上来了。

通才模型,靠海量数据喂出来

这套动作策略在论文里叫NavGPT VLA,训练数据量相当吓人:每个训练周期约有1928万条有效样本,背后是一套仔细搭起来的数据配比。

训练数据被切成四个维度:能力、载体、场景条件、视觉语言理解。能力从易到难排下来,是指令跟随、按目标物体主动探索、追踪会动的目标,最后到跨平台的室外驾驶。载体这边覆盖四视角全景摄像头、单前置摄像头,还有不同机器人平台的摄像头配置。场景条件则专门补语言表达的多样性、少见的离轨状态,以及动作类型的均衡。

有一处处理很见巧思。原始的

好比教小孩写字。只给他看写得对的字帖,他永远不知道怎么把写歪的笔画拉回来;可要是在每个歪笔画旁边都标一句“该往哪边收”,孩子反倒学会了自我纠正。这种“错了怎么改”的数据,常常比“从不犯错的范本”更顶用。

规模效应在论文里摆得很直白。训练数据从170万条扩到完整的1928万条,

数据量涨上去带来的提升,甚至压过了模型参数翻倍的收益。论文里有个很直观的比较:用跨平台数据训出来的4B模型(69.2% SR),成绩超过了只拿导航数据训的8B模型(65.3% SR)。在这个任务上,让模型见识足够杂、足够多的经历,确实比一味加参数更有效。

成绩单:导航能力追平人类

说到底,设计成不成,最后还得看分数。

在

而在

更亮眼的是耗时:NAVGPT-3平均每集只要1分22秒,人却要花大约3分钟。

这是个历史性的节点。头一回有自主智能体在连续环境(不是简化过的离散路网图)导航任务上,成功率和路径准确度两项同时跟人类打平。要知道,此前的方法大多还卡在六七十的成功率区间,这一步跨得不小。

论文还做了一个挺有意思的拆分实验,专门看“检查频率”怎么影响结果。规划器隔多久查一次动作策略的执行进度:完全不查,就只能等动作策略自己停下才能插手;每32步查一次,成功率从77%微升到78%,token消耗却从17.9万冲到153万;每16步查一次,成功率到83%,token消耗直接飙到232万。

结论指向一件事:监督越勤,结果确实越好,可计算成本是指数级往上翻的。这跟公司管理层有点像——事事都往上汇报请示,决策也许更稳,但沟通和时间成本指数级膨胀,到头来整体效率反而被拖慢。NavGPT-3换了个更聪明的法子:规划器只在关键节点出手,其余时间放手让执行层自己跑。

论文还列了几个真实的失败恢复案例。比如在一次

写在后面

读完这篇论文,让我印象最深的不是那些刷新纪录的成功率,而是关于GPT-6 Astra和Claude Opus 5表现差异的那个发现。

语言模型更聪明,接上动作策略之后成绩反倒掉了。这跟我原先“模块越强、组合越好”的直觉正好相反。事实可能就是这样:某个组件本身已经够胜任这份活,再给它配个执行层,反而要多花精力去监督和纠正,把整体表现拖下水。系统设计不是简单叠加,强强凑一块有时会互相拆台。

另一个让我反复琢磨的细节,是“等动作做完再切换权限”这个设计。看着不起眼的工程处理,解决的却是个极根本的问题:多个智能体同时在场,怎么防止“半成品决策”彼此打架、搅成一团乱。这套思路也许能搬到别的多主体协同系统里去,不限于机器人。

论文并没有把所有问题都解决。例如“检查越频繁效果越好、成本却随之飙升”这个矛盾,论文给出的方向是改用“事件触发式”监督,不再按固定周期巡检,但只提了思路,完整实现和验证都还没有。这大概要留到下一篇论文去处理。

Q&A

NavGPT-3是什么?按论文的说法,它是一套把语言模型与动作模型分开设计的导航方案。

它的导航效果如何?关键就在这种分工上:语言模型推理能力强,可反应慢,每次决策要3到19秒,真实环境的变化不会停下来等它;动作模型反应快,却不够聪明。

A:在

两者拆开之后,系统反应速度提升到0.5到1秒一次,智能和速度都兼顾到了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  2. 自研Agent两场实测均分超过GPT-6,NovaSilicon首提CDK,Fabless之后是Designless?

    机器之心发布1987 年成立的台积电只做代工。晶圆厂把制造工艺封装成 PDK(Process Design Kit,工艺设计套件)交给客户,PDK 是晶圆厂的核心技术,通过有限接口分享给芯片公司 ,保留核心的制造配方。通过使用 PDK,芯片公司可以把制造交出去,自己专心做设计,这类公司被叫作 Fabless。设计环节里

    来源 腾讯网
  3. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  4. OpenAI机器人团队再解散:奥特曼招人五个月后,原班人马并入核心研究

    新智元报道 难以置信,OpenAI居然把自家的机器人团队,一锅端了!据报道,OpenAI又一次解散了机器人团队,距离奥特曼5月亲自发帖招人仅过去五个月。原来的团队,将并入核心研究团队,向Mark Chen汇报。而应用机器人和硬件团队,则由OpenAI总裁Greg Brockman负责。超级智能把机器人团队饭碗端了这几天

    来源 腾讯网
  5. OpenAI撤掉机器人团队:GPT-6 Astra能直接管机器人,专用模型还香吗

    OpenAI称,公司研究人员原本认为,推进机器人技术的最佳方式是建立在Sora等模型的研究成果之上,但此后发现GPT-6 Astra等通用前沿模型已经展现出直接应用于机器人领域的能力,这促使公司解散独立机器人团队,将相关研究人员转移至更广泛的通用AI模型研发团队。

    来源 华尔街见闻
  6. Claude写代码:97KB水下探索项目Abyssal Garden亮相

    IT之家 11 月 15 日消息,据 XDA 报道,一位开发者 Any-Reputation8118 利用 Anthropic Claude 编写代码,开发出一款名为“Abyssal Garden”的浏览器水下探索模拟项目,相应项目体积仅 97 KB,场景中的所有视觉元素均由代码在页面加载时实时生成。从演示视频来看,A

    来源 腾讯网
  7. 跑步机看Netflix要再交39美元会员费,老外用Claude破解

    对老狐来说,每个月总要有些订阅软件服务的开销,比如 AI 的、网盘的、资讯的……这年头已经不流行一劳永逸的买断了,必要的服务该订阅还是得订阅。既然已经掏钱买了会员,自然会默认为跨平台都能通用。但总有些厂商不讲武德,明明已经买了一款软件的会员,结果在别的平台用的时候居然还得掏钱?不知道大家有没有过这种经历,而最近国外 R

    来源 腾讯网
  8. NordicTrack跑步机被iFIT会员锁住,用户用Claude破解成功

    对老狐来说,每个月总要有些订阅软件服务的开销,比如 AI 的、网盘的、资讯的……这年头已经不流行一劳永逸的买断了,必要的服务该订阅还是得订阅。 既然已经掏钱买了会员,自然会默认为跨平台都能通用。但总有些厂商不讲武德,明明已经买了一款软件的会员,结果在别的平台用的时候居然还得掏钱? 不知道大家有没有过这种经历,而最近国外

    来源 AI 行业观察
  9. Claude推三款办公工具:微软市值一夜蒸发893亿美元

    新智元报道 IPO路演刚开始,A/再次宣战!今天,Claude一口气端上了三大「办公神器」:Whiteboards、Sheets、Data。就连最佳「食用方法」,Anthropic都给你设想了一套——在白板上把计划捋顺,再去表格里搭建追踪表,最后再用数据讲一个故事。就连Adobe、Notion这样的三方工具,也可以直接

    来源 腾讯网
  10. Claude Fable5.2上线:70万笔触代码作画,不靠扩散模型

    Anthropic 当地时间11月9日发布 Claude Fable5.2与 Mythos5.2。该公司无传统文生图模型,Fable5.2却能以代码在虚拟画布上模拟画笔逐笔作画,还原笔刷纹理、颜料湿度与画布质感并可修正错误。不同于 Midjourney 等扩散模型从噪声生成图像,它把绘画拆解为笔触指

    来源 AI 开发者社区
  11. Claude Fable5.2靠代码作画:70万笔触画出购物车

    Anthropic 11月9日发布 Claude Fable5.2 与 Mythos5.2。Fable5.2 无传统文生图模型,却能以代码在虚拟画布逐笔作画,还原笔刷纹理、颜料湿度与画布质感,并可修正错误。它不同于 Midjourney 等扩散模型从噪声生成图像,而是把绘画拆解为笔触指令执行,每幅画是一段约1000至2

    来源 AI 产业速递
  12. Anthropic上市在即:SBF当年5亿美元投资,如今值300亿

    Anthropic敲钟在即,一笔投资往事浮现。 时间回到2021年,身家百亿美元的90后币圈天才Sam Bankman-Fried(下称SBF),向尚未推出Claude的Anthropic投入5亿美元,一度间接持股约13.56%,成为其最大的早期投资人。 如今回看,他的这笔投资异常成功,Anthropic从一个名不见经

    来源 AI 行业观察
  13. 450道题逼出AI编程漏洞:最强模型也难幸免

    2026年,一个研究团队做了一件挺较真的事。他们找来六个最厉害的AI编程助手,给它们布置了450道题,题目来自150个真实世界里发生过的安全漏洞。规则很简单:只告诉AI要实现什么功能,绝口不提安全二字,就像现实中大多数程序员写需求文档那样。结果呢?**最强的那个模型,Claude Fable 5,写出的代码里,真正做到

    来源 腾讯网
  14. 刚刚,Anthropic公开Opus 5.5同款自主Agent架构:算力成本狂降78%

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 真正能全天候自主干活的AI Agent,平时绝大多数时间都在睡觉,只有来任务时才会醒过来。所谓的全天候运行,只是用户层面的感知。Anthropic发了一篇工程文章首次披露了这种自主智能体的完整底层架构。过去几个月,自主型Agent迎来爆发。爆发的核心原因在于底层

    来源 腾讯网
  15. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  16. 1994款Jeep切诺基靠Claude和Arduino过关加州尾气检测

    IT之家 11 月 14 日消息,当地时间 13 日,据外媒 Tom's Hardware 报道,美国的一名 AI 爱好者穆罕默德 · 祖拉利靠着 AI 和简单的电子接线操作,成功让一辆有 32 年车龄的 1994 款 Jeep 切诺基通过了美国加州的尾气检测。 这辆老车的发动机电脑功能十分有限,但祖拉利借助 Ardu

    来源 AI 行业观察
向下滚动自动加载更多