港中文复旦清华联合综述:79页画出智能体机器人全景图
你有没有想过,为什么现在的扫地机器人已经能避开你家猫砂盆了,却还是没法自己判断"这个抽屉卡住了,我应该换个方向拉"?这不是传感器不够多的问题,也不是电机不够精密的问题。问题出在一个更根本的地方:机器人缺的不是"能力",而是"判断力"。2026年10月,一群来自香港中文大学、复旦大学、清华大学等机构的研究者,发表...
扫地机器人如今已能绕开家里的猫砂盆,可碰上“抽屉卡住了,该换个方向拉”这类情形,它还是判断不了。这跟传感器数量、电机精度都没关系,根子在于机器人缺的是判断力,而非能力。
2026年10月,香港中文大学、复旦大学、清华大学等机构的研究者联合发表了一篇79页的综述论文,想回答一个看似简单、实则难缠的问题:把GPT这类大模型装进机器人身体里,究竟发生了什么?它们是真让机器人变聪明了,还是只让机器人显得更聪明?
这篇论文最打动人的地方,不在于提出了什么惊人的新算法,而在于它踏踏实实做了一件事:把过去几年散落各处、彼此不相认的几百篇机器人智能体研究,整理成了一张完整的地图。
机器人智能的四个时代
先讲一个可能颠覆认知的事实:不久前,机器人学习的主流做法还是“一个任务一个模型”。
想让机器人抓东西,就单独训练一个抓取模型;想让它导航,再训练一个导航模型。这些模型各干各的,互不相通,任务一换就得重训。这种方式被称为
视觉-语言-动作模型(VLA)*:一类把视觉观察、语言指令和动作预测连接起来的模型,通常建立在预训练的大语言模型之上,能利用其中蕴含的常识知识。这种模式延续多年,直到VLA出现才被打破。RT-2、OpenVLA这些名字开始在论文里频繁露面,思路很直接:大语言模型既然已从海量互联网数据里学会了“什么是杯子”“杯子一般放哪儿”,何不让这些常识直接指导机器人动作?
但VLA的短板很快显现。它们擅长把“看到的场景”和“该做的动作”对接起来,却不擅长应付“等等,这样不对,得换个办法”的局面。换句话说,单次动作VLA能做得挺准,可放到长时间任务里,持续追踪进度、应对意外、从失败中恢复,它就做不到了。
于是
综述认为,真正的变革出现在第四个阶段,这也是论文的核心概念:
这里有个关键转折点。这个数字本身不算惊艳,但背后的趋势值得琢磨:一个没经过专门训练的通用模型,靠“边做边看边调整”的策略,就能打赢那些为机器人任务精心调教过的模型。这说明什么?在机器人智能上,把模型训得更大更准已经不够了,关键在于怎么用这个模型,怎么让它在执行中保持清醒的判断。
由此引出论文真正要讨论的问题:智能体机器人究竟是什么,它和前面那些模型有何本质区别?
论文的定义是:智能体机器人是这样一种系统,其中的智能体能够根据环境观察和执行反馈,自主地规划和协调任务执行。给定一个目标,这些智能体会判断达成目标需要哪些步骤,选择和协调动作、技能或工具,并在没有人类逐步指示的情况下监控进度。
这个定义里藏着一个很朴素的道理。设想你让一个新来的实习生去归档一份文件:只会执行指令的实习生发现文件柜锁着,会愣在原地等你下一步指示;真正“在思考”的实习生则会自己判断——去找钥匙,还是先换个地方放着,还是回来问你要不要换种归档方式。这种“自己判断该怎么办”的能力,正是智能体机器人与传统机器人策略最根本的分野。
没有这种判断力会怎样?论文举了开抽屉取物的例子:智能体可能先选一个开抽屉的动作,检查抽屉是否真的打开,再决定直接取物还是重新尝试开抽屉。单纯的动作预测或底层反馈控制,都建立不起这种能力。
四个支柱:模型、数据、环境、工具箱
面对如此庞杂的研究领域,论文做的最重要的工作是提出一个四维分类框架,把智能体机器人相关研究分成模型、数据、环境、工具箱四大板块,每个板块下再细分若干类别,共十七个互不排斥的研究方向。这个框架很像一家公司的组织架构图。
模型板块回答的是:智能体该学习、理解、决策、控制什么?下面分五个子方向——训练(智能体如何设计奖励函数和训练流程)、感知(如何从观察中提取任务相关信息)、规划(如何组织任务步骤)、机器人控制(如何把决策转化为具体动作指令)、适应(如何利用经验改进行为)。
数据板块关注:智能体该如何收集、标注、精炼机器人数据?包括数据采集、数据标注、数据精炼三个环节。
环境板块处理:智能体该构建什么样的世界、任务和测试?包括场景重建、任务生成、基准测试三个方向。
工具箱板块则关注:机器人的各项能力该如何被编排、恢复和进化?这是全篇篇幅最长的部分,细分为编排、记忆、监控与恢复、技能、基础设施、分层系统六个子方向。
这套分类体系价值何在?它让原本互不相认的几百篇论文,突然有了一张可对照的坐标系。读到一篇讲“怎么给机器人设计奖励函数”的论文,你立刻知道它属于“训练”;读到另一篇讲“机器人怎么记住之前失败的尝试”,就知道它归在“记忆”。这种分类不是机械贴标签,而是帮读者建立“这项研究在整个智能体机器人系统里扮演什么角色”的认知坐标。
假如缺了这张地图,情况会怎样?论文直说,眼下这一领域的研究相当零散,“具身智能体”“自主机器人”“自我改进机器人系统”这些说法彼此交织、界限含混,读者很难弄清一个智能体系统里究竟由谁做决策、这些决策又怎样作用于整个系统。没有这张地图,每个刚入门的人都得自己从零去摸清概念之间的关系,把别人踩过的坑再踩一遍。
感知:机器人该不该相信自己看到的
先看感知这一环。乍看之下,感知就是让机器人把眼前场景“看明白”,可论文点出了一个更微妙的层面:感知不光是对静态画面的解读,还得判断“我现在的信息够不够用,要不要再瞧一眼”。
这里有一个挺有意思的设计叫
说到底,道理很朴素:机器人每做一次观察都要付出代价。挪一下摄像头、推开挡视线的物体,既费时间又担风险。要是它每次都为了追求绝对确定而反复观察,任务就永远做不完;可要是从不核实、全凭第一眼下判断,关键环节又容易出错。
这就像你去超市找某一款特定口味的薯片,货架上摆满同款不同味的包装。你是直接伸手拿第一眼看到的,还是凑近了看清标签再决定?假如每买一次东西都要把货架上所有标签挨个核对一遍,买菜都能变成马拉松;可要是从不核对任何标签,买回家发现口味不对的概率就会大增。机器人面临的正是同一笔权衡,它得学会判断“这个决策值不值得我多看一眼”。
论文还点出一个很实际的问题:记忆里存的物体位置信息,会不会“过期”?比如
设想你记得办公室钥匙放在抽屉第二层,可同事今天早上开会用过之后顺手搁在了桌上。你要是完全信“记忆里的位置”而不去核实,就得在抽屉里翻上半天也找不着。机器人同样会碰上这种事,只不过它得靠主动重新观察来“刷新”这份记忆,而不是凭直觉。
规划:想得远不一定想得对
规划这一环讲的是机器人怎么把一串动作组织起来完成任务,其中的核心矛盾耐人寻味:规划得越远,越能提前理顺动作之间的依赖关系;可规划得越远,也越容易因为一个意外变化而全盘推翻。
论文把规划分成三个阶段:生成计划、执行前检查计划、执行中更新计划。
生成计划这一步,有些系统选择“走一步看一步”,比如先看一眼环境返回的结果,再定下一步做什么,这种方式适合后续步骤高度依赖当前信息的任务。另一种做法是让高层模型给出一个简短的子目标,交给专门的动作模型去执行具体步骤,比如
执行前检查这一步尤其关键。
执行中更新这一步,应对的则是“计划赶不上变化”的现实。
论文在这里提了一个很值得琢磨的判断标准:机器人究竟该规划多远,取决于它对自身动作结果预测得有多可靠。结果可预测,长计划有助于理顺多个动作之间的依赖;结果充满不确定性,或者环境一直在变,那就该规划得保守一些,让新的观察来指导接下来的每一步。
这让我想到一个很日常的类比:规划一趟旅行。去的要是熟悉的城市,交通路线清楚,你尽可以提前订好每天的详细行程,从早到晚每一站都安排上;可去的要是从没去过、天气多变、交通状况不明的地方,过度详细的计划反倒成了负担,因为任何一个环节出岔子,整个计划都得推倒重来。更明智的做法是只定个大方向,走一步看一步再决定下一步。
这个道理搁在机器人身上同样成立:规划的粗细,应当随不确定性高低来调整,而不是越细越好。
记忆:机器人该记住什么,又该忘记什么
记忆这个主题,大概是整篇论文里最贴近人类经验的部分,因为它讨论的问题人人都能感同身受:什么该记住,什么该忘记,记住的东西该放多久。
论文把记忆系统拆成三个环节:记忆写入、记忆更新、记忆检索。
记忆写入决定哪些内容值得记下来。有的系统专门记录失败经历,比如
但这里有一笔很实际的权衡:每一步都写入记忆,记忆库会迅速膨胀、冗余过多;写得太少,又可能漏掉后续决策真正需要的关键信息。
记忆更新环节处理的则是一个更尖锐的问题:场景不断变化,已经写入的记忆会不会因这种变化而变成错误信息?这就是前面说的“陈旧性”问题的延伸。
记忆检索环节要解决的是“浩如烟海的记忆里,哪些对当前决策真正有用”。这就像你打开一部存了好几年聊天记录的手机,要翻出某条特定对话,没有搜索功能的话,光靠一页页翻根本找不到。
论文中还描述了一种颇为巧妙的做法:如果某个相近的任务此前成功完成过,把当时的方案直接拿来用,通常比重新算一遍更快、也更省事。
说白了,这跟生活中“抄作业”的道理差不多,只是多了一步核对手续。做数学题时,以前见过同类题型、还记得解法,套上去自然比从头推导快;可套之前得先确认眼前这道和记忆里那道真属于同一类,否则套错了更麻烦。机器人复用记忆也是这个理:省时间没问题,但复用前的验证环节丢不得。
监控与恢复:机器人怎么察觉自己出了错
这部分谈的问题听着简单,做起来却极为复杂——机器人如何判断自己手头这件事做得对不对,发现不对之后又该如何补救。
论文将其拆为三个阶段:执行监控、响应选择、恢复动作。
执行监控按检查发生的时机分为三类:执行前、执行中、执行后。执行前检查针对的是尚未产生物理效果的那些候选动作,例如
这里有一处设计逻辑很耐人寻味:检查选在哪个时机,直接决定了它能抓到哪类问题,也决定了它能输出什么。执行前的检查只需在候选方案间做取舍,输出往往就是接受或拒绝;执行中的检查必须在动作结束前就作出反应,输出便是立即停止或调整的信号;执行后的检查能用上完整记录,输出就可以是详尽的解释。
响应选择环节要处理的是“发现毛病之后怎么应对”。这里存在一个很现实的分岔:机器人是在一组固定的预设方案里挑一个,还是交给更灵活的规划器临场生成策略。
恢复动作环节才真正动手补救。论文按补救所改变的层面将其分为四类:改当前策略收到的提示、改执行者本身、改任务流程、改策略之外的某些参数。
还有一个容易被跳过、却相当要紧的问题:补救完成后,机器人该从哪个状态接着干?一次失败的尝试常把现场弄得面目全非,物体可能被挪了位置,某个步骤可能做到一半就中断了。机器人可以选择直接从这个“烂摊子”接着往下做,保住此前已经取得的进展;也可以先把场景恢复到已知的干净状态,再从头开始。
这道选择题背后是生活里常见的决策逻辑。做菜时某一步出了岔子,比如糊了一小块,你是在现有基础上补救,还是整锅倒掉重来?问题不大时,继续修补通常更省时间;可一旦问题把整个状态都污染了,硬撑着补只会越补越乱,此时推倒重来反而更明智。机器人面对失败时的这番判断,本质上跟厨房里的权衡是一码事。
工具箱与分层系统:机器人大脑的组织架构
工具箱是整篇论文篇幅最长的一块,谈的是一个关键的工程问题:机器人同时具备多种能力时——比如一个语言规划器、一个动作执行模型、一批分析性的控制算法——这些能力彼此之间如何协调配合。
论文给出一个很形象的架构:规划层管高层次推理,跑得较慢;学习策略层负责反应性的行为生成,速度居中;分析控制层承担具体的求解与控制计算,速度最快。
这套设计思路,其实很像一家公司的决策链条。CEO定战略方向,但不会去管每笔订单怎么发货;部门经理把战略拆成具体的执行计划;一线员工再把计划落成一个个具体动作。若让CEO事无巨细地盯每单物流细节,公司效率会直接崩掉;可要是一线员工完全不知道公司战略、各干各的,整个系统同样会乱套。
论文里提到的
频率上的巨大落差,恰好对应着不同层级任务的本质特点。高层推理要综合处理复杂的语义信息,这个过程天生就慢;底层动作执行得对物理世界的变化做出近乎实时的反应,速度必须快。硬让高层推理模块按动作执行的速度运转,它根本来不及给出有意义的判断;反过来让动作执行模块等着高层推理每次更新,机器人的反应会慢得像在水里走路。
还有个设计细节很值得留意:慢速规划层发出的指令传到快速执行层时已经带上了时间延迟,也就是说执行层拿到的信息其实已经“过时”了。
分层系统另有一种更灵活的组织形式——智能体直接把动作模型当作可调用的工具。Gemini Robotics 1.5系统就是这种思路的代表,它让一个更通用的推理模型通过语言指令去调用专门的动作模型。论文提到,把通用模型换成专门负责具身推理的协调器之后,总体失败率直接减半。可见协调层自身够不够专业,对整个系统的表现影响相当直接。
智能体机器人的未来挑战
论文末尾用不小篇幅讨论了未来的研究方向,这部分没有给出确定答案,但提出的问题本身就很有启发。
第一个方向是公平的基准测试。论文抛出一个很尖锐的疑问:两个系统在同一项机器人测试任务上成功率相近,这究竟说明了什么?其中一个可能靠的是更强的底层动作模型,另一个则可能靠智能体协调多个较弱的技能、主动多收集观察、从失败中恢复,才拿到这个分数。只看最终的任务成功率,根本没法判断两者谁的能力更强。
这让我想到考试成绩:两个学生同样考了90分,一个知识基础扎实、每道题都独立解出;另一个提前拿到了部分题目的提示,靠反复试错和猜测凑够了分数。单看那个“90分”,你分不清这两种截然不同的能力水平。机器人基准测试遇到的正是同样的困境。
论文提到的另一条路线,是把智能体放到真实机器人上跑。在智能体眼里说得通的方案,落到机器人身上未必做得出来。推理模型可能让它去抓一个机械臂根本够不到的位置,也可能拿着已经过时的观测挑错了技能。模拟环境里,物体坐标是准的,成功与否也判得干脆;换成真机,这些信息得从带噪声的摄像头画面和传感器读数里估出来。感知上一点小偏差、标定上一点出入、加上意外碰一下,都可能让一个看着没问题的方案直接崩掉。
效率问题排在第三个方向。论文点出一个挺现实的矛盾:机器人做完一个动作,几秒钟就够了,可等智能体想好下一步该干什么,反而要耗更久。模型调用、视觉观察、工具交互,这些环节一重复,延迟就上来了,任务里碎动作一多尤其明显。说到底,难的是判断什么时候再调一次模型才划算,而这个判断得看任务进展到哪一步、不确定性有多大,以及延迟决策会带来什么后果。
跨具身泛化是第四个方向。智能体在某台机器人上跑得不错,换到另一个平台,未必还灵。就拿"走到目标位置"这种简单任务来说,轮式机器人、人形机器人、无人机要做的具体动作完全不是一回事。论文给出的思路是:让智能体在用一个陌生机器人之前,先弄清这台机器人到底能做什么,再据此规划,而不是把同一套指令直接翻译成另一台机器人的控制接口。
写在后面
79页的综述读下来,最触动人的倒不是哪个技术细节,而是一种认知上的转变:过去总觉得,让机器人变聪明的关键是把模型练得更大更准。可这篇论文一遍遍用案例说明,机器人能不能完成复杂任务,常常取决于模型之外那层"组织架构",也就是论文所称的工具箱。GPT-6 Astra没专门做过机器人任务训练,靠边做边调整的策略,却赢了专门训练的模型。这事本身就说明:脑子再聪明,装进一个不会灵活应变的身体,照样处处碰壁。
另一个让人反复琢磨的细节,是论文提到的"陈旧性"。感知环节里过时的物体定位,记忆环节里失效的位置记录,说到底都是同一个矛盾:系统得在"相信已经知道的信息"和"重新核实当前的真实情况"之间来回权衡。这个矛盾不只在机器人身上,凡是靠记忆和经验做决策的系统都躲不开,人也不例外。
论文里反复出现一个很朴素的提问:这个设计解决了什么根本矛盾,不这么做会怎样。这种问法值得借鉴。不光是读论文,碰到任何一个新技术方案,先问清它在权衡什么,往往比记住它怎么实现更有用。
假设一个机器人真能像老手那样,拧螺丝拧到一半发现螺纹滑丝,自己判断该换工具还是先停下来看看情况,而不是傻用力气继续拧——那它缺的到底是更强的"手",还是更清醒的"脑子"?
Q&A
Q1:智能体机器人和普通的机器人策略有什么区别?
A:普通机器人策略只做一件事,把观察转成动作。智能体机器人不一样,它能自己规划任务步骤,挑选并协调不同的技能或工具,盯着执行进度,再根据反馈决定继续、多收集信息、改计划还是从失败里恢复,不用人一步步交代。
Q2:论文提出的四个研究板块具体是什么?
A:论文把智能体机器人研究分成模型、数据、环境、工具箱四块,对应的是智能体该学什么决策、怎么收集和标注数据、该搭什么样的任务和测试环境、机器人能力怎么编排和恢复,往下再分出十七个具体研究方向。
Q3:为什么GPT-6 Astra没有专门训练却能表现不错?
A:GPT-6 Astra靠的是边执行边根据反馈调整动作的策略。在RoboDojo的42个模拟任务里,它的平均成功率达到22.48%,超过多个专门训练的机器人策略。这说明智能体的协调判断能力,有时候比单纯强化底层模型训练更要紧。