于超:从MAPPO到具身智能,GPT-6后或迎Token时代?
2022 年,一篇看似没有提出复杂新算法的论文,成为多智能体强化学习领域最有影响力的工作之一。这篇论文叫 MAPPO。研究者发现,只要把已有的强化学习算法 PPO 用好,调整训练和实现中的一些细节,就能在多智能体协作任务中取得相当出色的效果。这个结论如今看起来并不难理解,但在当时,学术界更看重新算法和理论创新,MAPP
2022 年,一篇论文看上去没提出什么复杂的新算法,却在后来被反复引用。这篇论文叫 MAPPO,研究者的发现是:把已有的强化学习算法
于超是这篇论文的主要作者,当时她还是清华大学电子工程系的一名博士生。如今,这项工作引用量已接近 5,000 次,成了该领域广泛使用的基准方法之一。她目前担任清华大学深圳国际研究生院助理教授、博士生导师,同时也是物理智能公司正行创新(Striding AI)的联合发起人。
聊起科研经历,于超并不认为自己特别有天分。她说,早期自己也缺乏成熟的科研判断,很多认知是在做研究、经历失败的过程中慢慢形成的。MA
博士毕业后,于超留在清华做博士后,开始把强化学习用到无人机上。2025 年,具身智能兴起,她又带着团队开发了大规模强化学习框架
最近,她和团队完成了一项涉及百台真实机器人的实验,提出
另一边,通用大模型的进步,正在给机器人提供另一条学习路径。
今年 7 月,于超团队提出 Harness
于超团队此前的一些判断,两个月后也在 Agentic Robotics 身上得到印证。她认为,Astra 的问世或许把机器人的
GPT 时刻拉得比预想更近,不过仿真与现实之间的落差、真实环境里学习效率偏低等难题,依旧摆在面前。
具身智能研究越来越依赖真实数据、硬件和大规模训练资源,她也开始尝试借助产业界的力量,把实验室里的研究推进到真实工业场景。今年,于超还入选了2026年度《麻省理工科技评论》“35岁以下科技创新35人”亚太区名单。
于超的研究主线,一直是智能体怎样靠交互和反馈把能力提上去:从 MAPPO,到百台机器人的群体学习,再到近来对 Agentic Robotics 的摸索。眼下机器人一边在物理世界里攒经验,一边开始借通用大模型读懂任务、规划动作,强化学习自身的形式也跟着变了。
近日,DeepTech 与于超进行了一次深入交流。她谈到了 MAPPO 投稿时的曲折经历、百台机器人实验中的发现,以及
从 MAPPO 开始,重新理解什么是好的科研
DeepTech:你从最初的自动化专业,到机械系、电子系,后来又从
于超:我觉得主要还是好奇心驱动。我比较喜欢做有趣的事情,如果对某个东西感兴趣,就会想自己研究一下。
我本科是
我最开始做过图像识别、机器人高速分拣,后来又转向
后来很幸运,汪玉老师帮我联系上了吴翼老师,让我有机会跟着他做研究。
后来我去做无人机、做具身智能,想的也差不多。我总好奇:过去在数字空间里折腾出来的东西,搬到真实世界会是什么样?机器人真能靠着与物理世界打交道,学出新本事吗?现在回头看,自动化、机械、电子工程、计算机这些领域我都沾过一点,这些底子对我今天做具身智能都有用。
DeepTech:MAPPO 大概是你读博期间影响最大的一项研究。当年投稿处处碰壁,有审稿人觉得它无非是把现有算法做得更好,理论上没有亮眼的创新。这段经历怎么影响了你后来的科研取向?
于超:影响很大。在他看来,MAPPO 属于那种“道理简单但做到位”的工作——没有另起炉灶提新算法,而是把现有方法吃透,参数、实现细节逐一调好,很多问题自然就解决了。
但这和当时
不过 MAPPO 的投稿路走得并不顺。于超说,自己那时科研经验还不足,不太清楚怎样把这项工作讲明白,甚至一度担心发不出来会影响毕业。
他记得有朋友建议,不妨给论文补一些理论证明,好增加发表机会。当时最直接的压力就是毕业,他确实动过心。后来找吴翼老师商量,对方提醒他想清楚做研究到底图什么:论文能不能发固然重要,但更关键的是这项研究有没有真的给领域带来贡献。
这件事让于超触动很大。MAPPO 正式被接收之前,已经有不少研究者在用,反馈也不错。他本人也是因为这个方法被很多人认识的,而不是因为发表了一篇论文。研究的影响力和它能否发表,其实是两回事——这是他真正体会到的。
汪玉老师同样给了很多支持。于超说,汪玉老师从没催过他赶紧发论文,愿意让他花一两年把一项工作做好,这样的科研环境很难得。
DeepTech:所以你后来做
于超:对。他觉得自己算是个长期的科研主义者,不喜欢打一枪换一个地方。比如
但他认为这件事值得做。这是一套能帮很多研究者开展强化学习训练的基础设施,他希望真正把它做好。
不过,这条路同样有风险。于超说,尤其放到国内现行的科研评价体系里看,一项工作对行业很有价值,但要是拿不出对应的论文成果,未必能被认可。真正难的是找准有价值的问题,再靠足够的科研定力把它做出来。
百台机器人一起学习,意外发现了什么?
DeepTech:以往多智能体强化学习基本都在仿真环境里跑,这次为什么要把实验做到上百台真实机器人的规模,还希望它们能互相学习?
于超:这个想法其实很直接。过去做强化学习,很多实验都在仿真环境里完成。仿真的一大好处是可以大规模并行,同时跑成千上万个环境,收集大量交互数据,再拿这些数据训练模型。
可到了真实世界,不少研究还停留在单台或少量机器人上,也有人觉得真机实验很难规模化。于超当时就很好奇:为什么真实机器人不能规模化?达不到仿真里上万台的水平,那几十台、上百台有没有可能?真让一百台机器人同时学习,又会发生什么?
真正动手之后,他们发现最困难的问题其实不在机器人本身。在中国,生产一百台机器人并没有想象中难,更大的挑战来自现有学习方法对人类指导的依赖。
比如机器人抓杯子失败了,需要操作员接管控制,示范正确动作,再让机器人学习这段经验。少量机器人时这么做可行,可一旦扩大到一百台,就需要大量能熟练操作机器人、及时纠正错误的人员。
他们当时发现,这样的操作员其实很难找。一个任务最多只能找到八个比较熟练的人,真正能高质量完成操作的通常只有三个人。他们还开玩笑说,每个任务都有自己的“遥操三剑客”。
所以,机器人数量增加到一定规模后,人类能提供的高质量操作经验,反倒成了限制学习效率的重要因素。
他们就开始考虑,能不能换一种学习方式?如果少量人类指导已经帮机器人掌握了基础能力,接下来能不能让它们从其他机器人的经验中继续学?
比如一台机器人遇到了困难,另一台可能已经在类似场景下成功过。要是能把这些经验共享出来,机器人就有机会从整个群体里找到解决问题的办法。这就是他们提出
DeepTech:实验里还有个现象值得讨论。参与学习的机器人只有四台时,训练效果不升反降;规模扩大之后,算法才开始起作用。这是不是意味着,群体学习得达到一定规模,优势才能显现出来?
于超:对,这也是他们在实验过程中逐渐认识到的问题。
正常开展研究,通常都是先从小规模实验开始,验证方法有效之后再逐步扩大规模。所以最初用四台机器人时,效果没达到预期,确实让他们对这套方法产生过怀疑。
后来,他们在做其他算法测试时,恰好有一批机器人没安排实验,就用这些设备进一步扩大了测试规模。结果发现,随着参与学习的机器人增加,算法的表现开始明显改善。
他们后来分析,这和群体经验的数量及多样性有关。CEL 的核心思路是从其他机器人的操作经验中检索有用信息。机器人数量少的时候,积累的成功经验有限,很难覆盖足够多的任务状态,也就不容易找到可以借鉴的经验。
规模一上来,机器人们执行任务时碰到的情况就更杂,攒下的成功经验也跟着多起来。某台机器人卡住的时候,从群体里翻出相似场景下有效操作的机会就更大。
这次实验让我们意识到,机器人数量本身或许就是左右群体学习效果的关键因素。以前大家习惯先拿小规模实验验证算法,可对靠群体经验吃饭的方法来说,小规模实验的结论未必能充分说明它在更大规模下的表现。
当然,眼下这些结论还只建立在我们测试的任务和机器人规模上。将来环境更复杂时,类似的规律还在不在,得继续研究。
DeepTech:手机打包任务里,参与训练的机器人从 16 台加到 96 台,成功率从 86.7% 升到 98.3%。而且最终测试用的机器人并没有参与训练。这个结果你怎么看?
于超:这个结果让我印象非常深刻。当时我们用的是一套比较严格的独立测试流程。算法同学不能参与测试,只能把训练好的模型交上去,再由专门的测试人员按统一的标准操作流程来跑。
手机打包任务总共要测 120 次。98.3% 的成功率,意味着最后只失败了两次。
那会儿我们能在线看测试记录,每测完一次,表格里就更新一次结果。测试持续时间比较长,大家都很关注模型表现,尤其是第一次失败出现之后,会担心后面的测试还能不能稳住。
我还记得,最后一轮测试时,负责算法的同学甚至跟我说,别告诉他结果,他不敢看。确实有点像考完试等成绩,模型交出去,剩下就只能等测试报告。
最终 120 次测试只失败了两次,大家还是挺激动的。不过我觉得,比成功率本身更重要的是,我们把训练和测试用的机器人分开了。
过去有些机器人实验,会在采集训练数据的同一台机器人上测模型。我们这次用的是没参与训练的机器人,想检验模型能不能把学到的能力迁移到其他本体上。
最终结果表明,至少在我们测试的同构机器人和任务条件下,群体经验学习确实能帮机器人提升表现,并且具备一定的跨本体迁移能力。
这也是我认为这项工作比较有价值的地方。真实机器人部署得越多,每台机器人在执行任务中攒下的经验,都有机会变成其他机器人的学习材料。
至于下一步,我可能不会急着继续加机器人数量。我们更想把它们放到室外,或者更杂乱的真实环境里,试着完成更复杂的任务,看看现有方法还能解决哪些问题,又会撞上哪些新挑战。
当大模型开始进入机器人
DeepTech:除了群体学习,你最近还在探索 Agentic Robotics。比如
于超:这也是一个很有意思的故事。有一天,团队里一个同学突然跟我说,老师,我给你看个结果。他自己用 Codex 搭了一套 Agentic 系统,演示的时候没提前解释怎么实现的。我当时一看,觉得它的泛化能力非常强,后来才知道背后用的是
我们就开始讨论这件事。今天的 Coding Agent 已经能理解比较复杂的任务,自己规划步骤,调用工具,看到反馈之后还会接着调整。这些能力能不能搬到机器人上?
当然,最初的系统还有不少短板。比如它做精细动作的能力不够好,抓取、插入这些操作还是比较困难。
所以我们就在想,能不能把现有的
后来我们就做了
因为我觉得,未来机器人能力要提升,可能越来越需要借助云端大模型。
DeepTech:你还提到过,机器人可以通过 Memory 积累经验。这和过去靠强化学习改变模型参数,有什么区别?
于超:我觉得可以把它理解为经验的内化和外化。
以前搞强化学习,靠的是训练去调整神经网络的参数。一个任务被机器人掌握以后,本事就存在模型参数当中。说白了,这就是把经验装进模型里。
另一种思路,是把经验放到外部存储里,例如存进一个数据库。下次碰上相近的任务,机器人先去检索以前的经验,再判断该怎么做。这就是所谓的外化。
这类做法过去也有人试过,但说白了更接近查表,效率低,经验也很难整理到位。大模型起来之后,长上下文处理、复杂任务理解都变强了,把记忆外挂出去这条路才变得可行。
在我看来,这两条路并不矛盾。机器人可以靠训练去改模型参数,也能通过 Memory 把已有经验存下来、用起来。将来的 Agentic Robotics 系统,多半要把两者合到一起。
DeepTech:9 月
于超:GPT-6 出来的时候,我确实很受震动,它把机器人做任务规划的能力抬到了一个新高度。那阵子甚至有人开始聊,机器人的 GPT 时刻,会不会就是 GPT 本身。
我们在 7 月研究
这也是我们当时提出具身智能可能进入
所以 GPT-6 发布那会儿,我反而稍微松了口气。跳出原来的研究路子、押一个新方向,心里总会有顾虑。作为团队负责人,我最怕的是把学生带偏。比起具体去做一个项目,判断哪个问题值得研究、未来该往哪走,恐怕更难。
Astra 的出现,多少印证了我们之前的判断。可它也把整个领域的节奏一下子拉快了。原先关注 Agentic Robotics 的人不多,我们还能慢慢打磨,把工作做扎实。现在进场的团队越来越多,留给我们推进研究和开源的时间也紧了起来。
DeepTech:不过,大模型在仿真环境里成绩很漂亮,放到真实机器人上,表现却可能掉一大截。仿真和现实之间的这道沟,你怎么看?强化学习以后还能起什么作用?
于超:这个问题,在具身智能里其实一直都在。
我比很多人都更盼着仿真数据能真派上用场,因为我们自己就在做大规模强化学习系统。要是仿真能顶替真实环境,我只要加算力、搭好仿真器,就能训出很强的模型。
可真做下来,仿真的短板还是很清楚。拿摩擦力来说,仿真里你给它设一个数就行,但真实物体表面每个位置的摩擦力可能都不一样,很多细节没法准确模拟。
我们当时做百机实验,备了五六套算法,在仿真里都测得很好。结果一放到机器人上,不少方法完全不好使。
所以现在我们把仿真当成算法验证的头一步。一个方法在仿真里都跑不通,真机上成功的可能性通常很低。但反过来说,仿真里有效,也不代表到了真实世界就一定行。
至于强化学习,我更愿意从交互和反馈的角度去理解它。机器人靠探索、试错,一点点改自己的行为,这个过程在物理世界里依然很重要。
只是强化学习的形式会随着模型和系统一起变。过去我们主要动模型参数,今天也可能靠 Memory 攒经验。小模型上管用的算法,搬到大模型上未必还好用,训练系统也得跟着改。
我觉得强化学习还会往前走,但最后变成什么样,得慢慢摸索。
从实验室到真实世界
DeepTech:现在各家机器人模型经常公布很高的
于超:评测这件事,比我原先想的复杂得多。
做百机实验之前,我以为测评很简单:把模型装到机器人上,测一百次,数数成功多少次就完了。结果测试团队跟我说,不能这么测。桌子多高、物体放哪、光照的色温和色差,很多条件都得按标准控制住。
后来我才明白,测试本身就特别耗时间和人力。训练一个模型已经够费时了,测试有时还得花上半天,甚至更久。
真实机器人身上还有不少容易被漏掉的因素。比如跑一段时间以后,温度会变,电机的性能、控制精度和稳定性都可能受影响。
此前有位老师讲过一个例子:他们实验室的机器人,窗帘拉上时成功率很高,一拉开窗帘就不行了。起初大家判断是光照干扰了视觉模型,再一查,阳光晒进来会让温度上升,机器人本体性能随之受影响。这件事很有意思,不少做机器人智能的研究者恐怕压根想不到,温度也能成为关键变量。
也正因如此,眼下很多实验室里的测试还不够规范。同一台机器,训练和测试时状态只要出现一点变化,结果就可能对不上。
在我看来,往后或许要让更多模型开放接口,方便其他研究者在各自的机器人上直接做验证。仿真环境同样可以在标准化评测中派上用场。说到底,真实世界里上一秒和下一秒所测的,可能已经不是同一个环境了。
DeepTech:今年你还参与发起了正行创新。汪玉老师此前说过你更适合当科学家,那后来为什么还是决定参与创业?
于超:归根结底,还是想把实验室里的研究成果真正做落地。
汪玉老师有句话我记到现在:你的东西既要能上书架,也要能上货架。读博那会儿,我大概只做到了上书架——论文能发,技术能开源,可怎么把它变成真实世界里能用的产品,我其实并不清楚。
后来我自己当了老师,开始做具身智能,发现整个领域的科研条件也在变。先说资源,现在大家研究具身大模型,算力、数据、硬件都得上量,光靠高校实验室很难撑住。
再就是具身智能的硬件问题一大堆。我们团队在算法和系统上比较有积累,但机械、电机、硬件制造这些事,肯定得交给更专业的人。
还有一点同样关键:工业界能提供真实的问题和场景。
以前在实验室做研究,有时并不清楚真正的工业需求是什么。问题可能是自己设想出来的,再配一套算法去解。到了真实场景才发现,实际问题往往完全不是那回事。
所以后来有机会和姚颂合作,我们便决定联合发起正行创新。现在我在公司主要指导技术研究。
学校和公司的研究也有一定分工。像具身基础模型的预训练,要吃掉大量算力和数据,也是公司未来的核心技术资产,这类工作更多放在公司做。
Agentic Robotics 还有不少问题没解决,离实际工业应用也有距离,这部分就更多放在高校实验室里探索。两边其实能互相帮衬:高校做更前沿的研究,产业界给真实场景、资源和反馈,研究才能继续往前走。
机器人什么时候能变得安全可信?
DeepTech:你长期研究强化学习,平时也会观察生活里的智能现象。比如儿童学语言、认物体的过程,有没有给你一些启发?
于超:有,而且我觉得挺有意思。
就拿小孩搭积木来说,一开始他可能不知道不同形状该放哪儿,也不知道该怎么下手。但看过一些演示、得到一些鼓励之后,过一阵子可能突然就自己会了。
当时看到这种现象我很惊讶。同样是学习操作物体,人类小孩很快就能掌握,而我们训练的机器人模型还得靠大量数据和反复尝试。
这让我感到,人类智能的学习效率确实高。特别是通过交互、尝试和外界反馈不断调整行为,这一点和强化学习里的某些思路是相通的。
语言学习也是类似的情况。小孩背古诗,你念出前几个字,他往往能顺口接出后面的内容。这让我想到大语言模型里的
当然,人类的学习机制要复杂得多。不过有意思的是,我们在人工智能里用的一些学习方法,似乎能在人类学习过程中找到对应的现象。
DeepTech:如果再过三到五年,你最希望机器人真正学会的一件事是什么?
于超:说实话,人工智能发展太快了,三五年后会怎样,我现在很难预测。之前我判断具身智能的 GPT 时刻可能还要两年,可随着 GPT-6 出现,我甚至开始琢磨,这个时刻是不是已经到了?对此我也没有明确答案。
要说特别期待的应用,我希望将来机器人能帮我照顾孩子。照顾孩子是项非常复杂的任务,首先安全要求就极高。机器人得有足够精细、轻柔的动作控制能力,能及时应对各种突发状况,家长才有可能放心把孩子交给它。
再往深一层,机器人还得看懂孩子想要什么,给出合适的回应,最好还能陪一陪、给点情感上的支持。这些要求放在机器人身上并不低,离真正落地还差得远。
未来几年这个愿望能不能成,我说不准。不过人工智能这几年的进展,已经不止一次跑到我们预想的前头。哪天机器人真能把孩子安全、稳妥地照看起来,那在具身智能这条路上,应该算一次相当关键的跨越。运营/排版:何晨龙
注:封面/首图由 AI 辅助生成