机器人学会新技能就忘旧活:英伟达和KAIST提出ACCRUE

资讯 腾讯网 作者:腾讯网 全文 4509 字 · 约 12 分钟读完 分类机器人

你有没有遇到过这种情况:学会了一门新语言之后,突然发现以前学的那门外语变得生疏了?大脑好像在给旧知识腾地方,新东西进来了,老东西就被挤到角落里蒙了灰。机器人也有同样的烦恼,而且更严重。想象一个在工厂里工作的机械臂,它先学会了拧螺母,表现得不错。过了一个月,工厂来了新订单,需要它学会插销钉。于是工程师...

所属频道 机器人与具身智能

你有没有碰上过这样的事:一门新外语刚学会,原先会的那门反倒生疏了?大脑像是要给新知识挪位置,新东西一进来,旧东西就被推到角落里落灰。

机器人也躲不开这个毛病,情形还更糟。

设想工厂里一台机械臂,先学会了拧螺母,干得挺像样。一个月后厂里来了新订单,要它学会插销钉,工程师就重新训练它。三个月后回头一查,插销钉插得不错,拧螺母的手艺却丢得干干净净。这不是编的段子,是机器人领域确实存在、还挺让人头疼的一个问题。

英伟达和韩国科学技术院(KAIST)合作的这篇论文,瞄准的就是这件事。

当下的机器人大模型,卡在哪儿了

先交代一下背景。

这几年机器人圈子里冒出一类东西,叫机器人基础模型,英文写作

RFM

这些模型本事不小,能应付很多种操作任务。问题在于,它们是拿“见过的数据”训练出来的,一旦碰上没见过的任务、零件和场景,发挥就要打折扣。这时候就得靠强化学习再做微调,让机器人自己动手试、拿到奖励信号来改动作。这个过程叫

强化学习(RL)

可眼下多数做法把 RL 后训练当成一锤子买卖:一个任务训完就收工,下个任务再从头训一遍。好比每换一个新项目,都要重新招一支团队、重新培训,之前攒的经验统统作废。

放到装配这种真实场景里,这个毛病格外明显。工厂装配线上,产品型号一直在迭代,今天装圆形插头,明天可能换方形插头,后天又冒出个带螺纹的新零件。零件一变,机器人就得重新学怎么用力、怎么对准、怎么处理接触中的细微偏差。每次都从零练起,成本高得吓人,真实机器人每交互一分钟,都是实打实的硬件磨损和人工盯守时间。

论文作者把需求讲得很直白:机器人要持续学新任务,每个新任务所需的训练量必须尽量压下去,同时不能把先前学会的本事丢掉。整篇文章的核心命题就在这儿。

两条老路,各有各的坑

在

第一条路是用

第二条路是

离线策略(off-policy)强化学习:这种学习方式允许拿历史交互数据来更新策略,数据不一定是当前策略产生的,相比在线策略,数据利用率更高。

可这类方法目前基本只盯单个任务做优化,没考虑任务和任务之间怎么接力。等于你雇了个效率特别高的员工,但每换一个项目就把他开掉重招,他个人效率再高,组织层面的经验传承还是零。

问题就出在这儿:在线策略方法想传经验,效率却低;离线策略方法效率高,却不懂传承。ACCRUE 想干的,就是把两边的好处捏到一块。

ACCRUE 的核心思路:让“演员”和“评委”都别下岗

论文给出的方法叫 ACCRUE,全称拆开是“用保留经验实现持续离线策略强化学习的演员-评论家继承”,名字读着绕口,核心机制其实不难懂。

强化学习里一般有两个关键角色:一个叫 actor(演员),按当前状态决定做什么动作;一个叫 critic(评论家),评估这个动作好不好,给演员打分、指改进方向。

Actor-Critic 架构

以往的做法是,每来一个新任务,演员和评论家都从零重训。ACCRUE 则让这两个轻量级网络在任务切换时不下岗,把上一个任务训好的参数直接继承过来,当作新任务的起点。

这就像公司招来一位新项目经理,不让他从零摸索,而是把前任攒下的工作笔记、客户关系、常见问题处理方案原封不动交给他。任务换了,可很多底层的判断力和经验照样能复用。不这么做的话,每换一次项目经理都从白纸起步,招聘培训成本翻倍不说,很多本可避开的弯路还得再踩一遍。

不过光继承还不够,这里有个很现实的矛盾:评论家要是拿新任务的数据去调自己的打分标准,它对旧任务的判断会渐渐失真。打个比方,一个常年只评川菜的美食评委,突然天天吃粤菜打分,时间一长他对川菜口味的记忆就模糊了,再让他评川菜,恐怕已经不准。

论文给出的应对办法是:评论家只在当前任务的数据上更新,绝不拿它去评判旧任务里的动作该如何改进。

这个设计乍一听不太符合直觉——评论家见过的数据越多,判断照理说该越全面。论文的解释却相反:继承下来的评论家对新任务理解尚浅,此时让它评判旧任务的动作,打分本身就不可靠;用一个不可靠的评委去指导演员“改进”旧任务表现,结果只会把演员带偏,已经学会的技能被一点点侵蚀掉。旧任务的技能靠什么保住?论文用的办法叫行为蒸馏。

行为蒸馏(Distillation)

落到操作上,每个任务结束后,系统会留在这个任务最后 N 个训练回合(主要实验里是 20 到 100 个回合),存进一个小型“记忆库”。进入下一个任务训练时,系统先让上一阶段训练好的演员网络在这些保留样本上跑一遍,把输出缓存下来当作“标准答案”;随后在训练新任务的同时,额外要求当前演员网络在这些保留样本上尽量模仿这份“标准答案”。

这有点像老师傅带徒弟。老师傅退休前把自己最拿手的几个关键动作录成参考视频,新徒弟学新手艺的同时,每隔一段时间就对着视频练一遍,保证基本功不走样。新手艺学得如何,不用退休的老师傅来打分——他可能压根没见过这门新手艺,让他打分只会添乱。新技能交给懂行的新评委(当前任务的评论家),旧技能交给参考视频(行为蒸馏),两件事互不干扰。

保持视觉特征的稳定性:别让地基跟着晃

ACCRUE 还有一个设计细节,解决的是一个容易被忽视、实际却很要命的问题:机器人每拿到新任务的示范数据,基础模型的视觉部分也会跟着更新,视觉特征一变,前面靠它建立起来的东西就容易松动。论文的应对是引入一个独立于基础模型、全程冻结不动的外部视觉编码器,叫做视觉编码器(Visual Encoder)。

这个设计在论文的对比实验里体现得很清楚:把固定编码器换成跟着基础模型一起更新的视觉模块后,继承效果明显变差,遗忘程度上升,新任务学习效率也下降。打个比方,公司来了一批新员工,但门禁系统、工位编号、内部沟通软件全都照旧,新人能快速上手,靠的就是环境稳定;要是每来一批新人就把整套办公系统重新装修一遍,老员工都会无所适从,更别提把经验传给新人了。

除了视觉特征,ACCRUE 还让演员和评论家网络参考基础模型给出的“参考动作”,即基础模型针对当前状态直接提出的动作建议。演员网络不必凭空想象该怎么动,只需在这个参考动作上做局部微调。持续学习要保留的东西,也就从“整套完整技能”缩小为“对参考动作的微调经验”,需要记住的信息量小得多,保留起来自然更容易。

实验是怎么验证的

光讲道理不够,论文做了相当扎实的实验来检验 ACCRUE 到底好不好用。实验分仿真环境和真实机器人硬件两部分。

仿真部分用了两个装配类基准测试,一个叫

在这些仿真测试里,ACCRUE 与多种对照方法做了比较,包括:只用当前任务数据训练的

结果上,在 FORGE 基准上,ACCRUE 的

更有意思的是真实机器人实验。研究团队在

真实机器人实验的结果相当直观:继承演员和评论家网络,把达到停止标准(连续 20 次尝试里 19 次成功)所需的机器人交互时间减少了 31.0% 到 68.5%。旧任务的保留也几乎是完整的——每个之前学过的任务,在后续阶段结束时重新测试,20 次试验里至少成功 18 次,平均成功 19.4 次。

这个数字差距在真实硬件上比仿真里更明显。论文的解释是,真实机器人每一分钟训练时间都是稀缺资源,一个好的起点在这种场景下价值被放大。同样是省下半小时,对时间排得很满、随时要切换会议的人来说,这半小时可能就是能不能多开一个会的区别;对时间宽裕的人来说,半小时也许只是多喝杯咖啡。真实机器人训练场景,正属于前一种“时间排得很满”的情况。

拆解各个零件:哪个设计真的有用

论文还做了一系列消融实验——把方法里的某个部件拿掉或替换,看效果如何变化,借此验证每个设计是否真的必要。

消融实验里跑出了几个结果,颇有意思。

视觉编码器这块,论文把原本固定不动的 DINOv3 换成了跟着基础模型一起更新的版本。参考动作条件也单独试了一回:拿掉演员网络对参考动作的依赖,只让它在视觉状态下做决策,最终准确率从 0.961 掉到 0.936。参考动作带来的额外信息,看来确实派得上用场。

保留记忆的规模也做了对比,10、20、50、100、200 个回合几种设置都跑了一遍。结论是留得越多未必越好:100 到 200 个回合之间表现最好,可 200 个回合反倒比 100 个回合略差一点。这跟直觉拧着来——按说记忆库越大信息越全,效果该更好才对。实际原因是旧数据囤得太多,训练时的资源分配被占去一块,当前任务的学习效率跟着被挤压。持续学习不是把旧数据一个劲往库里塞就能成,得在保留和学习之间找个平衡。

基础模型自己遗忘的情况,论文也单独测了。做法是压低微调基础模型时旧任务示范数据的比例,从 100% 一步步降到 5%,模拟基础模型在持续学习中出现退化。结果显示,基础模型本身表现往下走的时候,ACCRUE 的遗忘控制效果依然维持在相对不错的水平。这套机制并不完全依赖基础模型自身的稳定性,有一定的容错能力。

另一种基础模型架构上,论文同样做了验证。

这些结果为什么要紧?

串起来看,ACCRUE 处理的是一个朴素却长期被低估的矛盾:机器人要持续进化,就得不断吸收新技能,可每吸收一次,旧技能就天然面临被冲淡的风险。

论文给的答案谈不上什么复杂的理论突破,靠的是几个朴素设计的精巧组合:继承而不是重置,分工而不是混用(评论家专注当前任务,蒸馏专注旧任务保留),固定视觉接口保证兼容性。单拎出来看,哪一件都不算石破天惊,可凑到一起,原本需要反复从零开始的流程,变成了能持续累积经验的流程。

对真实世界里长期服役、不断接触新任务的机器人来说,“经验能攒得住”这件事,或许比单次任务学得多快更关键。

Q&A

Q1:ACCRUE是什么?

A:这是英伟达和 KAIST 联合提出的一种持续离线策略强化学习框架,专为机器人基础模型设计,让它们学新任务时不必从零训练,同时还能保住此前学过的技能。

Q2:ACCRUE相比传统方法能节省多少训练时间?

A:真实机器人实验中,达到 95% 成功率所需的交互训练时间,ACCRUE 能省下 31.0% 到 68.5%,旧任务的平均成功率 meanwhile 维持在约 97%。

Q3:ACCRUE为什么不让评论家网络去评判旧任务的表现?

A:保留的旧任务样本数量有限,继承来的评论家网络在这些样本上打分未必准。拿不够准的打分去指导旧任务的动作调整,已经学会的技能反而会被侵蚀,所以论文只用蒸馏来保留旧行为。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  2. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  3. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  4. SpaceX星舰第15次试飞:首次用“筷子”夹住飞船,双回收只成一半

    美国太空探索技术公司重型运载火箭“星舰”的第二级飞船当地时间11月14日返回地球,并由发射塔机械臂“捕获”回收,完成第15次试飞。这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键一步,也让大众再次聚焦,在航天技术持续突破下,人类距离真正的星际旅行还有多远?美“星舰...

    来源 腾讯网
  5. 马斯克SpaceX创造历史:「筷子夹火箭2.0」,星舰飞船首次被发射塔捕获

    机器之心编辑部今天凌晨,SpaceX 再次上演了堪称科幻电影的一幕。在经历超过 22 小时的太空飞行、绕地球飞行 14 圈后,一艘高约 52 米的巨型飞船,重新穿过大气层,飞回美国得克萨斯州的星舰基地。在距离地面不远的地方,星舰重新点燃发动机,完成最后的翻转与减速,精准进入发射塔两条巨大机械臂之间。随后,发动机关闭,.

    来源 腾讯网
  6. 苏姿丰与李飞飞CoRL首次同台:82亿美元收购后聊了什么

    编辑|Panda「台下有谁需要算力吗?」主持人 Peter Stone 刚把学术界的算力焦虑摆上桌面,AMD 董事长兼 CEO 苏姿丰就用一句反问接了过去。台下坐着的,是一屋子做机器人学习的学生和教授,他们大概是今天全世界最缺 GPU 的一群人。这是 11 月 12 日下午,机器人学习顶会 CoRL 2026 在美国奥

    来源 腾讯网
  7. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  8. 退货仓里的机器人:从搬箱子到直接分拣衣服

    双11结束了,退货仓里的忙碌才刚刚开始。过去,自动化设备已经接手了不少工作。如今,双臂机器人又开始直接抓取、识别和分拣退回来的商品。一场围绕退货处理的人机分工变化,正在仓库里发生。

    来源 AI 行业观察
  9. 波士顿动力Atlas拆掉双脚换上轮子:双足机器人为何改走轮式路线

    “ 双足装上了轮子也是双足2026年11月9日,波士顿动力在官方频道放出一段不到一分钟的视频,画面里那台叫 Atlas 的机器人没有脚,工程师用一只定制转接件,把市面上买得到的电动滑板车轮装进了两个踝关节执行器,随后这台身高1.9米、自重90公斤、全身56个自由度的设备在平地上冲刺,横移,一脚踩死后急停,最后腾空转了整

    来源 腾讯网
  10. 具身智能融资466起1245亿:机器人离干活还差什么

    2026年,资本、模型和制造同时加速,机器人开始批量走下生产线,但下线不等于交付,演示不等于胜任。具身智能能否真正跨越产业之门,取决于技术能否被组织成稳定工作的系统,并在真实场景中持续创造价值。

    来源 AI 行业观察
  11. 禾赛科技三季度机器人收入过半,樊鹏谈人形机器人硬件需求

    《科创板日报》11月16日讯(记者 戴嘉怡) 今年三季度,禾赛科技超过一半的营收来自机器人相关业务。近日,禾赛科技CFO樊鹏在接受《科创板日报》记者采访时表示,这部分收入主要来自面向Robotaxi、无人配送车和消费级机器人等应用的激光雷达,也包括动力模组和Kosmo两项新业务。樊鹏回顾,禾赛早期就为Robotaxi等

    来源 腾讯网
  12. SpaceX星舰首次被机械臂空中接住,数万亿估值叙事添关键一环

    SpaceX首次用发射塔机械臂在空中接住星舰飞船,创造航天史上轨道返回飞船塔架回收先例。Bernstein分析师认为此举是支撑SpaceX数万亿美元估值的关键一步——完全复用将大幅压低入轨成本,直接提升星链部署效率与商业天花板。摩根士丹利警示市场低估了此次任务价值,将显著降低商业复用与AI太空算力扩张的执行风险。

    来源 华尔街见闻
  13. 戴士钦离职:黄仁勋离任为何成关键原因?

    英伟达机器人学习工程师戴士钦(Darrell Dai)近日宣布将离开公司。他表示,黄仁勋的突然离职是其决定的关键原因,并坦言“黄仁勋离职让我格外失望”。 戴士钦称,黄仁勋远不止是CEO。他钦佩对方早在深度学习热潮前就投入CUDA、提前布局AI,并持续推动机器人与物理AI发展,这些远见为公司奠定了核心

    来源 AI 开发者社区
  14. 戴士钦离职英伟达:黄仁勋卸任成关键原因

    英伟达机器人学习工程师戴士钦宣布离职,称黄仁勋突然离职是关键原因,并为此格外失望。他赞黄远不止CEO:早在深度学习热潮前投入CUDA、布局AI,推动机器人与物理AI,为公司奠定核心竞争力,还塑造了亲自阅读员工“Top5”邮件等企业文化。

    来源 AI 产业速递
  15. 全日空投资Space Quarters:布局太空建筑,发射成本下降成契机

    IT之家 11 月 15 日消息,全日空本月 13 日宣布,公司已通过 ANA 未来创投基金投资 Space Quarters 公司。这家公司通过电子束焊接技术和自主研发机器人系统,提供太空组装、建设大型建筑物的解决方案。据介绍,火箭发射成本近年来快速下降,太空运输技术也随之进步。但由于火箭整流罩尺寸限制,空间站和轨道

    来源 腾讯网
  16. 蔚建科技完成超亿元融资:建筑机器人三年订单复合增长超100%

    图源/企业 本文约2700字,建议阅读7分钟 作者丨欧雪 编辑丨原斯来 硬氪获悉,建筑机器人公司上海蔚建科技有限公司(下称“蔚建科技”)已于近期完成第五轮融资,融资金额超亿元人民币,投资方为财通资本。本轮资金将主要用于生产制造、海外市场开拓、产品和具身智能技术持续研发投入。 蔚建科技成立于2020年6月,是全球建筑机器

    来源 AI 行业观察
向下滚动自动加载更多