英伟达联合港科大清华：0.32M小模型同时掌握40种机械臂操作

从2014年起，机器人强化学习圈子里有一条不成文的惯例：一个策略只管一件事。想让机械臂会开抽屉，就专门训一个模型；想让机械臂会倒水，再训另一个。效率确实低，可大家都认了，要把多个任务塞进同一个策略，难度太大。

难在哪里？

可以设想同时给四个脾性完全不同的学生做考前辅导：一个学得飞快，一个怎么教都不动，一个时好时坏，还有一个根本不配合。用一份教案、一张进度表去套所有人，结果多半是快的被拖慢、慢的被甩下，谁也没教好。多任务强化学习就卡在这儿：40个任务难度不一、奖励信号不同、学习速度各异，强行联合训练，常常是少数简单任务学得不错，剩下的大半几乎学不动。

英伟达、香港科技大学（广州）与清华大学的一篇研究论文正是冲着这个难题去的。团队搭了个训练平台Hebero，又配上自研的DGPO训练方法，最后让一个参数量仅0.32M（32万个参数，比不少手机APP的图标文件还小）的紧凑策略，把40个差异很大的机械臂操作任务一并学会，平均成功率90.1%。一个脑子干40件事，还能拿到这个数字，确实出人意料。

GPU并行仿真：把实验室搬进显卡

头一个要解决的其实不是算法，是基础设施。

机器人强化学习天然耗数据，而数据得靠大量试错交互攒出来。以前这种交互要么上真机，慢、贵，还容易把硬件弄坏；要么跑CPU上的物理仿真器，比如MuJoCo，可CPU的并行能力有限。

GPU并行仿真的思路是让显卡同时算成千上万个独立物理场景，机器人等于在几千个平行世界里反复试错，数据收集速度随之大幅提升。

Hebero把LIBERO基准（业界常用的机器人操作测试集，含40个任务）里的40个任务全部放进同一个GPU并行仿真进程。论文给出的数字很直接：单张L20显卡上，Hebero的仿真吞吐量达到每秒7500步，是对照的96核CPU版MuJoCo基准（每秒2200步）的3.4倍；显存占用仅10.6GiB，CPU方案则吃掉1.5TiB主机内存。

这组对比不只是秀性能，它直接决定后续实验做不做得成。仿真慢、内存开销大，一个策略就没法在合理时间内吃够40个任务的数据，联合训练更无从谈起。

还有个细节：并行环境数量扩上去，同样的训练时间预算下成功率确实更高。论文实验显示，每个任务的并行副本从40个加到4000个，整体平均成功率从个位数一路升到70%以上。练钢琴也是这个道理，一天练一小时，和分十个时段各练六分钟，效果可能差不多；可要是这十段能并进同一个小时，总练习量上去了，熟练自然更快。GPU并行仿真干的正是压缩时间这件事。

示范数据怎么用：DGPO框架的三件套

仿真器再快也不够，多任务学习的核心难题还摆在那儿：稀疏奖励下怎么学。

所谓稀疏奖励，是指不少机械臂任务只在完成那一刻给一个成功信号，中间过程毫无反馈，策略在摸索阶段基本像无头苍蝇乱撞。

团队的想法是，LIBERO每个任务本来就配了50条人类示范轨迹，那不如把这些轨迹用得更彻底。DGPO（Demonstration-Guided Policy Optimization，示范引导的策略优化）框架由此而来，核心是三个共享组件。

头一个是示范追踪奖励。传统做法往往只在任务最终完成时给奖励，DGPO把示范轨迹里机械臂的运动、物体的位置变化都转成密集奖励信号，策略每一步越贴近示范，拿到的奖励越多。学游泳时教练不会等你游到对岸才开口，而是全程盯着划水姿势和呼吸节奏随时纠正；少了这种密集反馈，初学者在水里扑腾半天也摸不着门道，因为他压根不知道自己哪步做对了、哪步做错了。

第二个是非对称价值学习。训练阶段负责打分的评论家（critic）网络，能看到比实际执行策略的演员（actor）网络更多的信息，比如物体与目标之间的精确误差。这种信息差只存在于训练时，部署时策略仍然只用平时拿得到的那些传感器数据。

非对称critic（评论家网络）是强化学习里的常见架构：一个负责决策行动（actor），一个负责评估决策好坏（critic）；非对称指critic训练时能多看到actor看不到的内部信息，打分更准，但这些信息不会泄露给actor，actor部署时照样独立工作。

第三个是一套统一的示范命令流，在上千个并行环境里管住每个环境当前走到示范轨迹的哪一步、用的是哪条轨迹。听着琐碎，可缺了这套集中管理，几千个并行环境各自去查轨迹数据，重复存储和调度混乱就会冒出来。

IW-ABC：用一个信号同时调度该教多少和该重视谁

DGPO把框架搭好了，但框架只是地基，效果好坏还得看训练资源具体怎么调度。论文最核心的创新，是一个叫IW-ABC的训练策略。

IW-ABC的出发点相当朴素：每个任务学到哪一步，用一路很轻的信号就能衡量，即该任务近期的训练成功率。不用额外跑评估，直接从训练过程的滚动数据里统计。研究者把这个信号记作τk（任务k的学习进度），随训练不断更新，采用指数滑动平均（EMA），老数据权重渐弱，新数据权重渐强。

有了这个进度信号，两件事就能联动。

头一件是ABC，也就是自适应行为克隆（Adaptive Behavior Cloning）。

行为克隆（BC）是最直白的模仿学习方式，让策略直接照抄示范轨迹中对应时刻的动作，跟抄作业差不多。

ABC的巧妙之处，在于抄作业的力度会跟着两个变量走，而非让策略一直照抄。其一是该任务自身的学习进度，τk越高，照抄的成分就越少；其二是整体训练推进到哪一步，训练越往后，全部任务的照抄力度会被统一压到一个很低的下限。

家长辅导孩子写作业就是类似的场景。起初孩子什么都不会，家长手把手教，几乎等于代笔；某类题型一旦掌握，家长便主动松手，让孩子自己试，偶尔出错也不再马上纠正。可家长要是一直不放手，孩子永远学不会独立解题，考试时身边没有家长照样翻车。缺少这种"随进度递减"的设计，策略就会长期依赖示范动作，碰到与示范轨迹略有偏差的新场景——比如物体位置被随机挪动——便完全不知所措。论文后面提到的"评估协议会重新随机采样物体位置，而不是重复播放录制好的摆放"，测的正是这种能力。

第二件事是IW，重要性加权（Importance Weighting）。

它针对的是另一个问题：每个任务的数据收集得均衡，不等于每个任务学得均衡。简单任务三两下就学会了，难任务却长期停滞；PPO更新时若给所有任务同样的权重，难任务的声音就会被简单任务的大量成功样本盖过去。

IW的做法是拿每个任务当前的进度τk与全部任务的平均进度τ作比较，落后于平均水平的任务会分到更大的损失权重，在策略梯度更新里的"话语权"随之放大。这有点像班里排座位，老师特意把成绩落后的同学调到前排、多提问，不是偏心，而是这些同学需要更集中的注意力才跟得上。座位要是对所有人一视同仁，落后的同学只会越落越远。

论文还做了一项很细致的消融实验，看重要性加权该只作用在策略网络（actor）上，还是连价值网络（critic）一起加。结果很明确：两者都加权，平均成功率90.1%，长时任务成功率70%；只加权actor，平均成功率骤降到78.2%，长时任务成功率只剩50%。这组对比说明，只纠正"做什么动作"的偏差、不纠正"怎么评估这个动作好不好"的偏差，效果会打折扣，相当于只告诉落后的同学该读哪页书，却没同步调整给他们的测验难度和反馈密度。

两件事合起来看，IW-ABC用同一套进度信号，同时回答了"该不该继续抄作业"和"该不该被多关注"。这种一致性设计，比分别设计两套独立机制精简得多。

实验结果：数字怎么说话

论文对比了一整套学习方法，全部共享DGPO的训练底座，区别只在于示范数据怎么用。下面这张表是核心结果，所有方法都在相同的40任务、相同的30000次PPO迭代、相同的50条示范轨迹下训练。

| 方法 | 是否用重要性加权 | 平均成功率 | 长时任务成功率 | 任务覆盖数(满分40) |

|---|---|---|---|---|

| 纯PPO（无示范） | 否 | 50.8% | 10.0% | 20 |

| BC初始化后接PPO | 否 | 47.5% | 20.0% | 18 |

| ABC | 否 | 75.5% | 40.0% | 29 |

| FAMO-ABC（最强基线） | 否 | 82.3% | 53.3% | 30 |

| IW-ABC | 是 | **90.1%** | **70.0%** | **35** |

| 视觉版IW-ABC | 是 | **93.5%** | **81.9%** | **38** |

表里有几个数字值得停下来多看一眼。先看单纯用示范做离线初始化（BC→PPO），它反而比什么都不用的纯PPO还差一点（47.5% vs 50.8%）。离线预训练的知识如果在线阶段不能持续被"激活"，很容易在后续训练里被遗忘，甚至把方向带偏。

再看ABC，相比BC→PPO是巨大跃升（75.5% vs 47.5%）。在线、动态的示范引导比一次性的离线模仿更有效，因为它能按当前训练状态实时调整引导强度，而不是训练一开始就把所有鸡蛋放进一个篮子。第三，IW-ABC相比目前最强的竞品FAMO-ABC，平均成功率高7.8个百分点，长时任务成功率高出16.7个百分点（70.0% vs 53.3%）。

FAMO是另一种多任务平衡方法，全称Fast Adaptive Multitask Optimization，靠观察每个任务损失函数的下降速度来动态调权重，原本用于价值函数（critic）的平衡。论文把FAMO和ABC结合成FAMO-ABC，作为最强对照组。

长时任务（Long任务）的成功率提升幅度最大，这个现象很值得琢磨。这类任务通常要求机械臂走完一连串步骤才拿到最终奖励，比如先拿起一个物体，再打开一个抽屉，再把物体放进去，中间任何一步失误，整个任务就失败。

它原本就是稀疏奖励问题里最棘手的一种，信号稀疏到几乎像在黑暗里摸索。IW-ABC能把长时任务的成功率从53.3%一口气提到70%，说明这套"进度感知+动态加权"的机制，恰恰在最难啃的骨头上发挥了最大作用。

视觉版本的IW-ABC表现更进一步，平均成功率达到93.5%。这个版本的策略不依赖物体的精确坐标，而是直接从第三人称和手腕摄像头的图像里提取特征，用的是一个冻结参数的Tiny ViT视觉模型，策略网络只需学习一个轻量的注意力池化层来汇总图像特征。视觉版本总参数量5.92M，仍算相当紧凑的策略，效果却反而比状态输入版本更好。

这多少有点反直觉，因为通常大家会觉得，喂"已经处理好的精确坐标"应该比喂"原始图像"更容易学。一个可能的解释是，视觉特征里含有状态向量没有编码进去的额外上下文信息，比如物体的朝向细节、遮挡关系等等。

真实机械臂上的检验

仿真里表现好，不等于到了现实中还能用。强化学习研究常卡在“sim-to-real gap”（仿真到现实的差距）这一关，策略在仿真环境里再漂亮，换到真实机械臂上也可能马上失效。论文这次选的验证路子偏保守，但够扎实：没有直接去测最复杂的视觉策略迁移，而是拿状态输入的IW-ABC策略，在仿真里把四个RoboTwin Piper机械臂任务放在一起训练——点击铃铛、摇晃瓶子、把药瓶移到垫子上、把容器放到盘子上；训练完把权重原样部署到真实的Piper机械臂上，中间不做任何权重更新。

真实环境中的物体姿态感知交给FoundationPose——一个基于RGB-D图像的6D姿态估计与跟踪模型，估计出的物体位置被转换到机器人坐标系，再输入冻结的策略网络。

20次试验下来，总体成功率82.5%。分开看：点击铃铛20次全部成功，摇晃瓶子成功15次，药瓶挪移成功13次，容器放置成功18次。这组数据说明，仿真里练出的多任务策略确实能跨过现实鸿沟，尽管场景只限于四个任务。它也侧面印证了一点：示范追踪奖励、非对称critic这些在仿真训练阶段专门设计的机制，目的不是把仿真评估指标做好看，而是让学到的行为具备可迁移、可泛化的结构——机器人学习要解决的正是这个问题。

还有哪些问题没解决

论文自己承认了局限。IW-ABC依赖的时间索引式行为克隆目标，实质是要求策略在训练的某一时刻去模仿示范轨迹里同一时刻的动作；可一旦策略的实际轨迹偏离了示范轨迹（复杂任务里这种偏离几乎躲不掉），按时间对齐的模仿目标就可能失去意义——好比跟着一个人学跳舞，两人节拍已经慢慢错开，再模仿也对不上点。论文提到追踪奖励能部分缓解这种偏移，但并没有彻底解决。

另外，受研究资源限制，训练和评估只覆盖LIBERO和RoboTwin两个基准，没有扩展到更大规模或更多样的任务集合。研究团队明确表示，后续会把这套基准构建方法和DGPO训练框架推向更有挑战性、规模更大的任务体系。

写在后面

读这篇论文，让我停下来多想一会儿的不是最终那个90.1%，而是IW-ABC的设计逻辑：它没有为“示范引导力度怎么分配”和“任务权重怎么分配”各造一套复杂系统，而是用同一个廉价信号——训练成功率的滑动平均——把两个问题一起回答了。一个信号、两处复用，这种克制在工程实践里挺少见；不少论文的习惯是每个子问题配一个专门模块，系统越堆越臃肿、越来越难维护，这里反倒做了减法。

还有个细节让我重新琢磨“模仿学习”的本质。论文里提到，单纯用离线BC初始化（BC→PPO）的效果比完全不用示范的纯PPO还差（47.5% vs 50.8%）。乍看有点尴尬：费劲做了预训练，结果拖了后腿。细想却合理——示范动作和真实部署场景哪怕只有细微的分布差异（比如论文评估协议会重新随机采样物体位置），一个被示范数据“锚”得太死的初始策略，在后续在线训练里反而更难摆脱错误先验。这也是ABC让模仿力度随进度和时间动态衰减、而不是一次性灌完就撒手的原因。教育里有个老道理与此相通：填鸭式灌输有时比不教还糟，学生得先费力气忘掉错套路，才能重新学会对的。

论文没完全解决的“轨迹漂移”问题，是个挺有意思的开放题。策略在模仿示范时逐渐偏离轨迹，和人类学新技能的情形很像：你照着教练的动作练网球发球，练着练着，节奏和力度已养成自己的习惯，这时还死守教练最初示范的“标准动作时间轴”来纠正，未必是最优教法。怎么设计一种能察觉“学生已经走出自己的路”、并据此调整引导方式的机制，这个问题留给未来的研究者，也留给每个正在学新技能的人。

Q&A

Q1：Hebero是什么？

A：Hebero是一个基于Isaac Lab构建的GPU并行机器人学习基准，把LIBERO基准里全部40个高度不同的操作任务整合进同一个GPU并行仿真进程，支持状态输入和视觉输入两种策略的联合训练与评估。

Q2：IW-ABC相比其他方法效果好在哪里？

A：IW-ABC用同一个轻量的任务学习进度信号，同时调度自适应行为克隆的引导力度和PPO更新的任务权重。在40个任务上达到90.1%的平均成功率，比最强基线FAMO-ABC高7.8个百分点，长时任务成功率更是高出16.7个百分点。

Q3：这个多任务策略真的能用在真实机器人上吗？

在真实的 Piper 机械臂上，论文完成了验证：一个四任务状态策略只在仿真中联合训练，部署到真实硬件时不做任何权重更新，20 次试验总体成功率达 82.5%。这说明仿真训练出的多任务策略能够迁移到现实环境。