英伟达GR00T:机器人动作生成为何要迭代十次?
你有没有想过,为什么现在最先进的机器人,想要做一个拿杯子的动作,脑子里却要"想"十次才能动一下?这不是夸张。目前主流的机器人基础模型,无论是英伟达的GR00T,还是各家实验室的具身智能方案,内部用的都是一种叫"流匹配"的技术来生成动作。这套技术的工作方式有点像老式相机的多次曝光:先给机械臂的动作轨迹撒上一层...
拿杯子这么一个简单动作,现在最先进的机器人却得在“脑子”里来回推演十次才肯动一下,这事你留意过吗?
并非夸大其词。英伟达的GR00T也好,各家实验室的具身智能方案也罢,眼下主流机器人基础模型内部生成动作都靠一种叫“流匹配”的技术。它的路数有点像老式相机的多次曝光:先往机械臂的动作轨迹上撒一层纯噪声,再让模型一步步去噪。四步、十步乃至更多步,噪声才变成能真正执行的动作。
可机器人不是在实验室里慢悠悠画图,它得在真实世界里抓取、移动、避障。每去一次噪,就得多跑一次神经网络前向计算,这笔开销并不便宜。以英伟达的GR00T-N1.6为例,单是生成动作这一环就吃掉了整体推理时间的大约40%;换成算力更弱的机器人边缘设备,比如Jetson Orin芯片,占比还能冲到50%。
换句话说,机器人一半的“思考时间”都耗在反复去噪上,真正用来理解世界和做决策的部分反而不多。这篇论文要解的正是这个结:能不能让机器人一步就把动作生成出来,而非磨磨蹭蹭走十步?
一步生成这件事,图像生成领域其实早就交过答卷。
最近两年,图像生成那边撞上过一模一样的难题。扩散模型出一张图动辄几十步甚至上百步,研究者于是搞出各种加速方案,从知识蒸馏到一致性模型,花样不少。
MeanFlow就是其中一种新训练思路。它跟传统流匹配预测“瞬时速度”的做法不同,让模型直接去学任意两个时间点之间的“平均速度”。训练完成之后,只要把起点和终点代进去,模型一步就能跨过去,中间那些弯弯绕绕全免了。
听着挺美。图像生成那边既然验证过MeanFlow能一步出图,直接搬到机器人动作生成上不就成了?
论文作者起初也这么打算。结果直接套用下去,训练当场崩了。
机器人的“速度场”,跟图片的根本不是一回事。
这是整篇论文里最硬核、也最有意思的发现。
研究者做了组对比实验:在ImageNet图像生成任务和LIBERO机器人操作任务上,分别观察模型预测的“速度”随去噪过程怎么变。他们盯的是一个叫“局部加速度”的指标,说白了就是相邻两个时间点之间平均速度的变化幅度。
结果出人意料。图像生成里,这个加速度从头到尾都很平稳,像一条几乎不起波澜的直线。机器人动作生成里却不是,这条线在去噪快收尾的阶段(也就是越接近生成最终动作的时候)突然暴涨,峰值能达到起始值的76倍。
这意味着什么?
意味着机器人动作的生成轨迹并非一条平滑直线,它前半段风平浪静,后半段却突然剧烈拐弯。
好比开车去一个陌生地方。前面大半程都在高速上匀速巡航,方向盘几乎不用动,这时候凭经验闭眼估算接下来十分钟开到哪儿都没问题。可快到目的地最后几百米,窄巷子、急转弯、逆行的电动车全冒出来了,此时还按高速上那套“一把推算到底”的法子预判路线,大概率要撞车。机器人动作生成的后半程就是这种窄巷子路况,拿前半段的平稳假设去外推整个过程,模型到最后一刻自然彻底失准。
第二个发现更麻烦:这种加速度的波动范围(即不同样本之间差异有多大)会随着去噪推进越拉越宽。论文进一步分析发现,波动范围跟训练数据里任务的多样性强相关。机器人要做的任务种类越多(又要开抽屉、又要拿勺子、又要导航),后期的剧烈波动就越难预测,越容易出错。
两个问题叠在一起,MeanFlow在机器人身上训练时,损失函数图像直接变成了“钉子地毯”——到处是尖刺,极不稳定。论文给出的实测数据显示,最大损失值能飙到1.6乘以10的四次方,而正常训练本该是一条平滑的小坡度曲线。
Kinematic MeanFlow:把一步跨越拆成两步估算。
问题既然出在“拿一个局部观察去外推一整段剧烈变化的轨迹”,顺理成章的思路就是:别让模型一口气猜完整段,把这段路拆成两截,分别猜。
这正是论文提出的核心方法,名叫Kinematic MeanFlow,简称K-MF。
理论基石是一条运动学恒等式:在时间区间[r, t]中间取一个点c,那么从r到t的平均速度,恰好等于从t到c这一段平均速度加上从c到r这一段平均速度的加权组合。这在数学上严格成立,不是近似。
借这条恒等式,K-MF把原本要在整个大区间上估算一次的“时间导数项”,拆成两个子区间上分别估算的导数项。一个管早期阶段(去噪刚开始,路况平稳),一个专管晚期阶段(去噪接近结束,路况复杂)。
好比原本要一个人从北京一路开到广州,中途不休息不换人,路上任何一点疲劳驾驶的失误,都会在后面几千公里里放大成致命偏航。现在改成接力:第一个司机专跑高速平直路段,开到武汉交接给第二个司机,第二个司机只管集中精力应付后半段进城的复杂路况。不分段的话,一个人既要扛住平稳路段的长时间专注,又要在最后关头突然切换到高难度路况,出错率自然高。K-MF干的就是这件事:在中间点c设一个“交接站”,让两段路各由专门的估算负责,而不是一次估算扛下全程。
交接点c究竟该放在哪里?论文对三种策略做了测试。
第一种策略是随机采样,c在区间里随便取值,想靠多样化的切分让模型多见世面。第二种是固定中点,做法很直接,每次从正中间切一刀。第三种叫可学习策略,用一个只有三层的轻量神经网络,依据当前的t和r自己算出最合适的c位置。
结果有些出人意料:随机采样在三种策略里表现最差。固定中点明显更好,可学习策略又比固定中点稍好一些,综合表现最优。
这个结果和直觉相反。按常理,让模型见到更多样的切分方式应该有助于泛化,好比教孩子算术,题型见得越多学得越牢。可实际上,乱切反而引入更多噪声,没帮上忙。
由此可以看出,K-MF真正起作用的并不是提供了“更丰富的训练样本多样性”,而是找到了一个更精准的“估算锚点”,把误差放大压下去。多样性不是关键,定位准才是。
可学习的交接点:小网络如何决定“在哪儿换人”
固定中点已经不错了,为什么还要额外训练一个小网络?
论文的设计考量挺有意思。代码里这个小型生成器叫Gφ,是一个只有三层的轻量MLP,在训练的不同阶段承担不同任务。训练初期,模型自己对“整体时间导数”的估算还很不准,生成器此时应让拆分后的两段估算尽量偏离那个本就不准的整体估算,相当于有意制造差异、避免被带偏。到了训练后期,两段分开估算的“接力”机制已经跑顺,生成器就该让拆分估算逐步向整体估算靠拢,保持结果自洽。
论文用一个随训练进度线性变化的参数γ来控制权重转变,生成器因此在训练前半段和后半段扮演不同角色。
实验中还有一个耐人寻味的现象:可学习生成器算出的交接点位置,和“区间宽度”(即t减r)高度相关。区间越宽,生成器的策略越明显偏离中点;数据集规模越大(比如从2000条轨迹的LIBERO换成8.7万条轨迹的Fractal数据集),生成的交接点分布反而更集中。这暗示任务越复杂,模型越需要精确的锚点定位,而非随意摆动。
这就像一个资深急诊科医生做分诊。病人少、病情简单的小诊所,护士按先来后到分诊也出不了大错。到了大型医院,病患种类五花八门,分诊台就得有经验丰富的医生盯着,按病情轻重精确判断谁先处理。场景越复杂,交接点“随意”与“精确”之间的差距就被放得越大。
一步生成,效果不降反升
理论说了这么多,实际效果如何?
论文在两种训练范式下做了系统验证:一是在预训练好的GR00T-N1.6上微调,二是在SimVLA-S上从零训练。结果显示,K-MF只用一步生成,综合表现就持平甚至超过了需要四步乃至十步的传统流匹配方法。
具体来看,LIBERO基准的四个任务套件(空间关系、物体识别、目标变化、长序列任务)上,GR00T-N1.6用K-MF一步生成拿到97.9%的平均成功率,传统流匹配四步生成是97.3%。SimVLA-S从零训练时,K-MF一步生成是95.1%,流匹配十步生成是94.2%。
跨场景验证更有说服力。论文还在真实世界采集的Fractal数据集(谷歌机械臂,8.7万条轨迹)和BridgeData V2数据集(WidowX机械臂,5.3万条轨迹)上做了测试,覆盖“拿取”“移动”“开抽屉”“关抽屉”等桌面操作任务,以及人形机器人Unitree G1的点到点导航任务。结果显示K-MF在绝大多数任务上都优于传统流匹配,比如Fractal的“开抽屉”任务,成功率从35.5%直接跳到50.5%,提升了15个百分点。
推理速度方面,这才是论文真正想解决的痛点。在
当然,天下没有免费的午餐。K-MF要同时估算两段子区间的导数,训练时间比传统流匹配多出大约27%到33%,GPU显存占用也略有上升。但考虑到推理速度带来的巨大收益,论文认为这个训练成本完全可以接受。
对比其他同类方案,差距在哪里
论文没有回避与同期工作的横向对比,选了三个有代表性的对照方法:直接套用原版MeanFlow、专注提升强化学习稳定性的MVP方法,以及用课程学习思路做区间划分的α-Flow方法。
实测发现,原版MeanFlow想勉强跑通,得靠一整套“精心调校”的训练技巧,包括梯度裁剪、渐进式时间步采样(训练初期先学瞬时速度,再逐步过渡到学平均速度),以及足够多的训练轮次。即便这样伺候,MeanFlow也只能做到两步生成,一步生成直接失败。而且它对“切分时间点”选在哪儿特别敏感,论文的敏感性实验显示,两步生成的切分点从0.5挪到0.1,成功率能从接近90%暴跌到接近0。
相比之下,α-Flow 与 MVP 用不着这么繁琐的训练调校:前者靠区间划分的课程设计,后者靠瞬时速度约束,各自把训练稳定性撑住。可真正让它们只走一步就完成生成时,MVP 当场失灵,α-Flow 的成功率也大幅下滑。
只有K-MF,在没有任何额外调参技巧的情况下稳稳实现了一步生成,效果不输多步方法。
写在后面
读完这篇论文,最让我意外的不是K-MF方法本身多精巧,而是那个关于“速度场形状”的发现。研究者没有一上来就设计新算法,而是先花时间画图、对比,弄清楚机器人动作生成和图像生成究竟哪里不同。这种“先搞清楚病因再开药方”的研究路径,比直接套用现成方案更费时间,但也更靠谱。
论文中有一个关于误差放大的实验,研究者特意在多个早期时间点向模型输入混入1%的随机扰动,再看这点扰动最终会让导数估计的偏差膨胀多少倍。结论是扰动加得越早,最后放大的倍数越惊人,最高约120倍;加得越晚,放大效应反倒温和。换句话说,机器人动作生成的容错空间是前松后紧:开头出点小岔子,系统还能自己圆回来,可越临近终点,再小的偏差也可能像滚雪球一样被放大。这跟不少人以为"深度学习模型越往后越精细"的直觉,恰好相反。
另一点让研究者多想了许久:任务越丰富、数据集越大,速度场的波动范围就越宽,这一增长起初接近对数曲线,到某个阶段又转为趋于饱和的幂律增长。这暗示的问题更大——机器人基础模型若继续朝更大规模、更多任务类型扩张,一步生成恐怕会越来越难,而不是越来越容易。论文作者在结尾也直言,他们的方法目前尚未覆盖全身控制和灵巧操作这些更难的场景。故事没有收尾,更像才掀开一角。
Q&A
Q1:Kinematic MeanFlow是什么?
A:Kinematic MeanFlow(K-MF)是论文给出的一种新方法,能让机器人基础模型一步生成动作。它借助运动学恒等式,把时间导数拆成两段分别估算,从而解决了原版MeanFlow直接搬到机器人上会训练崩溃的问题。
Q2:为什么MeanFlow直接用在机器人动作生成上会失败?
A:原因在于机器人动作的速度场到了去噪后期会突然剧烈起伏,局部加速度最高能冲到初始值的76倍,样本与样本之间的波动差异也越拉越大。模型因此很难估准关键的时间导数项,训练中冒出大量损失尖刺,甚至彻底崩溃。
Q3:Kinematic MeanFlow能带来多大的推理速度提升?
A:在GR00T-N1.6模型上实测,K-MF让动作生成环节的延迟下降67.5%到74.4%,端到端推理延迟整体下降30.3%到54.9%;多数任务上,成功率不输传统多步生成方法,有的还更高。