机器人学会“看”大模型做动作，然后自己飞快地做

你有没有想过，一个顶尖的大厨要怎么把手艺教给一个只会简单翻炒的新手厨师？

最直接的办法是让新手把大厨的每一个动作都录下来，然后逐帧模仿。但问题来了，大厨切菜可能要几十刀才能切成完美的丝,如果让新手也学着切几十刀,他本来动作就慢,现在更慢了,厨房根本忙不过来。

这其实就是今天机器人圈子里正在发生的事情。

**大模型会做动作，但做得太慢**

最近几年,机器人操作领域冒出了一堆参数动辄几十亿的大模型,业内管这类模型叫VLA。

VLA（Vision-Language-Action模型）：一种把摄像头看到的画面、听到的语言指令，直接转换成机器人动作指令的大型神经网络。

这些模型确实厉害,见过的场景多,泛化能力强,换一个没见过的物体也能八九不离十地抓起来。但它们有个致命的毛病:算得慢。

为什么慢?因为这些模型内部用的是一种叫"流匹配"的生成方式,简单说就是从一堆随机噪声开始,一步一步地"去噪",逐渐逼近正确的动作。这个过程通常要迭代10次左右才能生成一个靠谱的动作,而每一次迭代都要让几十亿参数的模型跑一遍完整的前向计算。

想象你用智能手机拍一张夜景照片,手机为了降噪要连续拍十张叠加合成,这个过程几秒钟就过去了。但如果把这个"十次迭代"搬到机器人身上,机器人要在物理世界里实时反应,十次迭代的计算延迟,可能足够让它抓偏一个正在滚动的球。

那怎么办?业内已经有两条路。第一条是直接设计小模型,比如参数只有几亿的SmolVLA,靠裁剪结构来换速度。第二条是知识蒸馏,把大模型的本事教给小模型。

知识蒸馏*：让一个参数量小、速度快的"学生"模型，去模仿一个参数量大、能力强的"教师"模型的行为，从而在不丢失太多能力的情况下大幅压缩模型体积。

这篇论文选的是第二条路,而且走得更远,它同时解决了"模型变小"和"步数变少"这两个问题。

**在线蒸馏为什么比离线蒸馏聪明**

传统的蒸馏方式有点像死记硬背。你把教师模型生成的一堆标准答案记录下来,学生模型就照着这些答案死磕。问题是,学生自己实际操作时走的路径,往往和教师预先录好的那条路径不一样,一旦走偏,学生就不知道该怎么纠正了,因为它压根没在那个岔路口学过。

这就是所谓的"分布不匹配"问题,离线蒸馏学到的是教师的轨迹,但学生自己跑起来之后,状态分布跟教师完全不是一回事,误差会越滚越大,业内叫这个"复合误差"。

论文选择了另一条路,叫在线策略蒸馏，英文缩写OPD。

OPD（On-Policy Distillation，在线策略蒸馏）：不是让学生死记教师预先录好的标准答案，而是让学生自己动手试，教师只在学生实际走到的那个状态上给出纠正意见。这样学生学到的永远是"我现在这个状态该怎么办"，而不是"教师当年那个状态该怎么办"。

这就好比学开车。教练录了一段自己开车的视频让你照着练,和教练坐在你旁边,你开到哪一步,他就在哪一步纠正你,这是完全不同的两种学习效果。前一种你照着视频学,一旦遇到视频里没出现过的路况就懵了;后一种,无论你开偏到哪,教练都能当场告诉你怎么修正,这种"现场纠偏"的信息密度和针对性,比提前录好的视频高得多。如果不这样做,学生模型在真实部署时遇到和训练轨迹稍有不同的场景,很可能直接翻车,这正是离线蒸馏最大的软肋。

但在线策略蒸馏本身也有个大麻烦:它要求教师在学生生成的每一步去噪过程中都给出指导。前面说过,流匹配模型要迭代10步才能出一个动作,这意味着教师模型要被调用10次,而教师是几十亿参数的大模型,调用一次就很贵,调用10次,训练成本直接起飞。

这就是FastOPD要解决的核心矛盾。

**只看一眼,也能学到全部动态**

FastOPD的关键想法是,不需要教师陪着学生走完全程,只需要在学生自己走的某一个随机节点上,让教师出来指点一下就够了。

具体怎么做到的?这里要引入一个叫"流图"的概念。

流图（Flow Map）：传统的流匹配模型只会算"下一瞬间往哪走"，而流图模型能直接算出"从任意起点s跳到任意终点t该怎么走"，相当于把原来需要十次小碎步才能完成的路程，压缩成一次大跨步就能完成。

有了流图,学生模型就可以从纯噪声状态直接"跳"到某个时间点,而不需要一步步走过去。FastOPD做的事情是:让学生先用自己的流图跳到某个随机采样的时间点,得到一个状态;然后只在这一个状态上,让教师给出"这里该往哪个方向走"的指导;学生模型就把自己在这个状态上的瞬时速度,往教师的方向拉近。

这就是论文里说的"单状态教师监督"。整个训练过程,教师只需要被调用一次,而不是十次。

这其实是一种精打细算的取舍。你不可能让一个大厨全程盯着每个新手切的每一刀,那太费大厨的时间了。但你可以让大厨随机抽查新手切菜过程中的某一刀,告诉他"这一刀的角度不对,该这样切"。只要抽查的频率够高、覆盖的场景够广,新手照样能学到大厨的手艺,而且大厨不用全程陪练,省下来的时间可以指导更多学生。

论文的实验数据证实了这笔账算得对:FastOPD训练1000次迭代只需要1.43小时,而传统的逐步在线蒸馏要9.51小时,整整快了5.7倍。

**只教一个点,怎么覆盖所有情况**

但这里有个明显的漏洞。如果只在一个点上教学生,学生怎么知道从任意两个时间点之间该怎么跳?总不能每两个时间点的组合都单独教一次,那教师调用次数又回去了。

论文的解法是引入一个叫"自洽性"的约束。

自洽性（Self-Consistency）：如果一次大跳跃和两次连续的小跳跃到达的是同一个终点，那这次大跳跃的方向，就应该和这两次小跳跃合成的方向保持一致。这个约束不需要教师参与，纯粹是学生自己内部逻辑的检验。

这个想法最早来自一类叫"捷径模型"（Shortcut Models）的研究,FastOPD在这个基础上做了改良:它要求从起点s到终点t的直接跳跃,必须等于先跳到中点m、再从中点跳到终点这两步的平均效果,而且这两步的"瞬时速度"恰好就是前面被教师监督过的那个量。

这就形成了一个巧妙的接力。教师只负责教会学生在"瞬时"这一刻该往哪走,而自洽性约束负责把这个瞬时的知识,传递、扩散到任意跨度的跳跃上去。

这好比你只学会了如何正确地迈出一小步,但通过"两个半步应该拼成一个整步"这条规则,你就能推算出任意大步该怎么走,而不需要有人手把手教你每一种步长。如果没有这条自洽性规则,学生学到的知识会被困在教师监督过的那个孤立瞬间,无法扩展到实际推理时需要的任意步数跳跃,实验里论文专门测试过,去掉自洽性只保留教师监督这一项,模型在只有一步推理的情况下成功率直接从77.3%掉到25%,这说明单靠教师这一个点的信息,根本撑不起整个流图。

反过来,如果只有自洽性约束而没有教师监督呢?论文也测了,成功率直接崩到14.5%,因为没有锚点,自洽性这套内部逻辑可以自我一致地收敛到任何一个错误的方向上,就像两个学生互相检查作业,如果都抄错了同一个答案,他们俩互相对照反而会强化错误。

两者缺一不可,合在一起才能把教师的瞬时知识,正确地铺满到整个流图上。论文为这个结论提供了理论证明,证明学生最终收敛到的分布,会无限逼近"教师理论上的捷径模型"所对应的分布,也就是说,这套组合拳不是碰运气凑出来的效果,而是有数学保证的。

**实验结果说话**

说了这么多设计思路,实际效果到底怎样?

论文在两个仿真平台和一个真实机器人场景里做了测试。

在LIBERO这个单臂机器人测试平台上,教师模型是3.3B参数的π0.5,学生是450M参数的SmolVLA,体积差了7.3倍以上。结果显示,FastOPD蒸馏出的学生,只用2步推理就达到了81.8%的平均成功率,相当于保住了教师97.5%成功率的84%,而推理延迟从301毫秒压到了66毫秒,降了78.1%。

更有意思的是,FastOPD只用1步推理(50毫秒),成功率就超过了用10步推理的原始SmolVLA基线(193毫秒)。换句话说,蒸馏之后的小模型,速度快了近4倍,效果反而更好。

在RoboTwin 2.0这个双臂操作测试平台上,教师换成了4.2B参数的LingBot-VLA,学生单步成功率从基础SmolVLA的35.3%提升到了51.2%,涨了15.9个百分点。

论文还测试了一种新兴的世界动作模型（WAM）作为教师。

WAM（World Action Model，世界动作模型）：一种基于视频生成模型改造而来的机器人控制模型，和VLA用的技术路径完全不同，但同样可以生成动作序列。

拿一个6B参数的Fast-WAM作为教师,蒸馏出的学生单步成功率也达到了50.5%,证明FastOPD这套方法不挑教师的"出身",不管教师是VLA架构还是视频生成架构,只要能输出动作的瞬时速度,就能被蒸馏。

真实机器人实验也做了验证。研究团队用一个双臂YAM机器人,设计了一个"捡球放盘子"的任务,教师是MolmoAct2这个真实部署友好的模型。结果显示,FastOPD蒸馏出的学生用4步推理,成功率达到50%,比同样4步的基础SmolVLA高出8个百分点,甚至比10步的基础学生(44%)还要好,同时执行时间从19.32秒缩短到17.38秒。

这组数据传递的信息很直接：少走几步路，反而走得更快更准。

**这些数字意味着什么**

回头看整篇论文,它其实在回答一个很朴素的问题：怎么让聪明但笨重的大模型,把本事教给又快又小的学生,而且教学过程本身也不能太慢。

论文给出的答案是两件事叠加:一是只在学生自己走到的某一个点上让教师出手指导,省掉了逐步监督的巨大开销;二是用自洽性约束把这一个点的知识,扩散成覆盖任意跳跃步数的完整能力。

这两件事合在一起,带来的结果是训练快了5.7倍,推理步数从10步压到1到2步,模型体积压缩了7.3倍以上,而性能只打了八四折。

值得一提的是,这篇论文还顺手验证了一件事:蒸馏的起点不一定非要是传统的行为克隆,用更费时的在线蒸馏预热过的学生,配合FastOPD做后续精调,效果反而更好,这说明FastOPD不是一个孤立的训练配方,而是可以嫁接在不同起点上的通用后处理手段。

写在后面

读到这篇论文最让人意外的一点,其实是那个"只看一眼"的设计。直觉上你会觉得,监督得越密集,学生学得越像,但论文的实验恰恰证明,密集监督带来的收益和它消耗的训练时间完全不成比例,一个精心设计的单点监督加上数学上有保证的自洽性约束,效果不输给十倍训练成本的全程监督。

这其实挑战了一个很多人默认的直觉：教学投入和教学效果一定成正比。现实中很多老师的经验恰恰相反,点到为止、让学生自己把知识补全,往往比全程盯梢更有效,前提是这个"点"选得准,而且有一套机制能让学生自己把这个点上的知识推广开。FastOPD用数学语言把这件事说清楚了。

另一个值得琢磨的细节是,论文里提到OPD初始化的学生在4步推理时成功率莫名其妙掉到44.2%,但用FastOPD接着训练之后又恢复了。这说明某些训练配方可能在特定步数上留下隐藏的"坑",而后续的训练过程有机会把这个坑填平,这背后的机制论文没有深挖,但这个现象本身值得后续研究者多想想。

机器人要在真实世界里跟人打交道,终究要面对一个无法回避的约束,那就是时间不等人。一个想法再好,如果机器人要花十步去想清楚该怎么抬手，球早就已经落地了。

Q&A

Q1：FastOPD是什么？

A：FastOPD是一种让小型机器人模型学习大型VLA模型本领的训练方法，核心是只在学生模型自己走到的某一个状态点上让教师模型指导一次，再配合自洽性约束把这个知识扩散到整个推理过程，从而大幅压缩训练和推理成本。

Q2：FastOPD和传统的在线策略蒸馏（OPD）有什么区别？

A：传统OPD需要教师模型在学生生成动作的每一步去噪过程中都给出指导，调用次数多、训练成本高。FastOPD只需要教师在学生自己采样到的单个状态上监督一次，训练速度快了5.7倍，同时效果不输甚至超过传统方法。

Q3：FastOPD压缩后的模型效果损失大吗？

A：不大。在LIBERO测试中，FastOPD蒸馏出的450M参数小模型只用2步推理就能保住大模型97.5%成功率的84%，推理延迟降低78.1%，部分情况下甚至比没蒸馏的学生用10步推理还要好。