UC San Diego团队：机器人控制为何要“边想边做”？

骑自行车的人和开SUV的人，导航软件给的路线是一样的。它不知道你骑什么车，也不知道你是新手还是老手。规划与执行之间，横着一道看不见的沟。

机器人控制领域被这道沟卡了很久。

通常是一套系统“看懂世界”，另一套系统“想清楚该怎么动”，分开训练，最后再设法拼起来。来自UC San Diego、苏黎世联邦理工、英属哥伦比亚大学和布朗大学的研究团队算了一笔账，看这种拆分要付出多大代价，结果拿出一个挺让人意外的解法：把“看”和“动”塞进同一个训练过程里一起学。

论文的主角叫LeWAM，全名是端到端世界与动作建模。

拿推方块到指定位置这样的任务来说，机器人得先看懂当前画面，再设想执行某个动作后世界会变成什么样，然后挑一个最接近目标的动作去执行。这种“想象未来”的能力，在人工智能领域有专门的叫法。

世界模型：让智能体不必真的执行动作，就能预测某个动作会带来什么后果的系统。相当于机器人脑子里搭了个“内心小剧场”。

过去几年，一类叫联合嵌入预测架构的方法慢慢流行开来，专门用来搭这种世界模型。

JEPA（联合嵌入预测架构）：不重建像素画面，直接在压缩后的“潜在空间”里预测未来状态的一种建模方式。LeCun在2022年提出这个思路，核心想法是机器不必把每一粒像素都画出来才算理解世界，就像你不需要在脑子里重现一张高清照片才知道“这是只猫”。

想法挺优雅，问题也跟着来了。

眼下最先进的两个JEPA方案，DINO-WM和LeWM，都是分两步走：先训一个视觉编码器，让它学会把画面压成有用的特征；再训一个“动态模型”，让它学会预测给定动作后下一步会发生什么。两步都搞定，才去接控制策略或者在线搜索算法，比如交叉熵方法，由它来决定具体执行哪个动作。

这就像先培养一个只会看地图的人，再培养一个只会开车的人，最后指望这两人配合默契地把车开到目的地。听起来就不太靠谱对吧。

这套分离训练的路子，研究团队确实发现了问题。JEPA 一类表征学习有个通病：更容易记住画面中“始终不变的部分”，像背景里一直在晃的树叶，反倒漏掉真正跟控制有关的信息，例如机械臂末端到底在哪。至于动作驱动的动态模型，同样可能掺进大量与观察有关、却对下一步动作没有用处的冗余内容。

两边都学得“不纯”，拼起来自然打折扣。

控制阶段的情况不一样。过去常见的做法是交叉熵方法这类基于种群的搜索：从很宽的高斯分布里随机扔出一批候选动作序列，再一轮轮筛掉差的，把得分最高的留下来。

交叉熵方法（CEM）是一种搜索算法：先随机生成大量候选方案，逐个评估好坏，留下其中最优的一部分，再拿这些优胜者重新生成下一轮候选，如此反复直到收敛。说到底，它靠的就是“大浪淘沙”式的试错。

在简单任务上，这套方法还过得去；可一旦碰上接触密集的操作任务，比如抓取、推压、插入这些需要机械臂与物体发生物理接触的动作，麻烦就来了。接触会让物理动力学突然变化——推箱子时力气小了它不动，到了某个临界力度又猛地滑出去。这种“模式切换”让局部动作微调失去意义，因为相邻两个动作完全可能带来不同结果。

要是搜索算法随机撒下的候选动作刚好都没碰到让物体有效接触的那个“甜蜜点”，那再怎么迭代优化也没用，评分函数给出的反馈始终是模糊的——它压根没见过“接触成功”长什么样。

这就像在漆黑的房间里找开关：你随手摸了一百次，一次也没碰到墙上那块凸起的开关面板，就永远不会知道“再往左挪一厘米”对不对，因为你根本没摸到任何有信息量的东西。策略不变，继续在黑暗里乱摸，结果要么耗掉大量时间，要么永远找不到开关。放到机器人场景里，就是搜索预算用完了，候选方案的质量依旧一塌糊涂。

这正是LeWAM要解决的核心问题：怎么让表征学习、动态预测和动作生成从一开始就长在一起，而不是事后拼接。

一个模型，三件事一起学

LeWAM 的训练目标很直接：让同一个编码器、同一个预测器同时干两件事。一件是预测“执行这个已知动作序列后，下一刻的潜在状态会变成什么样”，也就是动态预测；另一件是学会“给定当前情况和目标，该生成什么动作”，也就是动作生成。

这两件事用的是同一批观测数据，同一个视觉编码器，关键是同一次前向传播里一起优化，而不是先后分两阶段。

为了让这两种不同性质的任务共享信息又不互相干扰，团队用了一种叫混合变换器的架构设计。

MoT（混合变换器）是一种网络结构：不同模态（比如这里的“状态预测”和“动作预测”）各有独立的处理分支，但共用同一组注意力机制。打个比方，两个专业不同的同事各有自己的工作台和工具，却坐在同一张会议桌旁，随时能看见对方做到哪儿了。

具体拆开看，状态分支负责预测状态：它读取历史画面和已知的干净动作，据此推断未来的潜在状态。动作分支则主管动作预测，输入是加了噪声的动作序列，再借助流匹配技术一步步把噪声“去噪”，最终得到合理的动作。

所谓流匹配（Flow Matching），是一种生成模型的训练方法，核心思路是让网络学出一个“速度场”——从纯噪声出发，沿哪个方向、以多快的速度移动，才能一点点逼近目标数据。这里用它来生成动作序列，没有沿用传统那种直接回归出一个确定数值的做法。

有个设计细节很关键：历史画面只允许自己看，动作分支不能直接窥探到它。原因在于，一旦生成动作的分支能直接看到未来状态的“答案”，它就可能学会一种作弊式的捷径，而非真正理解“根据当前情况该怎么动”。为此，研究者在注意力机制上专门做了掩码处理，好比考场里给不同科目的学生发不同的试卷，确保信息流动受控，不会串题。

网络学着学着，可能把所有输入都压缩成同一个无意义的点，也就是表征坍缩，陷入“摆烂”状态。为了防住这一点，团队还加了一个叫SIGReg的正则化约束。

SIGReg是一种约束方法，它强制潜在空间里的表征分布接近标准正态分布的形状，避免网络学出退化、无意义的表征。这个方法来自Balestriero和LeCun在2025年的研究。

几个部件加在一起，整个模型只有大约1700万参数，相当精简。要知道，现在不少视觉语言动作模型动不动就是几亿甚至几十亿参数，LeWAM用相对小巧的身躯，就做出了让人印象深刻的效果，后面的数据会说话。

规划时，不是瞎撒网，而是带着经验去撒

模型训练好了，怎么拿它真正规划出一整条动作序列？

LeWAM分两步走。第一步，传统方法是从一个毫无信息的宽泛高斯分布里随机撒候选动作，它不这么做，而是直接从训练好的“动作流”里采样一批候选方案。这些方案本身就带着从专家演示和各种交互数据里学到的“合理性”，起点就比瞎猜高出一大截。

打个比方，这就像请一位有经验的老司机帮你规划停车动作，而不是让一个完全没开过车的人随机转方向盘。老司机给出的候选方案，哪怕不是最优的，至少都“看起来像那么回事”，不会把车开上马路牙子。缺了这个学到的先验，候选池里就会混进大量明显不合理的动作，后续筛选和优化得花更多时间去排除这些噪音，等于每次规划都要从零开始教机器人“什么叫正常开车”。

第二步，对这批候选方案做基于梯度的精细化调整。用冻结的LeWAM动态模型算出每个候选方案最终抵达目标状态的“代价”，再以梯度下降的方式直接在动作空间里微调，把代价压得更小。这个过程能利用GPU并行计算同时处理大量候选，速度比传统的交叉熵方法快得多。

研究团队给出的数字相当惊人：在四个需要视觉目标引导的任务上，LeWAM平均每秒能完成52.5次规划，传统的交叉熵方法只有1.62次，整整快了32.3倍。

速度差异的背后，其实是两种完全不同的“思考方式”。交叉熵方法像闭着眼睛反复试错，每一轮都要靠运气碰撞出一些有效信息；LeWAM的梯度精细化则像睁着眼睛沿着坡度往下走，每一步都知道该往哪个方向调整。

效果到底好不好：十个任务的实测对比

那这套设计到底管不管用？团队挑了十个差别很大的模拟环境做验证，导航、接触密集的操作、精细灵巧动作等类型都包含在内。

对比的基线方法包括：原本的LeWM配合交叉熵搜索、LeWM配合后训练的逆动力学模型、基于冻结DINOv2特征的DINO-WM，以及目标条件行为克隆方法。

结果显示，十个任务平均下来，LeWAM的成功率达到93.5%，原来的LeWM配合交叉熵搜索只有50.9%，差了整整42.7个百分点。接触最丰富的ToolHang任务上差距尤其夸张：94.7%对35.4%；Transport任务上更是悬殊，83.3%对2.8%。

2.8%是什么概念？一百次尝试里，交叉熵方法将近有九十七次失败。换成人话讲，旧方法面对复杂接触操作时基本是在“抓瞎”，新方法则做到了接近完美的稳定性。

研究团队还特意测了长时间跨度规划的能力，把目标帧放到更远的位置，模拟机器人需要完成一个更长、行为更多样的任务序列。目标设定为100步之后的状态时，LeWAM在四个任务上平均成功率是46.2%，LeWM只有10.9%。

这说明了什么？任务一旦拉长、变复杂，旧方法基本就撑不住了；新方法成功率固然也在往下掉，却还能保住接近一半的可用水平。任务越难，两边差距越大，长时间规划里误差越积越多这个毛病，在LeWAM身上被压下去了不少。

为什么会学得更好：几个关键原因拆解

研究团队没有止步于展示结果好，还做了一系列拆解实验，试图回答“为什么联合训练比分开训练更有效”。

第一个发现关乎SIGReg正则化约束的重要性。去掉它之后，单纯依赖动态预测目标训练出来的LeWM，在Push-T这个任务上所有线性探针测试结果都是0，意味着表征完全坍缩，什么有用信息都没留下。而LeWAM即便没有SIGReg，依然能保留可解码的状态和动作信息，这说明“预测动作”这个目标本身，也能充当一种防止坍缩的锚点。

可只靠动作监督仍然不够。团队发现，引入SIGReg后，Push-T任务上规划成功率的涨幅达到14.7个百分点；没有SIGReg时，这个数字只有2.7个百分点。两类约束分工明确：SIGReg负责守住全局的分布健康度，动作监督则确保与局部控制相关的细节不被丢掉，缺了哪个都不行。

第二个发现，落在视觉编码器要不要端到端训练这件事上。团队拿三种方案做了对比：从零开始联合训练的编码器、冻结的DINOv2 CLS特征、冻结的DINOv2局部patch特征。端到端训练的那套，直接执行成功率平均86.7%；冻结CLS特征是79.0%；冻结patch特征只有75.8%。

这个差距点出一个常被忽略的问题：预训练好的通用视觉特征，在图像分类、分割这类任务上确实亮眼，可控制任务真正需要的信息，它未必带着——比如机械臂末端相对物体的精确空间关系。

打个比方，这就像请一位世界级美术评论家来修车。他能把车漆的颜色构图夸得头头是道，但螺丝往哪个方向拧，他未必清楚。专业领域不同，有用的“看”法也不同。继续拿那种只擅长欣赏画面美感的特征去做控制，机器人就会“看得懂画面却不知道怎么动手”。端到端训练要解决的，正是这处错位。

第三个发现，关乎用流匹配生成随机动作分布，而不是拿传统的均方误差直接回归一个确定动作值。在相同的动态预测目标下，流匹配带来的规划提升幅度明显更大。团队用了一个很直观的两门导航实验来说明：机器人要从起点走到终点，一半专家示范走上面那道门，一半走下面那道门。

用流匹配训练的策略，执行时能把走上门和走下门两种路线选择同时保留下来；用均方误差训练的策略则不行——它本质上只能学到“条件均值”，也就是两条路径取平均后的那个“折中方案”，结果把两条合理路径硬生生拧成了一条会撞墙的路径。

这里的道理挺深刻：一个目标状态如果存在多种合理到达方式，用均值去描述这些方式，往往得到一个哪种方式都不是的奇怪结果。就像问一百个人“从北京去上海怎么走最好”，一半说坐高铁，一半说坐飞机，你把两种方案的具体操作步骤取个平均，得到的大概是一个既不是坐高铁也不是坐飞机、根本不存在的荒诞流程。流匹配建模的是整个分布而不是单点，所以能避开这种“平均主义”的陷阱。

既能规划，也能直接干活

除了前面说的“看目标图像去规划”，LeWAM还支持另一种模式：不给目标图像，直接根据历史观察连续执行动作。这叫行为克隆，更接近人类教机器人干活的方式——示范一遍，机器人学着做。

在三个需要复杂操作、没有目标提示的模拟任务上，LeWAM和经典的Diffusion Policy方法做了对比。两种方法各有胜负，不过在Transport这个任务上，LeWAM把成功率提升了16个百分点。

物理机器人实验是另一个看点。团队搭了一套真实的机械臂平台，围绕三个任务采集遥操作演示数据：将T形积木捡起后放到指定位置、把T形积木推到指定区域、以及将一卷胶带叠到另一卷胶带上方。

对比对象包括Diffusion Policy和Physical Intelligence公司的π0.5视觉语言动作模型，这是一个相当有分量的工业界基线。LeWAM在整体成功率上和两个基线旗鼓相当，计算效率上则优势明显：完成一次完整动作块推理所需的浮点运算量，LeWAM只有π0.5的大约十三分之一。

这个效率差距意味着什么？同样的硬件条件下，LeWAM能支持更高频率的决策循环，这对需要快速反应的实时控制场景很重要。想象两个人同时在高速公路上开车，一个每秒能做十次判断，另一个每秒只能做一次，遇到突发情况谁的反应空间更大，答案显而易见。

这篇论文的技术边界与局限

研究团队也主动指出了几处局限。眼下训练数据的量还不算大，专家示范与非专家交互数据覆盖得不够全，接触密集型任务的多样性尤其需要补充。模型当前按单一任务、单一机器人本体分别训练，跨任务、跨机器人形态的统一训练尚未实现。系统目前也只管底层的连续控制；遇到更长的任务链，还得靠一个高层规划器把它拆成若干子目标，再由LeWAM去完成每个子目标对应的具体动作。

写在后面

读这篇论文时，有个细节让我想了很久：流匹配能保住两条路径，均方误差却为什么偏要把路径扭成撞墙的那一种？往大处说，这个现象点出了一个常被忽略的建模误区。不少系统在设定评估指标或训练目标时，先入为主地认定“正确答案”只有一个，于是拿均值去量误差；可现实里很多问题的正确答案本来就不止一个。这并不限于机器人控制，推荐系统、对话生成乃至医疗决策支持系统，都可能掉进同一个坑——把本该呈分布形态的东西硬生生压成一个点。

还有一处让我没想到，是Cube任务里那个“退化成功率”的修正。原来的成功判定只检查物体位置是否正确，并不管机械臂末端有没有真正到位，于是42.7%的“成功”案例属于假成功：机械臂压根没碰到位置，只是物体碰巧还停在那儿。这也说明，评估指标怎么设计，是研究中最容易出错、又最容易被放过的一环；一个看似合理的判定标准，可能不知不觉就放过了大半虚假的胜利。

这篇论文把表征学习、动态建模和动作生成放在一起训练，让我想到教育领域一条常被挂在嘴边、却又常被违反的道理：知识与应用分开教，学生往往难以灵活运用；把概念和实践场景绑在一起教，哪怕内容更难，掌握得反倒更扎实。机器人学习是不是也该走这条路？看起来答案已经比较明确了。

Q&A

Q1：LeWAM是什么？

A：LeWAM采用端到端的联合嵌入预测架构，视觉表征学习、动作条件下的动态预测和随机策略生成都在同一个训练阶段内一并完成，而非沿用以往那种分阶段训练再拼接的做法。

Q2：LeWAM相比之前的方法效果提升有多大？

A：在十个模拟环境测试中，LeWAM平均成功率达到93.5%，远超原LeWM配合交叉熵搜索的50.9%；在长时间跨度任务上成功率是46.2%对10.9%；规划速度比交叉熵方法快32.3倍。

Q3：LeWAM能不能在真实机器人上使用？

答案是能。团队把LeWAM放到真机械臂上跑过，捡放积木、推块、叠胶带这三项任务都试了，成功率和Diffusion Policy、π0.5这类工业界方法差不多。

更关键的是算得快。同样的任务下，LeWAM的计算效率大概比π0.5高出13倍。