UNITAS让机器人学会三维动手:用统一轨迹替代像素预测
2026年的机器人实验室里,有一个问题一直让研究者们挠头。你训练一个机械臂去拿杯子,给它看了无数段视频,告诉它杯子被拿起来之后画面会怎么变化。听起来挺合理对吧?可现实是,同样一次抓取动作,换个摄像头角度拍,画面里杯子移动的像素距离能差出好几倍。你拿着手机从不同角度拍同一个水杯被挪动的过程,画面里杯子"跑"过的像素...
2026年,机器人实验室里有个难题始终困扰着研究者。
训练机械臂抓杯子,常规做法是喂它看大量视频,让它学会预判杯子被拿起后画面如何变化。听上去说得通。可同样一次抓取,只要摄像头角度一变,画面中杯子位移的像素距离就能相差数倍。用手机从不同角度拍同一个水杯被挪动,杯子在画面里“跑”过的像素格数截然不同,而它在真实空间中的位移明明没变。
视频驱动的机器人大脑,吃亏就吃在这里。
**图像作为语言,本身就带“失真”**
过去几年,不少“世界动作模型”(World Action Model)被提出来。这类机器人大脑要同时回答两件事:该怎么动,动完之后世界会变成什么样;核心是把动作生成和环境预测绑在一起学。
思路没错。人类小孩学抓东西,多半也是靠不断“预判”结果来调整动作。问题出在拿图像去承载这种预判。
论文里有个例子很扎心:同一个机械臂动作、同一次物体位移、同一次接触事件,摄像机角度一换,画面里的像素变化就可能完全不同;反过来,两段像素位移看起来相等的视频,对应的真实物理距离也可能相差悬殊。更麻烦的是,不同机器人平台的摄像头安装位置、镜头参数各不相同,像素和物理距离之间这层本就模糊的对应关系,换一台机器人就得重新“学”一遍。
已有研究专门测试过这类基于视频的世界模型,发现它们对视角变化、机器人初始状态变化格外敏感。摄像头挪个位置,或者机器人起始姿势不同,预测质量就开始波动。还有论文观察到,这些模型生成的“预测画面”看着挺逼真,物体的位移却可能画错,刚性物体形状被悄悄“捏变形”,本该静止的背景区域也开始莫名其妙地漂移。
根子在于:图像只是三维世界在某个特定视角下的一次投影。一直用投影后的图像去表示世界怎么变化,动作和场景之间最本质的度量关系,也就是“这个物体在物理空间里到底挪了多少厘米”,就始终是隐藏的、模糊的。机器人在金属世界和视觉世界之间,隔着一层毛玻璃。
投影
**把世界拉回三维**
论文提出的方法叫 UNITAS,全称是“UNIfied Trajectories for Action and Scene flow”(统一的动作流与场景流轨迹)。
好比设计一张城市地图。地图上的距离刻度要是随着你站的位置变来变去,站在桥这头量出的“一公里”和站在桥那头量出的“一公里”不一样长,这张地图再漂亮也没法导航。你需要一套固定的、不随视角变化的坐标系统:地图上一厘米永远对应地面上固定的距离,不管从哪个角度看。UNITAS 要做的,就是给机器人的“世界地图”焊死这套统一刻度。
具体来说,论文定义了两种“流”:
动作流(Action Flow):把人手或机械爪的运动,表示成三维空间里一系列点的位移轨迹,而不是关节角度序列或像素变化。
场景流(Scene Flow):在给定动作流的前提下,描述环境中其他物体的点会如何位移,同样是三维空间里的轨迹。
有意思的是,这套设计把“人手”与“机械爪”这两种外形完全不同的东西,用同一套语言描述:一批在三维空间中移动的点。手指有关节,机械爪靠连杆,控制接口也相差极大;但只要盯住“抓取部位上若干关键点在空间里如何移动”,人手示范的数据与机器人自行采集的数据便能纳入同一训练框架共同学习。
这里藏着一个很现实的考量:高质量机器人操作数据稀缺,采集成本高,而人类用手做各种动作的视频几乎取之不尽。把人手动作和机器人动作统一成同一种三维点轨迹表示,机器人就能从海量人类操作视频里“蹭”到学习素材,不必事事都靠昂贵的真机数据采集。
不这么统一会怎样?人类示范数据和机器人数据只能各玩各的,机器人系统永远得不到那些唾手可得的人类操作视频的滋养,数据规模被人为砍掉一大块。
**没有深度信息,怎么把图像钉进三维空间**
光把动作和场景变成三维点还不够,视觉观察本身也得想办法“钉”进这套三维坐标系。
论文在这里碰到一个实际问题:并非所有摄像头都配深度传感器,很多时候机器人拿到的只是普通 RGB 图像,没有深度信息。没有深度,怎么知道画面里每个像素对应的三维位置?
论文提出的方案名为“世界对齐的三维位置编码”。
世界对齐三维位置编码
有深度数据时处理起来不复杂:先借助相机内参把像素反投影为相机坐标系下的三维点,再通过相机到世界坐标系的变换矩阵做转换,每个像素对应的世界坐标就能直接算出来;随后用傅里叶编码把这份坐标信息注入视觉特征。
没有深度数据时才是真巧妙。论文设计了一种“猜深度”的机制:沿相机光线,在0.1米到2米之间均匀取64个候选深度值,算出每个候选深度对应的三维点,再让网络依据当前图像块的特征给这64个候选位置打分、算权重,最后以加权平均的方式“猜”出一个最可能的三维位置编码。
好比蒙着眼伸手去摸一件家具,看不见,却能凭触感的轻重缓急,在脑子里给“这东西可能有多远”分配一个概率分布,综合起来估个大概距离。换个做法,干脆不要深度信息、让视觉特征彻底脱离三维位置的约束,那模型一遇到摄像头角度变化就会彻底懵掉——它从来没学过“画面里的东西到底在物理空间哪儿”。
更聪明的一步是,论文让这套“猜深度”的机制在训练时直接向“由真实深度算出的位置编码”看齐,用损失函数监督这种猜测,让猜出的结果尽量逼近真实值。这样一来,即便推理阶段完全没有深度输入,模型猜出的位置编码也和有深度时相差无几。论文附录里专门做了对比实验,在
**轨迹是会“变速”的,怎么统一编码时间**
动作和场景都变成三维点轨迹之后,还有一件麻烦事:不同数据来源的轨迹,采样频率完全不一样。
有的模拟器一秒记录20帧,有的真实机器人数据一秒只有10帧,人类手部视频则因来源不同,帧率从6赫兹到10赫兹不等。若把每一帧简单当作独立时间步去编码,不同数据集训练出的模型对“时间”的理解就会乱套:20帧和10帧明明代表同样长的一秒钟,模型却可能把它们当成长度不同的两件事。
论文的解决办法是
物理时间轨迹分词器
具体做法:把时间换算成以秒为单位的相对偏移量,用一个固定的时间基函数表示“过了多长时间”,再借一种叫 FiLM 的调制机制,把这份时间信息注入轨迹的编码和解码过程。整条轨迹最后被压成一个向量(一个token),而非逐帧展开成一长串token。
这就像记录一次旅行:若用“第几张照片”标记时间,一个用手机连拍模式拍了200张的人和一个随手拍了5张的人,记录的是同一趟旅行,可“第几张”这套坐标系完全不兼容,没法直接比较。换成记录“出发后第几分钟拍的”,不管拍了多少张,这套时间刻度都通用。物理时间分词器干的就是这件事,让不同采样率的轨迹数据能用同一套时间语言对话。
不这么处理、直接按帧序号编码的话,混合不同采样率的数据集训练时,模型学到的“运动节奏感”就会被采样率差异搅乱——高帧率数据集里缓慢的动作,可能被误读成低帧率数据集里的快速动作。
**一个大脑,两种输出模式**
技术架构上,UNITAS 用了一种叫“
两个专家并非各干各的,而是层层耦合:动作专家在每一层都能读取点动态专家处理观察信息和语言指令后产生的特征,再结合自身当前状态去生成具体动作。
这个设计支持两种工作模式。
策略模式
模拟器模式
双模式设计其实化解了一个实际矛盾:机器人真实执行任务时,你希望它反应快,别浪费时间“脑补”接下来画面长什么样,直接给动作就行;可若想用这套系统做规划、验证某个动作方案是否合理,又需要它具备预测场景变化的能力。论文测出的数据显示,只生成动作、不做任何场景预测的模式,每个动作块只需55.77毫秒,比同时生成动作和动作流轨迹的方式快2.2倍,比同量级的
好比开车,大部分时候你只需下意识地打方向盘、踩刹车,根本不用在脑子里先放一遍“接下来三秒钟路况会怎样”的电影,直觉反应就够了。但在练车场上做新手训练,教练可能会特意让你先想清楚“打方向盘之后车会往哪偏”,这时“预判”本身就是训练目的。UNITAS 把这两种需求拆成两套可按需切换的运行方式;强行绑死成一种模式,要么执行时慢得没法用,要么丢掉推演场景变化这个有价值的能力。
**实验结果:数字说话**
设计思路说了这么多,实际效果究竟如何?
在
参数量更小、效果更好,这点值得多说两句。论文里有张图专门对比了几个方法的参数规模和在
在 LIBERO-Plus 这个专测鲁棒性的基准上,UNITAS 的整体成功率是89.1%。该基准会刻意改动摄像头角度、机器人初始姿态、指令措辞、光照、背景等条件,制造各类干扰;其中摄像头角度受扰动时,它的表现为82.1%,对比
真实机器人实验方面,论文设置了两项任务:整理书本,以及把球类打包放进袋子。UNITAS 在这两项任务上的成功率分别为90%和80%,对比
动作条件下的场景预测,是最能说明“三维原生”价值的一项测试。论文挑了一个专门预测场景点轨迹的模型来做比较。换算成直观感受,大概是这样的:原先模型预测物体移动后的位置,平均偏差超过半厘米,UNITAS 把这一偏差压到了半厘米以内;本该静止不动的背景区域,它的预测结果也基本不出现“漂移”。对精细操作类机器人任务来说,毫米级的精度差别,往往就决定抓得准还是抓空。
论文另外做了一组消融实验,逐项检验各个设计模块是否真的起作用。如果去掉"
这组对比数据很能说明问题。假设有研究者当初为了省事,认为“图像里本来就有信息,没必要费劲搭三维坐标系”,那么67.58%到85.74%之间这18个百分点的落差,就是省事要付的账。
这事还没完全解决的地方
当然,UNITAS 并非无所不能。论文提到,场景流的监督数据主要取自模拟器环境,因为只有模拟器能给出精确的三维点对应关系真值。在真实世界里拿到这种级别的三维轨迹标注,成本依旧很高。论文附录列了一些“零样本迁移”的案例,把只在模拟数据上训练出的场景预测能力,直接用到
还有一点,论文关注的是较短时间窗口内的动作与场景预测。至于需要长跨度规划、多个子任务串联的复杂操作,这套三维点轨迹表示能否撑得住,论文没有给出足够充分的验证。
写在后面
读这篇论文,印象最深的倒不是那些刷新纪录的成功率,而是“把问题从根上重新定义”的做法。很多领域卡在瓶颈,原因往往不在大家调参不够拼、算力不够堆,而在于最初选定的那套表示方式本身就带有结构性的偏差。图像直观,谁都看得懂,可图像终归是三维世界的影子,用影子去反推实物的尺寸,怎么都别扭。
论文里那个“猜深度”的机制让我颇有感触。没有真实深度数据时,与其硬装作什么都不知道,不如坦然承认“我不确定”,再用概率加权的方式做最合理的推测,同时让这套推测接受真实数据监督、不断校准。带着不确定性做判断,又让不确定性本身可被训练,这种态度放在不少工程问题里都值得参考。
机器人究竟还要多久,才能真正理解“抓起一个杯子”背后的物理含义?答案或许不在给它看更多视频,而在于先想明白:它脑中用来表示这个世界的那套坐标系,到底对不对。