Vela机器人动作预测新解:用样条曲线画轨迹,少花预算看更远
你有没有想过,机器人手臂在完成一个倒水的动作时,它的大脑里到底在想什么?现在主流的做法是,机器人每次会预测接下来几十个时间点上的具体动作,比如第1毫秒手在哪个位置,第2毫秒手在哪个位置,一直排到第50个点。这套做法有个专业名字。**动作分块**:把未来一段时间的动作切成固定数量的采样点,像拍照一样一帧一帧记...
机器人手臂倒水的时候,脑子里到底在盘算什么?这个问题,不同技术路线给出的答案并不一样。
目前常见的做法,是让机器人一次预测未来几十个时间点上的具体动作——第1毫秒手在哪、第2毫秒手在哪,一路排到第50个点。这种做法有个专门的名字。
**动作分块**:把未来一段时间的动作拆成固定数量的采样点,逐帧记录下来,再交给机器人执行,像连拍一串照片。
这套思路沿用了好些年,业内早已习以为常。可它有个别扭之处:相邻两个时间点的动作其实非常接近,手从A点挪到B点,中间路径几乎是连贯的,模型却要为每个采样点单独消耗一份"预测配额"。好比明知隔壁两张照片几乎一模一样,还非得当成两份独立信息存下来,这不是白费脑力吗?
更棘手的是,这种切片方式把"预测多远的未来"和"每一步切多细"死死绑在了一起。总预算就那么多,想看得远,只能切得粗;想切得细,就只能看得近。可现实中,机器人倒水这类动作前半段是平缓的转手腕,后半段却是对准杯口的精细操作,一套固定的切片粒度,怎么可能两头都照顾到?
这正是本文要讲的工作,出自复旦大学、香港中文大学等机构的研究者之手。
**核心问题出在哪**
要理解
**
研究者判断,问题未必在模型够不够大,而是"动作"这个输出本身的表示方式出了毛病。机器人的手不会凭空在一堆孤立的点之间跳来跳去,它走的是一条连续轨迹。既然这样,何不直接让模型去预测轨迹的形状,而非去猜轨迹上一个个孤立的采样点?
这就像向朋友描述一条蜿蜒的山路。一种办法是每隔十米拍一张照片,发给他一百张,让他自己脑补路的走向;另一种办法是只画一条曲线草图,标出几个关键拐点,告诉他"路就是这样弯的"。后一种用更少的信息,讲清了更完整的结构,朋友还能沿着这条曲线在任意位置插值,不必你把每个点都拍下来。如果坚持用照片,想描述更长的山路,要么多拍,要么牺牲清晰度拉大间隔——动作分块方法面临的两难,正在于此。
**用样条曲线给动作画像**
**
具体说,Vela不再预测一长串动作点,转而预测固定数量的12个控制点,外加一个标量,用来表示这段动作要持续多久。
这里最巧妙的设计在于:控制点数量固定,时长可变。
好比用一支笔画画,画布大小是固定的,但画的是辽阔草原的全景还是一朵花的特写,笔触疏密完全不同。如果硬性规定每幅画都得用同样的笔触密度覆盖同样大小的场景,画草原时笔触太疏会丢细节,画花朵时笔触太密又显得浪费。过去那些样条策略研究的局限就在这里——它们大多固定了曲线覆盖的时间跨度,所有动作都套用同一个折中方案。
**怎么知道该用多长的视界**
问题随之而来:训练的时候,怎么给每一段演示动作标出"合适"的视界长度?靠人工一条条标不现实,数据量太大,得有个自动化的判断标准。
研究者为此设计了一套**
简单讲,对每一段演示动作,系统会拿候选的各种视界长度(从16到40不等)去拟合,再看拟合完剩下的误差有多大。但这里埋着一个陷阱:误差不可能为零。演示数据本身带着人类操作或传感器记录留下的抖动和噪声,就算曲线完美贴合了动作的真实轨迹,残留误差依然在。
若直接拿原始误差大小做判断,就分不清这误差到底是"曲线没拟合好"还是"数据本身就有噪声"。打个比方,让学生临摹一幅画,画得再像,手抖造成的线条毛边总归存在,你不能一见毛边就说他临摹得不准,得先弄清这位学生手抖的正常幅度,超出这个幅度才算真没临摹好。Vela的做法是:先给每个数据源、每个动作维度估出一个"正常抖动幅度"作参考值,再把拟合残差除以这个参考值做归一化,这样算出的指标,才能真区分"动作太复杂曲线没学到"和"这就是正常操作噪声"。
视界怎么选?规则简单:候选里凡是误差达标的,取最长的一个。这样一来,平滑的动作能拿到更长的视界,复杂多变的动作则只能分到更短的视界,固定的控制点预算也就分得更合理了。
机械爪这类开合动作是例外。它的状态变化呈跳跃式,不像连续坐标那样平滑,用除以噪声参考值的办法反而会出问题(分母趋近于零),所以这类通道被单独拎出来,改用另一套基于归一化误差上限的简单规则处理。
**怎么训练出这套能力**
光有表示方法还不够。研究者还得解决另一个问题:如何把这套曲线学习方式,扩展到大规模、多种机器人形态混合的数据上训练。
Vela的骨架沿用了
**
预训练用了约2万小时公开机器人数据(覆盖60个数据集、11种不同的机器人形态),外加2万小时私有数据。为了让不同形态的机器人(有的单臂,有的双臂带轮子移动底盘)共用同一套训练框架,研究者设计了一个26维的统一动作空间:每条手臂占10维(3维平移、6维旋转、1维夹爪),剩下6维分给头部、腰部和底盘的运动;缺失的维度用有效性掩码挡住,不参与计算。
损失函数的设计上还有个细节。误差如果直接算在控制点坐标空间里(论文里叫这个做法为CP-FM),跟放在实际轨迹上算(DT-FM)会有什么差别,研究者专门做了比较。
打个比方,检查蓝图和检查盖好的房子,哪个更要紧?蓝图上的尺寸差一点点,要是正好落在承重墙的位置,后果很大;落在装饰线条上,基本没影响。只按蓝图上的数字误差打分,坐标空间里的小偏差会被放大,而轨迹上肉眼看不出区别的地方反倒被当成大问题。
**实验说了什么**为了回应“是不是光靠π0.5这套基础架构就能出好成绩”的疑问,研究者补了一组对照实验,名字叫
在
在
下表列出了部分关键对比数据:
| 方法 |
|---|---|---|---|
| π0 | 15.0% | 33.7% | 47
|
| π0.5 | 39.3% | 41.4% | 54
|
| **Vela** | **45.3%** | **49.7%** | **66**
真实世界里的表现同样能说明问题。研究者在一台带轮子的双臂机器人上跑了两个长时序、需要双手配合的任务:做蛋糕卷和切土豆丝。做蛋糕卷分成加面糊、加配料、抓锅、出锅装盘四个阶段,Vela的平均子任务成功率是67.5%,π0.5只有37.5%。
真实机器人上的这些数字之所以关键,是因为模拟环境做得再细,也总有跟真实物理世界对不上的地方。在真实的锅碗瓢盆、真实的土豆和擦丝器上跑出明显优势,说明这套轨迹表示方法并非只在实验室数据集里讨巧,它确实碰到了接触密集操作的要害。
**消融实验透露的细节**
论文另外设计了三组对照实验,用来拆解Vela的收益究竟来自哪里。
第一组针对一个很自然的疑问:模型预测完一串动作点之后,事后拿样条曲线去拟合、重采样,能不能拿到差不多的提升?研究者的答案是不能。事后拟合的做法在各种执行步数设置下都没追上Vela。训练阶段就让模型直接学预测轨迹参数,和训练完再硬套一层样条外壳,是两码事。前者是模型真理解了轨迹的结构,后者只是把原来的点状预测做了个平滑。
第二组单独检验“视界自适应”这个设计有没有必要。研究者把固定视界长度和自适应视界长度摆在一起比,结果是:即便视界固定,Vela的曲线表示本身也优于传统点状预测;加上自适应视界后,每个难度级别的成绩又都往上走了一截。两个创新点各自独立,又互相加成。曲线表示解决的是“相邻动作被重复编码”的浪费,自适应视界解决的是“固定切分粒度顾此失彼”的矛盾。
第三组盯的是损失函数。前面提过,DT-FM比CP-FM略好,但差距不大,这说明它属于优化项,不是决定项。
**写在后面**
读完这篇论文,最让人意外的是研究者没有去堆更大的模型或更多的参数。Vela用的骨架和π0.5一模一样,一个可训练参数都没多加,只改了“动作该怎么被表示”这一个环节,就把性能整体撬了起来。这提示了一个常被忽略的方向:卡住系统的往往不是算力,也不是数据量,而是数据被编码的方式本身有没有贴合问题的物理本质。机械臂的运动天生连续,拿离散采样点去逼近连续运动,就像用方块拼图去拼一个圆,块数再多,边缘还是锯齿状;样条曲线一开始就是圆的形状。
论文里那个“噪声感知”的视界选择机制也值得单独说一句。它做的是区分“数据里的随机抖动”和“数据没被充分建模的结构性变化”,这其实是各种数据拟合问题里都存在的老问题:眼前这点误差到底该不该信,取决于你对噪声水平有没有靠谱的估计。统计学里常讨论的过拟合和欠拟合边界,跟这是一回事。Vela相当于把这套古老的统计直觉,用工程化、能批量自动处理的方式嫁接到了机器人动作建模上。
论文自己也承认有几处没做完。控制点数量现在是固定的12个,只有视界长度在自适应;如果控制点数量也能跟着动作复杂度动态调整,表现会不会再好一些?这需要支持变长预测的新训练目标,目前还是空白。另外,整个研究用的还是π0.5规模的模型,换上更大的视觉语言主干、更大的动作专家网络能带来多少增量,论文里也没给答案。
假如有一天机器人真能像人一样,凭直觉就知道一个动作该画多长的弧线、哪里收紧哪里放松,那就等于从“记住每一帧怎么做”跨到了“理解运动本身是什么”。这篇论文也许只是这条路上的一小步,但踩得挺扎实。
Q&A
Q1:Vela是什么?
A:Vela是复旦大学、香港中文大学等机构提出的视觉语言动作基础模型。它用样条曲线和可自适应的时间跨度来表示机器人未来的动作轨迹,传统方法则是在固定网格上预测一串动作点。
Q2里问的是,Vela跟传统做法比强在哪。
先看数据。LIBERO-X模拟测试上,Vela平均成功率达到45.3%,π0.5是39.3%,前者高出6个百分点。EBench测试上,Vela综合成功率49.7%,π0.5为41.4%。换到真实机器人,做蛋糕卷任务时Vela平均成功率67.5%,π0.5只有37.5%,差距拉得很大。接触密集的操作环节,Vela的优势尤其明显。
Q3问的是,Vela的核心创新点落在哪。
归纳起来是两条。第一条,动作轨迹用固定数量的样条控制点来表示,再配一个可变的时间跨度,这样同样的预测预算,既能覆盖长而平滑的动作,也能覆盖短而精细的动作。第二条是提出