机器人学会“预判”:PINT如何让AI既会思考又会预测未来
你有没有想过,为什么教机器人做一件简单的事,比如把杯子叠起来,会这么难?人类小孩看一眼大人示范,摸索几次就能学会。但机器人不行。它得先理解你说的"把杯子叠起来"是什么意思,还得看懂眼前的画面,还得知道接下来手该往哪儿伸、力道多大、什么时候该松手。这三件事分别对应着语言理解、视觉感知和动作控制,听起来简...
教机器人做件简单事,比如把杯子叠起来,为什么这么费劲?
小孩看大人示范一遍,摸索几次就会了。机器人不行。它得先弄懂"把杯子叠起来"这句话指什么,得看清眼前的画面,还得判断手往哪儿伸、用多大劲、什么时候松手。语言理解、视觉感知、动作控制,三件事拆开看都不算难,凑到一块就成了大工程。
这几年研究者摸出两条路子。一条是拿现成的语言模型来读懂指令和画面,另一条是借视频生成模型从海量视频里练出的直觉,去猜下一步会发生什么。两条路单独走都挺顺,可要把它们并到一处,问题就冒出来了。
中科院自动化所、北京中关村学院等机构的这篇论文提出了PINT模型,想啃的正是这块硬骨头。思路说穿了不复杂:不让两个专家模型在深层互相搅在一起,而是给它们搭一个轻量的"共享意图"当接口,各自守住自己最拿手的本事。
硬拼的代价:谁都干不好自己的老本行
问题得从头说起。
VLM
VGM
这两类模型各有各的性子。
眼下不少研究把VLM、VGM和生成动作的模块直接摞在一起,让它们每层都去"瞅"对方的内部状态,这套做法一般叫作
这组数字摆出来是什么意思?机器人在熟悉环境里还勉强能看,灯光一变、背景一换、东西挪了位置,它基本就蒙了。100次尝试,成功不到2次。
好比让一个法语翻译和一个油画画家共用一只手,边画边说。翻译的语感被画笔打断,画家的笔触被说话的节奏带偏。不把两件事拆开,两边都做不利索,画出来四不像,说起来也磕巴。把VLM和VGM每层都硬绑在一起共享计算,说到底就是逼两个专精不同的系统用同一套网络资源,同时扛语义推理和物理预测,谁的看家本领都留不住。
那出路在哪?PINT的回答是:别让它们缠得太深,造一个"传话筒"出来。
共享意图:专管"传话"的中间层
PINT最核心的设计,是一种叫
Predictive Intent
落到实现上,研究者在VLM处理文字、图片、机器人状态信息的序列末尾,塞进32个可学习的Intent Token。VLM照常跑完一遍前向传播,这32个token在最后一层的隐藏状态就被拎出来,当作Predictive Intent。
设计上的关键一点:这段Predictive Intent只拿去替换VGM原先吃的文字提示。VGM本来靠一句文字描述决定生成什么视频,PINT把这句换成Predictive Intent这串向量。VGM其余部分,包括从海量视频里学来的生成本事和注意力机制,一概不动。
另一边,负责输出具体动作的模块(论文里叫
这像一台大手术:主刀医生(VLM)看完片子,不必手把手教麻醉师怎么配药,只写一张简明的手术计划单(Predictive Intent),麻醉师(VGM)和护士(AE)各拿这张单子去做自己最熟的事。麻醉师还能随时瞟一眼手术台上的情况调调节奏,但台上的具体操作不会反过来搅乱主刀医生写计划单的思路。要是不这么分工,让主刀医生每动一下都亲自对接麻醉师和护士的每一步,整台手术的效率和专业度都得被拖垮——直接融合方案栽的就是这个跟头。
论文里还提到,他们另外试了一种叫
两段式训练:先弄懂"意思",再练出"手感"
结构设计好了还不够,怎么训出一段真管用的Predictive Intent,是另一道坎。
论文的办法是拆成两个阶段来训。
Stage 1
这一步的妙处在于,VGM被冻住了,参数动不了,没法迁就输入。想优化未来视频预测这个目标,只剩一条路:逼着Predictive Intent本身变得更准、装进更多信息。与此同时,动作预测的损失函数和VLM原有的语言建模损失函数也在起作用,三股劲一起把这段意图表示捏出来。
Stage 2
论文原文图3给了一组挺直观的对比:同一个任务“把容器放到盘子上”,在不同训练阶段,视频预测效果差别明显。那为什么不把两步并成一步、从头就联合训练?作者为此专门做了对照实验。
打个比方,学做一道复杂的菜,你可以边切菜边炒菜边调味,一起上手,但大概率手忙脚乱,哪样都不精。更靠谱的路子是先把刀工练扎实——第一阶段专心把“意图”这根核心骨架搭起来;刀工到位了,再去琢磨火候和调味的细节,也就是第二阶段专心打磨最终呈现效果。一上来就想着面面俱到,往往刀工没练好、火候也没把握住,两头都耽误。
实验数据:数字说话的
设计思路说了这么多,实际效果究竟如何?论文在四个场景下分别做了测试。
LIBERO*:机器人操作领域一个经典基准测试集,涵盖空间推理、物体操作、目标达成、长程任务四大类子任务。
LIBERO-Plus*:在LIBERO基础上加了七种系统性扰动的升级版,扰动包括相机视角变化、机器人初始状态变化、语言指令变化、光照变化、背景变化、传感器噪声和物体布局变化,用来专门检验模型泛化能力。
ID/OOD*:ID(in-distribution)指训练数据分布内的测试环境;OOD(out-of-distribution)指训练时没见过、分布外的测试环境。OOD表现通常被当作衡量模型真实泛化能力的关键指标。
先看专门考验泛化的LIBERO-Plus。没有用额外机器人预训练数据,PINT的总成功率是79.5%;同样用VGM的Fast-WAM只有51.5%。
再看双臂机器人仿真平台RoboTwin 2.0,它分Easy(简单,对应ID)和Hard(困难,对应OOD,加入背景、光照、桌面高度等随机扰动)两档。Easy档PINT是68.6%,比Fast-WAM的72.4%略低一点;Hard档PINT为15.5%,Fast-WAM只有1.8%,两者差了将近14个百分点。这组数字很说明问题:Fast-WAM在熟悉环境里表现不错,一碰到陌生场景几乎全军覆没;PINT在熟悉环境里没有碾压式优势,陌生场景下却保持了相对稳健的表现。
表格1:LIBERO与LIBERO-Plus关键结果对比(单位:%)
| 方法 | LIBERO平均 | LIBERO-Plus总分 | 是否用机器人预训练 |
|---|---|---|---|
| Fast-WAM | 97.6 | 51.5 | 否 |
| StarVLA-OFT | 96.6 | 75.0 | 否 |
| Motus | 97.7 | 76.0 | 是 |
| **PINT** | **98.0** | **79.5** | 否 |
|
真实世界实验更有说服力,仿真环境和真实场景之间总有差距。研究者在
表格2:真实世界五任务平均成功率对比(单位:%)
| 方法 | ID平均 | OOD平均 | 是否用机器人预训练 |
|---|---|---|---|
| Motus | 35 | 9 | 是 |
| π0.5 | 67 | **35** | 是 |
| **PINT** | **68** | 24 | 否 |
有一处现象挺值得琢磨:PINT压根没用机器人专属的额外预训练数据,分布内任务却追平、甚至压过了靠预训练加持的强对手,分布外任务上也比部分预训练对手高出一截。按这个结果看,预测意图这套设计本身,或许已经顶上了预训练数据原本要给的“见识广”那部分作用。不过π0.5在OOD上的领先也说明,大规模机器人预训练仍有它自己的价值,PINT的设计和预训练数据并非互斥的两条路,往后搭在一起说不定更强。
逐个零件拆开看:消融实验指出哪个设计最关键
模型效果好,究竟是哪个设计在起作用?论文为此做了一轮细致的消融实验,把每个零件拿掉,分别看成绩跌多少。
先看最核心那处:拿Predictive Intent替掉原来的文字提示去条件化VGM,这个改动到底划不划算。论文测了一个叫“
这组数字差距值得停下来想想:LIBERO上只跌了2.1个百分点,LIBERO-Plus却跌了16.1个百分点。也就是说,用不用Predictive Intent,熟悉场景里差别不大,一到陌生场景,差距马上被放大到接近8倍。再往下拆,背景变化和机器人初始状态变化这两类扰动下,成绩分别掉了45.7和34.6个百分点,几乎是灾难性的下滑。
原因在哪?直接拿原始文字提示去驱动VGM,这套机制是VGM在海量互联网视频上预训练出来的,碰到训练数据里没见过的组合场景就容易“失忆”。Predictive Intent不一样,它是针对当前具体任务专门学出来的一段浓缩表示,更像是给VGM递了一张“划了重点的考试提纲”,而不是放它自己去茫茫题海里现场摸索。
再看
另有一个挺有意思的发现,关乎动作专家该不该直接“偷看”VGM的中间层特征。把这条连接去掉之后(动作专家完全只靠Predictive Intent,看不到VGM的实时视觉特征),成绩从68.6%/15.5%降到65.9%/14.6%。可见光有一段压缩的意图向量,还覆盖不了所有有用信息,动作专家确实得额外瞄一眼VGM此刻正在“想”什么画面,动作决策才能更准。
表格3:核心设计消融实验结果(RoboTwin 2.0,单位:%)
| 设置 | Easy | Hard |
|---|---|---|
| Prompt-conditioned VGM(不用Predictive Intent) | 62.4 | 11.1 |
| Split Intent(拆分意图不共享) | 65.1 | 11.8 |
| 去掉第一阶段的视频损失 | 63.2 | 11.5 |
| 去掉VGM到动作专家的特征连接 | 65.9 | 14.6 |
| 去掉自回归监督损失 | 67.3 | 12.2 |
| 单阶段训练(不分两步) | 65.5 | 14.4 |
| **完整PINT** | **68.6** | **15.5** |
这一串消融实验摆在一起,好比把一台精密机器的齿轮挨个卸下来,看它转得顺不顺。单看每个齿轮,好像都算不上决定性;可拼到一起,每一个都在给最终那组数字出力。少掉任何一个,整台机器的运转效率都要打折,到了陌生环境这种“压力测试”里,缺陷还会被放得格外明显。
意图到底长什么样:一次可视化的尝试
论文还做了个挺有趣的可视化实验,想回答一个问题:Predictive Intent里头究竟装了什么?
研究者把训练数据里每一段真实的动作轨迹,用
色彩分布呈现出结构感:动作行为相近的,比如“往回拉”、“合拢右边的夹爪”、“水平抓取”等,在色彩图上会聚成彼此接近的色块。可见Predictive Intent虽说只是一段压缩向量,却真学到了抓取动作行为结构的能力,不是一堆乱七八糟的数字。
打个比方,给图书馆每本书贴一张色卡,如果色卡颜色大致能反映书的主题分类,比如历史书都偏棕、科幻书都偏蓝,那说明贴色卡的规则靠得住,确实抓到了书本身的某种本质特征,而不是随手乱贴。
性能往上走,推理时间也跟着涨。论文在单张A100显卡上测了生成一个32步动作块的耗时:Fast-WAM为266毫秒,PINT为331毫秒。论文另提的增强版PINT-VA更慢,要776毫秒——它让动作专家能看到VGM在所有视频帧上的特征,还让视频和动作同步去噪。
PINT-VA的成绩确实更好:RoboTwin 2.0上平均分从PINT的42.1%升到45.0%,可推理时间翻了不止一倍。多看一眼VGM的中间特征,信息更丰富,处理起来也更费时间。架构上的改动都有代价,工程落地时精度和速度总得选一头。
Q&A
Q1:PINT是什么?它是一个统一的机器人操作模型。语言理解模型、视频生成模型和动作生成模块三个专家,靠一段叫Predictive Intent(预测意图)的共享表示串起来:既能读懂任务语义,又能预测未来画面,还能生成精准动作,各自的本事也都留着。
Q2:PINT相比其他方法最大的优势在哪?没用额外的机器人预训练数据,它在分布外(陌生环境)的泛化能力明显更强。RoboTwin 2.0困难测试集上成功率为15.5%,Fast-WAM只有1.8%,StarVLA是3.2%;LIBERO-Plus上则达到79.5%,超过多个基线方法。
Q3:两阶段训练具体怎么做?第一阶段把视频生成模型冻住,只训练语言模型、意图令牌和动作专家,未来视频预测的梯度全部经预测意图回传,逼出一段有信息量的意图表示。第二阶段调个个儿,语言模型和意图令牌不动,专心调整视频生成模型和动作专家,把生成效果精修到位。