机器人学会“预判”:PINT如何让AI既会思考又会预测未来

资讯 腾讯网 作者:科技行者 全文 5468 字 · 约 14 分钟读完 分类机器人

你有没有想过,为什么教机器人做一件简单的事,比如把杯子叠起来,会这么难?人类小孩看一眼大人示范,摸索几次就能学会。但机器人不行。它得先理解你说的"把杯子叠起来"是什么意思,还得看懂眼前的画面,还得知道接下来手该往哪儿伸、力道多大、什么时候该松手。这三件事分别对应着语言理解、视觉感知和动作控制,听起来简...

所属频道 机器人与具身智能

教机器人做件简单事,比如把杯子叠起来,为什么这么费劲?

小孩看大人示范一遍,摸索几次就会了。机器人不行。它得先弄懂"把杯子叠起来"这句话指什么,得看清眼前的画面,还得判断手往哪儿伸、用多大劲、什么时候松手。语言理解、视觉感知、动作控制,三件事拆开看都不算难,凑到一块就成了大工程。

这几年研究者摸出两条路子。一条是拿现成的语言模型来读懂指令和画面,另一条是借视频生成模型从海量视频里练出的直觉,去猜下一步会发生什么。两条路单独走都挺顺,可要把它们并到一处,问题就冒出来了。

中科院自动化所、北京中关村学院等机构的这篇论文提出了PINT模型,想啃的正是这块硬骨头。思路说穿了不复杂:不让两个专家模型在深层互相搅在一起,而是给它们搭一个轻量的"共享意图"当接口,各自守住自己最拿手的本事。

硬拼的代价:谁都干不好自己的老本行

问题得从头说起。

VLM

VGM

这两类模型各有各的性子。

眼下不少研究把VLM、VGM和生成动作的模块直接摞在一起,让它们每层都去"瞅"对方的内部状态,这套做法一般叫作

这组数字摆出来是什么意思?机器人在熟悉环境里还勉强能看,灯光一变、背景一换、东西挪了位置,它基本就蒙了。100次尝试,成功不到2次。

好比让一个法语翻译和一个油画画家共用一只手,边画边说。翻译的语感被画笔打断,画家的笔触被说话的节奏带偏。不把两件事拆开,两边都做不利索,画出来四不像,说起来也磕巴。把VLM和VGM每层都硬绑在一起共享计算,说到底就是逼两个专精不同的系统用同一套网络资源,同时扛语义推理和物理预测,谁的看家本领都留不住。

那出路在哪?PINT的回答是:别让它们缠得太深,造一个"传话筒"出来。

共享意图:专管"传话"的中间层

PINT最核心的设计,是一种叫

Predictive Intent

落到实现上,研究者在VLM处理文字、图片、机器人状态信息的序列末尾,塞进32个可学习的Intent Token。VLM照常跑完一遍前向传播,这32个token在最后一层的隐藏状态就被拎出来,当作Predictive Intent。

设计上的关键一点:这段Predictive Intent只拿去替换VGM原先吃的文字提示。VGM本来靠一句文字描述决定生成什么视频,PINT把这句换成Predictive Intent这串向量。VGM其余部分,包括从海量视频里学来的生成本事和注意力机制,一概不动。

另一边,负责输出具体动作的模块(论文里叫

这像一台大手术:主刀医生(VLM)看完片子,不必手把手教麻醉师怎么配药,只写一张简明的手术计划单(Predictive Intent),麻醉师(VGM)和护士(AE)各拿这张单子去做自己最熟的事。麻醉师还能随时瞟一眼手术台上的情况调调节奏,但台上的具体操作不会反过来搅乱主刀医生写计划单的思路。要是不这么分工,让主刀医生每动一下都亲自对接麻醉师和护士的每一步,整台手术的效率和专业度都得被拖垮——直接融合方案栽的就是这个跟头。

论文里还提到,他们另外试了一种叫

两段式训练:先弄懂"意思",再练出"手感"

结构设计好了还不够,怎么训出一段真管用的Predictive Intent,是另一道坎。

论文的办法是拆成两个阶段来训。

Stage 1

这一步的妙处在于,VGM被冻住了,参数动不了,没法迁就输入。想优化未来视频预测这个目标,只剩一条路:逼着Predictive Intent本身变得更准、装进更多信息。与此同时,动作预测的损失函数和VLM原有的语言建模损失函数也在起作用,三股劲一起把这段意图表示捏出来。

Stage 2

论文原文图3给了一组挺直观的对比:同一个任务“把容器放到盘子上”,在不同训练阶段,视频预测效果差别明显。那为什么不把两步并成一步、从头就联合训练?作者为此专门做了对照实验。

打个比方,学做一道复杂的菜,你可以边切菜边炒菜边调味,一起上手,但大概率手忙脚乱,哪样都不精。更靠谱的路子是先把刀工练扎实——第一阶段专心把“意图”这根核心骨架搭起来;刀工到位了,再去琢磨火候和调味的细节,也就是第二阶段专心打磨最终呈现效果。一上来就想着面面俱到,往往刀工没练好、火候也没把握住,两头都耽误。

实验数据:数字说话的

设计思路说了这么多,实际效果究竟如何?论文在四个场景下分别做了测试。

LIBERO*:机器人操作领域一个经典基准测试集,涵盖空间推理、物体操作、目标达成、长程任务四大类子任务。

LIBERO-Plus*:在LIBERO基础上加了七种系统性扰动的升级版,扰动包括相机视角变化、机器人初始状态变化、语言指令变化、光照变化、背景变化、传感器噪声和物体布局变化,用来专门检验模型泛化能力。

ID/OOD*:ID(in-distribution)指训练数据分布内的测试环境;OOD(out-of-distribution)指训练时没见过、分布外的测试环境。OOD表现通常被当作衡量模型真实泛化能力的关键指标。

先看专门考验泛化的LIBERO-Plus。没有用额外机器人预训练数据,PINT的总成功率是79.5%;同样用VGM的Fast-WAM只有51.5%。

再看双臂机器人仿真平台RoboTwin 2.0,它分Easy(简单,对应ID)和Hard(困难,对应OOD,加入背景、光照、桌面高度等随机扰动)两档。Easy档PINT是68.6%,比Fast-WAM的72.4%略低一点;Hard档PINT为15.5%,Fast-WAM只有1.8%,两者差了将近14个百分点。这组数字很说明问题:Fast-WAM在熟悉环境里表现不错,一碰到陌生场景几乎全军覆没;PINT在熟悉环境里没有碾压式优势,陌生场景下却保持了相对稳健的表现。

表格1:LIBERO与LIBERO-Plus关键结果对比(单位:%)

| 方法 | LIBERO平均 | LIBERO-Plus总分 | 是否用机器人预训练 |

|---|---|---|---|

| Fast-WAM | 97.6 | 51.5 | 否 |

| StarVLA-OFT | 96.6 | 75.0 | 否 |

| Motus | 97.7 | 76.0 | 是 |

| **PINT** | **98.0** | **79.5** | 否 |

|

真实世界实验更有说服力,仿真环境和真实场景之间总有差距。研究者在

表格2:真实世界五任务平均成功率对比(单位:%)

| 方法 | ID平均 | OOD平均 | 是否用机器人预训练 |

|---|---|---|---|

| Motus | 35 | 9 | 是 |

| π0.5 | 67 | **35** | 是 |

| **PINT** | **68** | 24 | 否 |

有一处现象挺值得琢磨:PINT压根没用机器人专属的额外预训练数据,分布内任务却追平、甚至压过了靠预训练加持的强对手,分布外任务上也比部分预训练对手高出一截。按这个结果看,预测意图这套设计本身,或许已经顶上了预训练数据原本要给的“见识广”那部分作用。不过π0.5在OOD上的领先也说明,大规模机器人预训练仍有它自己的价值,PINT的设计和预训练数据并非互斥的两条路,往后搭在一起说不定更强。

逐个零件拆开看:消融实验指出哪个设计最关键

模型效果好,究竟是哪个设计在起作用?论文为此做了一轮细致的消融实验,把每个零件拿掉,分别看成绩跌多少。

先看最核心那处:拿Predictive Intent替掉原来的文字提示去条件化VGM,这个改动到底划不划算。论文测了一个叫“

这组数字差距值得停下来想想:LIBERO上只跌了2.1个百分点,LIBERO-Plus却跌了16.1个百分点。也就是说,用不用Predictive Intent,熟悉场景里差别不大,一到陌生场景,差距马上被放大到接近8倍。再往下拆,背景变化和机器人初始状态变化这两类扰动下,成绩分别掉了45.7和34.6个百分点,几乎是灾难性的下滑。

原因在哪?直接拿原始文字提示去驱动VGM,这套机制是VGM在海量互联网视频上预训练出来的,碰到训练数据里没见过的组合场景就容易“失忆”。Predictive Intent不一样,它是针对当前具体任务专门学出来的一段浓缩表示,更像是给VGM递了一张“划了重点的考试提纲”,而不是放它自己去茫茫题海里现场摸索。

再看

另有一个挺有意思的发现,关乎动作专家该不该直接“偷看”VGM的中间层特征。把这条连接去掉之后(动作专家完全只靠Predictive Intent,看不到VGM的实时视觉特征),成绩从68.6%/15.5%降到65.9%/14.6%。可见光有一段压缩的意图向量,还覆盖不了所有有用信息,动作专家确实得额外瞄一眼VGM此刻正在“想”什么画面,动作决策才能更准。

表格3:核心设计消融实验结果(RoboTwin 2.0,单位:%)

| 设置 | Easy | Hard |

|---|---|---|

| Prompt-conditioned VGM(不用Predictive Intent) | 62.4 | 11.1 |

| Split Intent(拆分意图不共享) | 65.1 | 11.8 |

| 去掉第一阶段的视频损失 | 63.2 | 11.5 |

| 去掉VGM到动作专家的特征连接 | 65.9 | 14.6 |

| 去掉自回归监督损失 | 67.3 | 12.2 |

| 单阶段训练(不分两步) | 65.5 | 14.4 |

| **完整PINT** | **68.6** | **15.5** |

这一串消融实验摆在一起,好比把一台精密机器的齿轮挨个卸下来,看它转得顺不顺。单看每个齿轮,好像都算不上决定性;可拼到一起,每一个都在给最终那组数字出力。少掉任何一个,整台机器的运转效率都要打折,到了陌生环境这种“压力测试”里,缺陷还会被放得格外明显。

意图到底长什么样:一次可视化的尝试

论文还做了个挺有趣的可视化实验,想回答一个问题:Predictive Intent里头究竟装了什么?

研究者把训练数据里每一段真实的动作轨迹,用

色彩分布呈现出结构感:动作行为相近的,比如“往回拉”、“合拢右边的夹爪”、“水平抓取”等,在色彩图上会聚成彼此接近的色块。可见Predictive Intent虽说只是一段压缩向量,却真学到了抓取动作行为结构的能力,不是一堆乱七八糟的数字。

打个比方,给图书馆每本书贴一张色卡,如果色卡颜色大致能反映书的主题分类,比如历史书都偏棕、科幻书都偏蓝,那说明贴色卡的规则靠得住,确实抓到了书本身的某种本质特征,而不是随手乱贴。

性能往上走,推理时间也跟着涨。论文在单张A100显卡上测了生成一个32步动作块的耗时:Fast-WAM为266毫秒,PINT为331毫秒。论文另提的增强版PINT-VA更慢,要776毫秒——它让动作专家能看到VGM在所有视频帧上的特征,还让视频和动作同步去噪。

PINT-VA的成绩确实更好:RoboTwin 2.0上平均分从PINT的42.1%升到45.0%,可推理时间翻了不止一倍。多看一眼VGM的中间特征,信息更丰富,处理起来也更费时间。架构上的改动都有代价,工程落地时精度和速度总得选一头。

Q&A

Q1:PINT是什么?它是一个统一的机器人操作模型。语言理解模型、视频生成模型和动作生成模块三个专家,靠一段叫Predictive Intent(预测意图)的共享表示串起来:既能读懂任务语义,又能预测未来画面,还能生成精准动作,各自的本事也都留着。

Q2:PINT相比其他方法最大的优势在哪?没用额外的机器人预训练数据,它在分布外(陌生环境)的泛化能力明显更强。RoboTwin 2.0困难测试集上成功率为15.5%,Fast-WAM只有1.8%,StarVLA是3.2%;LIBERO-Plus上则达到79.5%,超过多个基线方法。

Q3:两阶段训练具体怎么做?第一阶段把视频生成模型冻住,只训练语言模型、意图令牌和动作专家,未来视频预测的梯度全部经预测意图回传,逼出一段有信息量的意图表示。第二阶段调个个儿,语言模型和意图令牌不动,专心调整视频生成模型和动作专家,把生成效果精修到位。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 极智嘉杨隽哲:机器人成为物理AI商业落地的增长引擎

    【环球网科技综合报道】“企业的关注点正在发生变化,早期客户考量的是投资回报,但在海外用工短缺、旺季履约压力等挑战下,机器人已成为企业赢得业务机会的核心驱动力。”11月17日,在福布斯中国全球化物流行业盛典上,极智嘉中国区总裁杨隽哲与来自跨境物流、无人配送及跨境支付领域的行业嘉宾,共同探讨物理 AI 在物流领...

    来源 腾讯网
  2. 一年卖了5000万,第一批明星AI产品还是下线了

    11月9日,腾讯元器停服。对一个做公众号的运营者来说,最直接的变化是,自己搭的自动回复机器人不回消息了。元器是腾讯2024年5月推出的零代码智能体平台,用户不用写代码,就能把公众号、知识库和插件拼成一个机器人。 更早之前的10月底,字节扣子发布《扣子企业版下线公告》:11月30日起,企业标准版、企业旗舰版暂停接受新客户

    来源 AI 行业观察
  3. Artex成犯罪分子新宠:AI黑客工具让新手也能“点按式”攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 行业观察
  4. 谷歌搜索框押注AI Overviews:广告收入承压,人形机器人仍要人抬上楼

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹一样蔓延时

    来源 AI 行业观察
  5. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,..

    来源 腾讯网
  6. 马斯克:预计未来12-18个月Optimus人形机器人能做家务劳动

    IT之家 11 月 19 日消息,特斯拉 CEO 埃隆 · 马斯克(Elon Musk)今日在视频连线采访中表示,预计未来 12-18 个月,Optimus(擎天柱)人形机器人就能做到倒垃圾、洗碗并将碗碟收进橱柜等家务劳动。马斯克表示,Optimus 有望在 12 至 18 个月内完成多步骤复杂操作,先用于重工业,再进

    来源 腾讯网
  7. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  8. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  9. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  10. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  11. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  12. 让大语言模型学会把方向盘交出去

    你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

    来源 腾讯网
  13. AI泔水入侵科普:南海双头虾与万张鸟类贴纸暴露知识污染风险

    AI泔水(AI Slop),正在侵蚀人类的知识世界。这个词在2025年入选《韦氏字典》年度词汇,专门用来形容由人工智能批量生产、质量低劣的数字内容。出现双头虾的《南海海洋生物科普丛书》中,绝大多数图片均由AI绘图工具生成。图片来源:澎湃新闻近日,中国农业出版社出版的《南海海洋生物科普丛书》,因出现不符合常识的“双...

    来源 腾讯网
  14. Artex走红:新手靠几句提示词就能发动网络攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 科技快讯
  15. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
  16. 特斯拉陶琳谈马斯克中国行:24小时专门从深圳飞上海

    IT之家 11 月 20 日消息,昨晚,特斯拉公司副总裁陶琳分享了马斯克中国行最新消息。她表示,马斯克短短 24 小时的中国行,专门从深圳飞到上海。马斯克说:“我想来上海,感谢亚太以及中国团队。”陶琳写道:“辅助驾驶技术进展一日千里,人形机器人正在快速提升各项技能….. 在跟同事们面对面的交流中,他分享的很多好消息..

    来源 腾讯网
向下滚动自动加载更多