Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作
24项真机硬碰硬!不靠大规模机器人预训练,Fysiverse-UniWAM拿...
机器人现在不只会判断该往哪儿走,还能决定在哪儿停下、以哪个朝向对准目标,停稳后直接动手作业。
这话听着像理所应当,可对机器人而言,它一直是个难啃的骨头。
拿收拾桌上杯子来说,能走到桌边,不等于能端起杯子。底盘要是停得偏远了,机械臂兴许就够不到;朝向差上一点,后面抓取也会跟着受影响。
怎么让机器人既走得到,又停得准、拿得起,乃至完成更复杂的灵巧操作?
国内有团队最近给出了一条挺有意思的新路子。
飞捷科思(Fysics AI)与复旦大学认知与智能技术实验室(CITLab)合作,推出统一世界动作模型 Fysiverse-UniWAM,试图靠一个模型把自主导航、移动操作和固定工位灵巧操作这三类原本各管各的能力串起来。
还有一点更受关注:该模型并未沿用从大规模机器人预训练起步的老办法。
团队的做法是从预训练视频世界模型切入,用共享骨干网络把导航与操作放到一起联合学习,同时提出 MAP(Manipulation Anchor Pose,操作锚定位姿),并建起 MAP-Data 数据集,规模超过 150 万条轨迹、累计约 7500 小时。
路线不同,实际跑起来到底怎么样?
结果确实有点出人意料。MAP-Bench 基准测试里,Fysiverse-UniWAM 的平均位置误差只有 9.85 厘米,平均朝向误差 2.30°,相比最强外部基线,这两项分别降了 30.1% 和 44.0%。
更值得看的是真机环节:团队把模型直接放到 4 种机器人平台上,跑了 24 项测试,覆盖自主导航、移动操作和固定工位操作。13 项导航任务的位置误差全部占优,4 项移动操作任务成功率都排第一;复杂固定工位操作这一块,整体表现也逼近经过大规模机器人预训练的 π₀.₅。
没有大规模机器人预训练打底,一个模型靠什么拿到这样的结果?
24 项真机实测摆在那里,这个模型到底有多能打?技术原理先放一放,直接看机器人在真实环境里的表现。
自主导航这一项,考验的不只是走得到,还有停得准。研究人员把机器人挪到离目标很远的位置,起点和朝向都换掉,机器人会依据当前环境自己规划接近路线,调整底盘的位置和方向,最后精准停靠。
目标换了、场景换了,甚至机器人平台也换了,模型照样能把对应的导航任务做下来。
拿演示效果来概括这些结果并不准确。
MAP 导航的真机测试做了 13 项。UniWAM 在这 13 项里的位置误差都排在第一位,朝向误差则在 11 项任务上做到最优。
把停靠做准,说到底是为了给后面的机械臂操作铺好条件。
移动操作:不光要走到位,还得把活干完
面对移动操作任务,机器人得自己先靠近目标,把底盘调好,再驱动机械臂去抓取、去放置。
比如从移动到桌边开始,一路到伸手抓起杯子并把它收纳好,整条流程都由模型自主走完。
到了彩色方块分类,机器人要认准目标颜色,让底盘和机械臂配合起来,把方块送进对应的托盘。
这类任务真正考的是导航与操作能不能接得上,单独做完某一个动作并不算过关。
技术报告表 7 列出了 4 项真机移动操作任务的逐项评测结果。UniWAM-Scaled 在 4 项任务上的成功率均列第一,平均成功率 80.0%,比当前最强的机器人预训练基线 π₀.₅ 高出 17.5 个百分点。
技术报告表 7 给出了 4 项移动操作任务的分项评测结果,涉及灵巧操作的四项内容分别是万物抓取、双臂三层叠杯、高精度插管和长程度咖啡制作。
导航与移动操作已经体现出这套模型的综合能力,灵巧操作这一部分则更有看点。
先看 Pick Up Anything 的一镜到底交互演示。
物体的形状、大小、摆放姿态各不相同,机器人靠实时视觉观察调整抓取动作,对不一样的目标连续完成交互式抓取。
人手在三维空间里移到哪个位置,机械臂就持续感知手部位置,跟着调整递送动作,把物体准确送到手边。人伸手到哪儿,机械臂就把东西递到哪儿。
难度更高的操作同样能完成。
双臂三层叠杯任务要求两条手臂配合,先精准抓取,再逐层放置,最后把三层杯塔搭起来。
高精度试管插放任务里,机械臂末端的位置和姿态都要控制到位,精细对准之后完成插入,空间精度的要求更高。
长程咖啡制作这类任务更考验机器人:它得一步步连着做下去,长时序怎么规划、动作之间怎么接、执行稳不稳,都是难点。泛化抓取、双臂协作、精细插放几类活儿它都拿得下来,Fysiverse-UniWAM 的灵巧操作能力覆盖得相当宽。
7 项固定工位真机评测里,模型有 3 项任务压过 π₀.₅,整体成功率 68.9%,比 π₀.₅ 只低 2.5 个百分点。
技术报告表 7 给出 7 项固定工位操作任务的成功率对照。
把 24 项真机任务放在一起看,技术报告表 6 归拢了三类任务的整体成绩:UniWAM-Scaled 在 MAP 导航和移动操作的停靠精度上都排第一,移动操作成功率居首,固定工位操作成功率列第二。
24 项真机任务的整体评测结果,见技术报告表 6。
一个没做过大规模机器人预训练的统一模型,导航和移动操作能领先,灵巧操作又做得这么全,靠的到底是什么技术手段?
UniWAM 绕开大规模机器人预训练,走的是一条什么路?
π₀.₅、GR00T 这些模型代表的大规模机器人预训练,这几年已经是具身智能的一条重要技术路线。
不过,真机数据拿起来并不轻松。移动操作的完整轨迹要从移动、停靠一路采到机械臂执行任务,连续记录整个过程,成本高,复杂度也大。
还有一层差异绕不开:导航盯的是环境布局和底盘运动,操作盯的是近距离物体交互和机械臂的精细控制。那能不能绕开海量完整操作轨迹,让导航与操作在同一个模型里一起学?
团队把这个问题切成了两块。头一块是:机器人怎么判断,哪个位置才适合作为操作的导航终点?
另一块是:导航和操作的数据不一样、动作也不一样,怎么让二者在同一个模型里共同学习?
给出的解法就是 MAP 和 Mixed-Stream。
移动操作要面对哪些难点,Fysiverse-UniWAM 又怎么应对。
MAP:导航的终点,就是操作的起点
以往的语义导航,一般只要求机器人走到目标附近就算完成。可放到移动操作上,仅仅“到达”并不够用。底盘停在哪、朝哪个方向对着目标,才方便机械臂接着干活,这些机器人也得心里有数。
团队为此提出了 MAP(操作锚定位姿)这套方案,把有利于后续操作的参考位置和朝向直接设为导航的学习目标。更关键的一点在于,MAP 的监督数据可以大规模自动生成。
具体做法上,团队把 HM3D、InteriorGS 和私有的大规模场景数据都用了起来,再结合场景几何信息、视觉语言模型与自动路径规划,针对不同的操作目标生成参考停靠位姿和接近轨迹。
每条轨迹里不光有视觉观察和导航动作,目标边界框、MAP 图像投影这些几何监督信息也一并记了下来。
MAP-Data 的自动生成流程。
这样攒出来的 MAP-Data 共有超过 150 万条轨迹,时长约 7500 小时。也就是说,机器人不必完全靠真实的移动操作示范,照样能借助大规模生成的数据学会走到适合动手的位置。
不过,解决了“在哪里停”,并不等于解决了“如何一起学”。
Mixed-Stream:导航与操作分开学,模型能力共享
导航和操作在视觉信息、动作空间、控制方式上差别都不小。把两类动作直接拼到一起,统一学习的难度可能反而上升;可要是分开训两个模型,能力又难以充分共享。
换个路子,Fysiverse-UniWAM 让两条数据流各走各的,只把核心骨干网络拿出来共用。
Fysiverse-UniWAM Mixed-Stream 的整体架构就是这样搭的。
其中导航流只管环境观察和底盘动作,操作流则负责多视角观察与机械臂动作。两条流各自配备输入编码器和动作输出头,但底下的视频 DiT 与动作 DiT 骨干网络是同一套,靠 Mixture-of-Transformers(MoT)机制把视觉动态和动作生成放在一起建模。
还有一点很关键:导航数据和操作数据未必要出自同一条完整的移动操作轨迹。
训练阶段,两类数据分别采样、成批送入,一起更新共享骨干;到了推理阶段,两条流可以单独跑,也能并行执行。这样一来,海量导航数据和固定工位操作数据都能进入同一个模型参与训练,对完整移动操作示范数据的依赖也就降下来了。
模型另外加了图像平面辅助监督这层设计:导航流去预测目标边界框和 MAP 投影位置,操作流则预测机械臂末端的二维投影轨迹,视觉信息和动作预测之间的联系因此被拉得更紧。
导航 MAP 预测与操作末端轨迹预测的可视化结果。
到这里,UniWAM 的技术逻辑就清楚了:
MAP 管的是机器人该在哪儿停下来,Mixed-Stream 则管导航和操作怎么放在一块儿学。两个设计凑到一起,原先各干各的导航、移动操作和固定工位操作,就能在同一个世界动作模型里一起建模。
从基准测试一路走到零样本迁移,这条路到底管不管用?
团队搭了个 MAP-Bench 来检验这套设计,里头有 15000 条评测轨迹,拿来对比的模型包括 π₀.₅、GR00T N1.7、FastWAM、Uni-NaVid 以及 InternVLA-N1。
跑下来的结果是,UniWAM-Scaled 在短距离、中距离、长距离任务里的停靠误差都是最低的,平均位置误差 9.85 厘米,朝向误差 2.30°。
跟最强的外部基线比,位置误差少了 30.1%,朝向误差少了 44.0%。
技术报告表 4 列出了 MAP-Bench 中各模型的性能对比。
这些优势也不是全靠多喂了数据换来的。不引入 MAP-Data 时,UniWAM-Base 的成绩就已经压过外部基线;加上 MAP-Data 之后,停靠精度还能再往上走。
架构层面的对照实验同样说明问题:比起统一动作 Token、独立动作专家、序列拼接这些做法,Mixed-Stream 在移动操作成功率和停靠精度上都更好。
更让人感兴趣的是零样本真机迁移这一环。
整个训练过程里,团队只把 MAP-Data 喂给 UniWAM-Sim,真实机器人的示范数据一点没掺,训完就直接放到两种真实机器人平台上跑。
结果落在纸面上:位置误差 18.7 厘米,朝向误差 6.34°。这说明生成式场景数据有往真实机器人上迁移的空间。
技术报告表 8 给出的,正是 UniWAM-Sim 零样本真机迁移的成绩。
换个角度看,几何监督写清楚了,模型设计也统一了,机器人能力要往上走,未必只能靠把真实机器人预训练规模越堆越大。
统一机器人能力,扩大预训练规模并非唯一的路
导航和移动操作这几项指标领先,其实还不是 Fysiverse-UniWAM 最值得盯的地方。
更值得看的是它蹚出的另一条路——机器人能力可以换个方式搭起来。
具体说,MAP 让导航从一开始就冲着后续操作去;Mixed-Stream 则把原本分散的导航数据和操作数据放进同一个世界动作模型里一起学。
话说回来,这并不等于大规模机器人预训练就没用了。它只是说明,要做出统一的机器人能力,大规模预训练未必是绕不开的前提。
从精准导航,到移动抓取,再到双臂协作和精细操作,24 项真机测试把 Fysiverse-UniWAM 这个统一模型的能力铺开摆了一遍,也让人看到这条技术路线站得住脚。
具身智能如果不再只比谁家机器人数据多,那不同本事怎么真正捏到一起,恐怕也是通往通用机器人的一道关口。
项目与开源资源放在最后列出。
项目主页和演示:
https://fysics-ai.github.io/uniwam.github.io/
技术报告
https://arxiv.org/abs/2609.39388
GitHub 上的代码:
https://github.com/Fysics-AI/UniWAM
Hugging Face 导航权重:
https://huggingface.co/Fysics-AI/UniWAM
MAP-Data 数据集:
https://huggingface.co/datasets/Fysics-AI/MAP-Data
MAP-Bench 的数据和评测轨迹:
https://huggingface.co/datasets/Fysics-AI/MAP-Bench