Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作

资讯 AI 行业观察 全文 4879 字 · 约 13 分钟读完 配图 10 张 分类机器人

24项真机硬碰硬!不靠大规模机器人预训练,Fysiverse-UniWAM拿...

所属频道 机器人与具身智能
图片

机器人现在不只会判断该往哪儿走,还能决定在哪儿停下、以哪个朝向对准目标,停稳后直接动手作业。


这话听着像理所应当,可对机器人而言,它一直是个难啃的骨头。


拿收拾桌上杯子来说,能走到桌边,不等于能端起杯子。底盘要是停得偏远了,机械臂兴许就够不到;朝向差上一点,后面抓取也会跟着受影响。


怎么让机器人既走得到,又停得准、拿得起,乃至完成更复杂的灵巧操作?


国内有团队最近给出了一条挺有意思的新路子。


飞捷科思(Fysics AI)与复旦大学认知与智能技术实验室(CITLab)合作,推出统一世界动作模型 Fysiverse-UniWAM,试图靠一个模型把自主导航、移动操作和固定工位灵巧操作这三类原本各管各的能力串起来。


还有一点更受关注:该模型并未沿用从大规模机器人预训练起步的老办法。


团队的做法是从预训练视频世界模型切入,用共享骨干网络把导航与操作放到一起联合学习,同时提出 MAP(Manipulation Anchor Pose,操作锚定位姿),并建起 MAP-Data 数据集,规模超过 150 万条轨迹、累计约 7500 小时。


路线不同,实际跑起来到底怎么样?


结果确实有点出人意料。MAP-Bench 基准测试里,Fysiverse-UniWAM 的平均位置误差只有 9.85 厘米,平均朝向误差 2.30°,相比最强外部基线,这两项分别降了 30.1% 和 44.0%。



更值得看的是真机环节:团队把模型直接放到 4 种机器人平台上,跑了 24 项测试,覆盖自主导航、移动操作和固定工位操作。13 项导航任务的位置误差全部占优,4 项移动操作任务成功率都排第一;复杂固定工位操作这一块,整体表现也逼近经过大规模机器人预训练的 π₀.₅。



没有大规模机器人预训练打底,一个模型靠什么拿到这样的结果?



24 项真机实测摆在那里,这个模型到底有多能打?技术原理先放一放,直接看机器人在真实环境里的表现。



自主导航这一项,考验的不只是走得到,还有停得准。研究人员把机器人挪到离目标很远的位置,起点和朝向都换掉,机器人会依据当前环境自己规划接近路线,调整底盘的位置和方向,最后精准停靠。



目标换了、场景换了,甚至机器人平台也换了,模型照样能把对应的导航任务做下来。




拿演示效果来概括这些结果并不准确。


MAP 导航的真机测试做了 13 项。UniWAM 在这 13 项里的位置误差都排在第一位,朝向误差则在 11 项任务上做到最优。


把停靠做准,说到底是为了给后面的机械臂操作铺好条件。


移动操作:不光要走到位,还得把活干完


面对移动操作任务,机器人得自己先靠近目标,把底盘调好,再驱动机械臂去抓取、去放置。


比如从移动到桌边开始,一路到伸手抓起杯子并把它收纳好,整条流程都由模型自主走完。



到了彩色方块分类,机器人要认准目标颜色,让底盘和机械臂配合起来,把方块送进对应的托盘。



这类任务真正考的是导航与操作能不能接得上,单独做完某一个动作并不算过关。


技术报告表 7 列出了 4 项真机移动操作任务的逐项评测结果。UniWAM-Scaled 在 4 项任务上的成功率均列第一,平均成功率 80.0%,比当前最强的机器人预训练基线 π₀.₅ 高出 17.5 个百分点。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 2)

技术报告表 7 给出了 4 项移动操作任务的分项评测结果,涉及灵巧操作的四项内容分别是万物抓取、双臂三层叠杯、高精度插管和长程度咖啡制作。



导航与移动操作已经体现出这套模型的综合能力,灵巧操作这一部分则更有看点。


先看 Pick Up Anything 的一镜到底交互演示。



物体的形状、大小、摆放姿态各不相同,机器人靠实时视觉观察调整抓取动作,对不一样的目标连续完成交互式抓取。


人手在三维空间里移到哪个位置,机械臂就持续感知手部位置,跟着调整递送动作,把物体准确送到手边。人伸手到哪儿,机械臂就把东西递到哪儿。


难度更高的操作同样能完成。


双臂三层叠杯任务要求两条手臂配合,先精准抓取,再逐层放置,最后把三层杯塔搭起来。



高精度试管插放任务里,机械臂末端的位置和姿态都要控制到位,精细对准之后完成插入,空间精度的要求更高。



长程咖啡制作这类任务更考验机器人:它得一步步连着做下去,长时序怎么规划、动作之间怎么接、执行稳不稳,都是难点。泛化抓取、双臂协作、精细插放几类活儿它都拿得下来,Fysiverse-UniWAM 的灵巧操作能力覆盖得相当宽。




7 项固定工位真机评测里,模型有 3 项任务压过 π₀.₅,整体成功率 68.9%,比 π₀.₅ 只低 2.5 个百分点。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 3)

技术报告表 7 给出 7 项固定工位操作任务的成功率对照。


把 24 项真机任务放在一起看,技术报告表 6 归拢了三类任务的整体成绩:UniWAM-Scaled 在 MAP 导航和移动操作的停靠精度上都排第一,移动操作成功率居首,固定工位操作成功率列第二。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 4)

24 项真机任务的整体评测结果,见技术报告表 6。


一个没做过大规模机器人预训练的统一模型,导航和移动操作能领先,灵巧操作又做得这么全,靠的到底是什么技术手段?


UniWAM 绕开大规模机器人预训练,走的是一条什么路?


π₀.₅、GR00T 这些模型代表的大规模机器人预训练,这几年已经是具身智能的一条重要技术路线。


不过,真机数据拿起来并不轻松。移动操作的完整轨迹要从移动、停靠一路采到机械臂执行任务,连续记录整个过程,成本高,复杂度也大。


还有一层差异绕不开:导航盯的是环境布局和底盘运动,操作盯的是近距离物体交互和机械臂的精细控制。那能不能绕开海量完整操作轨迹,让导航与操作在同一个模型里一起学?



团队把这个问题切成了两块。头一块是:机器人怎么判断,哪个位置才适合作为操作的导航终点?



另一块是:导航和操作的数据不一样、动作也不一样,怎么让二者在同一个模型里共同学习?


给出的解法就是 MAP 和 Mixed-Stream。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 5)

移动操作要面对哪些难点,Fysiverse-UniWAM 又怎么应对。


MAP:导航的终点,就是操作的起点


以往的语义导航,一般只要求机器人走到目标附近就算完成。可放到移动操作上,仅仅“到达”并不够用。底盘停在哪、朝哪个方向对着目标,才方便机械臂接着干活,这些机器人也得心里有数。



团队为此提出了 MAP(操作锚定位姿)这套方案,把有利于后续操作的参考位置和朝向直接设为导航的学习目标。更关键的一点在于,MAP 的监督数据可以大规模自动生成。



具体做法上,团队把 HM3D、InteriorGS 和私有的大规模场景数据都用了起来,再结合场景几何信息、视觉语言模型与自动路径规划,针对不同的操作目标生成参考停靠位姿和接近轨迹。


每条轨迹里不光有视觉观察和导航动作,目标边界框、MAP 图像投影这些几何监督信息也一并记了下来。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 6)

MAP-Data 的自动生成流程。


这样攒出来的 MAP-Data 共有超过 150 万条轨迹,时长约 7500 小时。也就是说,机器人不必完全靠真实的移动操作示范,照样能借助大规模生成的数据学会走到适合动手的位置。



不过,解决了“在哪里停”,并不等于解决了“如何一起学”。


Mixed-Stream:导航与操作分开学,模型能力共享


导航和操作在视觉信息、动作空间、控制方式上差别都不小。把两类动作直接拼到一起,统一学习的难度可能反而上升;可要是分开训两个模型,能力又难以充分共享。



换个路子,Fysiverse-UniWAM 让两条数据流各走各的,只把核心骨干网络拿出来共用。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 7)

Fysiverse-UniWAM Mixed-Stream 的整体架构就是这样搭的。


其中导航流只管环境观察和底盘动作,操作流则负责多视角观察与机械臂动作。两条流各自配备输入编码器和动作输出头,但底下的视频 DiT 与动作 DiT 骨干网络是同一套,靠 Mixture-of-Transformers(MoT)机制把视觉动态和动作生成放在一起建模。



还有一点很关键:导航数据和操作数据未必要出自同一条完整的移动操作轨迹。


训练阶段,两类数据分别采样、成批送入,一起更新共享骨干;到了推理阶段,两条流可以单独跑,也能并行执行。这样一来,海量导航数据和固定工位操作数据都能进入同一个模型参与训练,对完整移动操作示范数据的依赖也就降下来了。



模型另外加了图像平面辅助监督这层设计:导航流去预测目标边界框和 MAP 投影位置,操作流则预测机械臂末端的二维投影轨迹,视觉信息和动作预测之间的联系因此被拉得更紧。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 8)

导航 MAP 预测与操作末端轨迹预测的可视化结果。


到这里,UniWAM 的技术逻辑就清楚了:


MAP 管的是机器人该在哪儿停下来,Mixed-Stream 则管导航和操作怎么放在一块儿学。两个设计凑到一起,原先各干各的导航、移动操作和固定工位操作,就能在同一个世界动作模型里一起建模。



从基准测试一路走到零样本迁移,这条路到底管不管用?


团队搭了个 MAP-Bench 来检验这套设计,里头有 15000 条评测轨迹,拿来对比的模型包括 π₀.₅、GR00T N1.7、FastWAM、Uni-NaVid 以及 InternVLA-N1。


跑下来的结果是,UniWAM-Scaled 在短距离、中距离、长距离任务里的停靠误差都是最低的,平均位置误差 9.85 厘米,朝向误差 2.30°。


跟最强的外部基线比,位置误差少了 30.1%,朝向误差少了 44.0%。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 9)

技术报告表 4 列出了 MAP-Bench 中各模型的性能对比。


这些优势也不是全靠多喂了数据换来的。不引入 MAP-Data 时,UniWAM-Base 的成绩就已经压过外部基线;加上 MAP-Data 之后,停靠精度还能再往上走。



架构层面的对照实验同样说明问题:比起统一动作 Token、独立动作专家、序列拼接这些做法,Mixed-Stream 在移动操作成功率和停靠精度上都更好。


更让人感兴趣的是零样本真机迁移这一环。


整个训练过程里,团队只把 MAP-Data 喂给 UniWAM-Sim,真实机器人的示范数据一点没掺,训完就直接放到两种真实机器人平台上跑。


结果落在纸面上:位置误差 18.7 厘米,朝向误差 6.34°。这说明生成式场景数据有往真实机器人上迁移的空间。


Fysiverse-UniWAM:不靠大规模预训练,打通导航与灵巧操作(配图 10)

技术报告表 8 给出的,正是 UniWAM-Sim 零样本真机迁移的成绩。


换个角度看,几何监督写清楚了,模型设计也统一了,机器人能力要往上走,未必只能靠把真实机器人预训练规模越堆越大。


统一机器人能力,扩大预训练规模并非唯一的路


导航和移动操作这几项指标领先,其实还不是 Fysiverse-UniWAM 最值得盯的地方。


更值得看的是它蹚出的另一条路——机器人能力可以换个方式搭起来。


具体说,MAP 让导航从一开始就冲着后续操作去;Mixed-Stream 则把原本分散的导航数据和操作数据放进同一个世界动作模型里一起学。


话说回来,这并不等于大规模机器人预训练就没用了。它只是说明,要做出统一的机器人能力,大规模预训练未必是绕不开的前提。


从精准导航,到移动抓取,再到双臂协作和精细操作,24 项真机测试把 Fysiverse-UniWAM 这个统一模型的能力铺开摆了一遍,也让人看到这条技术路线站得住脚。


具身智能如果不再只比谁家机器人数据多,那不同本事怎么真正捏到一起,恐怕也是通往通用机器人的一道关口。


项目与开源资源放在最后列出。


项目主页和演示:

https://fysics-ai.github.io/uniwam.github.io/ 

技术报告

https://arxiv.org/abs/2609.39388 

GitHub 上的代码:

https://github.com/Fysics-AI/UniWAM 

Hugging Face 导航权重:

https://huggingface.co/Fysics-AI/UniWAM 

MAP-Data 数据集:

https://huggingface.co/datasets/Fysics-AI/MAP-Data 

MAP-Bench 的数据和评测轨迹:

https://huggingface.co/datasets/Fysics-AI/MAP-Bench




本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 宇树G1过热退赛:登泰山未登顶,担架抬下山引关注

    随后,这台无法继续行走的机器人被工作人员放上担架抬下山,相关画面因颇具戏剧性而引发广泛关注。据介绍,本届大赛吸引了近90支队伍参赛,宇树G1作为“永达智诚”队的参赛选品亮相,是现场备受关注的明星产品。然而在攀爬过程中,机器人因机器过热出现状况。为防止设备损坏或发生意外,操作手决定中途退赛。宇树G1此次因过热退赛,正是在

    来源 TechWeb
  2. 王兴兴:宇树主攻机器人大脑,将在全球范围找合作

    IT之家 11 月 3 日消息,据“财闻”报道,宇树科技创始人王兴兴今天(3 日)上午出席了世界互联网大会乌镇峰会,开幕会前受访时透露,宇树科技未来重点在攻克机器人大脑技术,除了宇树科技自身的技术突破,还将在全球范围寻求合作,看好物理 AI 技术,并致力于突破。就在今年 10 月,王兴兴在 2026 世界物理 AI 大

    来源 腾讯网
  3. 苹果2027年千元家用机器人:FaceTime和智能家居成主打

    苹果计划于2027年推出一款售价约1000美元的家用机器人,主打FaceTime视频通话和智能家居控制功能。该产品由CEO约翰·特努斯支持,但高昂定价与有限用途引发市场对其普及前景的质疑。本文编译自Ars Technica,分析苹果在智能家居机器人领域的布局与挑战。

    来源 AI 科技快讯
  4. ChatGPT、Claude当投票顾问:幻觉、偏见与滞后三重风险

    选举日临近,越来越多选民转而向ChatGPT、Claude等聊天机器人询问投票地点、截止时间甚至该投给谁。WIRED指出,这类工具存在幻觉、党派偏见与信息滞后三重风险:它们可能编造不存在的投票站,也可能对候选人给出带有倾向性的评价。把选票交给AI,等于把民主决策交给一个不会说“我不知道”的模型。

    来源 AI 科技快讯
  5. 灵机界破解机器人协同痛点,灵形开悟推进场景落地

    2026年春晚结束,一批具身智能机器人没有退场,而是出现在成都兴隆湖畔的办公楼里,承担起语音交互、引导接待与简单运维。这批机器人的运营方,是2025年11月成立的成都灵形开悟科技有限公司(以下简称“灵形开悟”)。这家由北航成都创新研究院孵化的科技企业,聚焦具身智能RaaS(机器人即服务),2026年10月在成都科创生态

    来源 AI 行业观察
  6. 这 20 家机器人公司,吃掉了具身智能融资的半壁江山

    2026年,具身智能创业公司的融资速度继续加快。机本智能注册约两个月,便完成两轮近千万美元融资;2004年出生的黄一创办萝博派对,投资方中出现了小米、宁德时代;智平方则在6月披露,新一系列融资总额接近50亿元。 资本关注的团队背景也颇为集中。IT桔子8月发布的一项统计梳理了1155位具身智能创业者,其中96人具有清华背

    来源 AI 行业观察
  7. 王兴兴:宇树未来聚焦机器人大脑技术,全球寻求合作

    11月3日消息,据财闻报道,宇树科技-W(688836.SH)创始人王兴兴在出席世界互联网大会乌镇峰会开幕会前接受采访时表示,宇树科技未来将重点攻克机器人大脑技术;除推进自身技术突破外,还将在全球范围寻求合作。他表示看好物理AI技术,并致力于实现突破。 此前在10月22日于杭州举行的2026世界物理AI大会暨宇树合作伙

    来源 AI 行业观察
  8. 宇树G1登泰山中途过热退赛,被担架抬下山

    11月2日,首届CMG世界机器人登泰山大赛在山东泰安开赛。宇树机器人G1开发版作为永达智诚参赛产品亮相,途中因机器过热被操作手退赛,由工作人员抬下山。赛事赛道全长3.9公里、共3100余级台阶,现场还有完赛机器人踉跄、被绳牵的画面。

    来源 凤凰科技
  9. 马斯克限制Grok Bot使用额度:增长太快,成本扛不住

    马斯克近日因“不可持续的高成本”对Grok Bot实施使用限制,而就在不久前,他还称这款产品拥有“我一生中见过的最快增长速度”。增长神话与算力账单正面相撞,暴露出AI聊天机器人免费或低门槛模式背后的经济难题。本文梳理事件始末,并分析大模型限流潮背后的行业逻辑。

    来源 AI 科技快讯
  10. 心言巴布「Bubbo 1」:一台机器人,如何成为家人

    头图来源:心言机器人2026 年 10 月 29 日,心言机器人正式发布具身家庭智能体「巴布(Bubbo 1)」。这台毛绒外形的机器人,基于心言自研的 Bubbo OS,主打「伙伴式交互」:它不是一台等人发号施令的家电,而是一个会主动走近、主动回应的家庭成员。产品即日起在京东等官方渠道发售,售价 9499 元,前 10

    来源 腾讯网
  11. Anthropic还在疯狂抢算力:8954亿美元承诺,连旧煤电厂都不放过

    AI公司正在变成大型基础设施买家。 Anthropic的扩张路径,已经从训练模型、争夺企业客户,延伸到建设数据中心、采购芯片和协调电力资源。为了获得足够的计算能力,这家公司开始直接介入过去主要由云服务商和基础设施运营商承担的工作。 美国当地时间11月2日,Anthropic向美国证券交易委员会提交更新后的招股书。文件补

    来源 AI 行业观察
  12. 特斯拉人形机器人迎来重大突破:量产版Optimus首次搭载端到端视觉大模型,动作流畅度对标真人

    近日,特斯拉在人形机器人领域迎来了关键性技术升级,其最新量产版 Optimus 首次全面搭载了与 FSD(完全自动驾驶)同源的端到端视觉大模型。这一核心架构的升级,彻底改变了机器人过去依赖传统硬编码程序的呆板模式,让机器人在复杂物理环境中的自主决策与肢体动作发生了质的飞跃。 在技术实现路径上,新一代 Optimus 摒

    来源 AI 开发者社区
  13. 拧螺丝不必一次完美:浙大团队用图算法让机器人从失败中学习

    精细操作很难一次成功,传统行为克隆往往丢弃包含局部有效动作的失败轨迹。浙江大学沈春华团队联合中国电信人工智能研究院提出 GR-BC 方法,通过构建状态图连接多次尝试,反向搜索计算进度并加权训练。在显卡插装等四项真机任务中,平均成功率达 91%,比基线高出 27 个百分点,证明了从“不完美数据”中挖掘价值的可行性。

    来源 AI 应用前沿
  14. AI泡沫多空大辩论:本轮暴跌根源与镜鉴

    10月28日,Alphabet(谷歌母公司)发布三季报。营收同比增长25%,云业务收入翻倍,经营利润增长30%。只看这几组数字,这是一份好得不能再好的成绩单。 但当日收盘,股价一夜跌去12%。 同一家公司、同一组数字,在市场中产生了巨大分歧:有人盯着云业务103%的增速,有人盯着负90.7亿美元的自由现金流;有人计算收

    来源 AI 行业观察
向下滚动自动加载更多