VLA模型参数冲突怎么破?上海交大等提出MorphAct实时生成参数

资讯 腾讯网 作者:科技行者 全文 5153 字 · 约 13 分钟读完 分类机器人

你有没有想过,一个机器人手臂把一块积木放进托盘的时候,这个看似简单的动作,其实内部藏着好几种完全不同的"状态切换"?先是悬空移动,接近物体;然后手指接触到积木;接着稳稳地把它端起来运走;最后再精准地放下去。四个阶段,四种完全不同的感知需求和控制逻辑,可整个过程中,机器人收到的指令就一句话:"把积木放进托盘...

所属频道 机器人与具身智能

一个机器人手臂把积木放进托盘,这个看起来简单的动作,内部其实藏着好几种完全不同的“状态切换”,你有没有想过这一点?

先悬空移动、接近物体,手指碰到积木,再稳稳端起来运走,最后精准放下。四个阶段,感知需求和控制逻辑各不相同,可机器人收到的指令就一句:“把积木放进托盘”。

上海交大、中科大等机构联合完成的一篇论文,正是从这处不太起眼的观察切入,揭开了一个多数人没留意的问题。

**核心问题:一套参数,真的够用吗**

当前主流的机器人控制模型叫VLA模型。VLA(Vision-Language-Action)

像

哪怕你用了

微调常用的LoRA(Low-Rank Adaptation)也没有带来本质改变,微调后的参数照样是固定的,不会因为眼下面对的是“抓取”还是“放置”而变动。

打个比方,你请了一位厨师,他做菜的手法固定,炒青菜和炖牛肉手腕发力都一样。可炒青菜要快火猛炒,炖牛肉得文火慢煨,若坚持用同一套动作逻辑应付两种截然不同的烹饪需求,大概率两样都做不好,或者说不如专门针对性训练过的厨师那么精。机器人面对不同操作阶段却用同一套参数,道理其实相同:没人规定一套固定手法能同时应付所有菜式。

研究团队没有停在直觉层面,他们真的动手做实验来验证这个猜想。

**诊断实验:冲突是真实存在的**

团队用了

实验在RoboCasa365上进行。他们固定住一个训练好的模型,第一个实验的结果挺扎心。

**跨任务比较中,负向梯度冲突的发生率在视觉语言模块达到47.80%,在动作模块达到48.28%,比同任务内部的38.94%和42.69%都要高。**

这意味着什么?不同任务想要的参数调整方向,经常互相拧着来,接近一半的情况下是真正“对着干”。

团队接着做了第二个实验,路径更直白:先取某一个任务的数据跑一遍完整梯度更新,随后观察这轮更新如何波及另外64个任务的损失。260次更新全都把自己任务的损失压了下去,平均降幅2.38%;可每一次更新平均会抬高22到46个其他任务的损失,中位数为32个,换句话说,一半以上的其他任务都跟着遭了殃。

这就像公司给某个部门加薪,本意是激励这个部门更拼命干活,结果却发现这笔预算从整体资源池里挤出来,其他部门的奖金池缩水,士气反而下降。不做任何区分、笼统地用“一碗水端平”的加薪政策,看似公平,实际上谁都没真正被满足。

第三个实验把模块拆到更细的粒度,分成47个视觉语言参数组和19个动作参数组,发现在跨任务比较里,视觉语言模块的“正负抵消”比例高达36.13%,动作模块也有30.90%。这意味着,哪怕模块整体看起来冲突不大,内部各个小组件其实在互相拉扯,只是正负抵消后让表面数字显得风平浪静。

这个发现非常关键,它说明问题不是表面上那么简单,不是“换个大模块就能解决”,而是渗透到了非常细粒度的参数层面。

**

查清症结之后,团队给出的方案名为MorphAct。做法上不再让一套固定参数包打所有场景,改成搭起两个生成器,由它们依据当下的观察、语言指令与机器人状态,即时产出贴合当前情境的参数更新。

两个生成器各有名字:

Gv

Ga

关键在于,它们并非各干各的,而是存在严格的先后依赖。Gv先读取当前图文输入,生成视觉语言模块的更新,这一步会改变模型对场景的理解(产生一个叫

这套顺序其实对应机器人真实的计算流程:先看懂眼前场景,再决定怎么动。

拿导航打个比方:软件得先重算路况(视觉语言模块贴合当下场景),之后才能依据最新路况给出转弯指令(动作模块贴合具体操作)。若跳过第一步,拿着旧地图直接下指令,哪怕前方已经堵死,导航仍会按原计划带你走,后果不用多说。MorphAct不允许这种脱节——动作生成器必须接住视觉语言适配后的最新信息,而不是用未经调整的原始特征。

论文的消融实验对这个耦合机制给出了很直接的验证。团队做了一个叫

**可见光让两个模块各自适配还不够,收益真正来自按计算依赖的顺序把它们串起来。**

落到具体任务套件上,耦合效果更清楚。“Object”任务只涨了2.07个百分点,可“Long”长程任务上耦合带来21.60个百分点的大幅提升,“Goal”任务也涨了13.47个点。任务越复杂、越依赖连续决策,信息传递的完整性就越关键。

**低秩合成:又快又省的做法**

每个场景都生成一整套新权重矩阵,计算量会直接爆掉。MorphAct因此沿用低秩适配的思路,只是做得更细。

论文采用的结构化合成方法参考了一个叫

对Q/K/V这类注意力投影层,团队按实际注意力头数量分别生成;前馈网络层则用整体矩阵级的因子处理。这些细节保证不同模块、不同宽度深度的网络层都能被恰当适配,不会因一刀切出问题。

训练时两个生成器并不单独训练,而是随模型自身的动作预测目标联合训练。既不需要额外标注每个动作属于哪个操作阶段,也不需要专门的“专家适配器”目标来指导。

这个做法其实挺巧。

模型并不知道自己处在接触阶段还是运输阶段,团队也没把这层信息告诉它。判断当前该输出什么参数调整,是模型靠动作预测的损失函数自己学出来的。

好比教孩子骑车,你不用一步步讲“现在蹬踏板该用多大力气,现在身体该怎么倾斜保持平衡”,孩子靠不断尝试、靠摔倒或稳住的反馈调整动作,自然就协调了。非要拿详细规则手把手教,反倒可能限制他根据路况随机应变。MorphAct走的正是让结果反馈驱动学习的路子,而非硬性标注每个阶段该怎么做。

**实验结果:三个骨干模型全面提升**

团队在

LIBERO基准测试

Meta-World基准测试

LIBERO上,三个骨干模型的平均成功率均有所提升:

最明显的提升出现在Long长程任务套件,三个模型分别涨了9.00、7.20和5.13个百分点。这正好印证前面的判断:任务越长、涉及的操作阶段越多,固定参数的局限越明显,MorphAct的优势也越突出。

Meta-World上的涨幅更大。X-VLA平均成功率从55.54%升到63.11%,涨7.57个百分点;π0从50.75%升到67.05%,涨16.30个百分点;π0.5从48.70%升到64.42%,涨15.72个百分点。

提升也不只集中在简单任务上。π0在“Very Hard”这个最难的任务组里,成功率从20.00%直接跳到58.00%,涨了38个百分点,几乎翻了三倍。π0.5在“Hard”组里也从38.30%升到66.39%。

| 骨干模型 | 基准LIBERO均值 | MorphAct后均值 | 基准Meta-World均值 | MorphAct后均值 |

|---|---|---|---|---|

X-VLA 在原始条件下为 93.05%,MorphAct 加持后升到 97.20%;跨任务场景则从 55.54% 提高到 63.11%。π0 的这两项数字分别是 94.15% 到 96.65%,以及 50.75% 到 67.05%。

π0.5 这边,原始条件为 96.85%,加持后达到 98.60%;跨任务场景由 48.70% 升至 64.42%。

到了真实世界,测试就更贴近日常操作了。团队把 π0.5 与 MorphAct 搭配,做了 50 次重复实验,覆盖四个真实的机械臂任务:分拣字母积木、分拣五金零件、搬运水瓶、往柜子里摆放物品。

其中变化最明显的是分拣五金零件:原本成功率仅 8.00%,挂上 MorphAct 后变成 22.00%,差不多翻了三倍。其余三个任务的涨幅则落在 8 到 12 个百分点之间。

真实任务、基线成功率、MorphAct 成功率与提升幅度对比如下。

|---|---|---|---|

分拣字母:从 82.00% 升到 **92.00%**,提高 10.00 个百分点。

分拣五金:从 8.00% 升到 **22.00%**,提高 14.00 个百分点。

搬运水瓶:从 78.00% 升到 **86.00%**,提高 8.00 个百分点。

柜子收纳:从 84.00% 升到 **96.00%**,提高 12.00 个百分点。

不过,实时生成参数并非没有代价。按团队测算,端到端的动作预测延迟相比普通的共享方案有所增加。

**消融实验:逐项拆开,看每个设计是否真的必要**

为了确认 MorphAct 里每一项设计都不是随意堆上去的,团队另外做了一组对照实验。

第一组看的是“参数生成该以什么为依据”。若把生成条件固定为常量、不区分任务,平均成功率只有 87.50%;若给每个任务配一个固定生成条件、相当于事先知道任务编号,成功率是 88.25%,仅比常量方案略好。MorphAct 改用当前的真实观察和机器人状态来生成,成功率冲到 97.20%,比前两种分别高出 9.70 和 8.95 个百分点。

**只清楚“这是哪个任务”并不够,关键在于掌握“此刻处在任务的哪一瞬间”。**

第二组比较的是适配对象。只适配视觉语言模块、不动动作模块,成功率仅 43.50%,表现很差;反过来只适配动作模块、不碰视觉语言模块,成功率是 81.00%,明显更高。可见单看动作侧适配,价值更大;但两边都不适配,显然比不过两边都适配。

第三组对比,就是前文提到的特征耦合实验。

三组实验连起来,递进关系很清楚:先只适配一个模块,再适配两个模块但信息不互通,最后适配两个模块且信息完整传递,成功率依次从 81%、86% 升到 97.20%。每一步的增益都实实在在,并非玄学。

**写在后面**

读完论文,真正触动我的不是 97.20% 这个成功率,而是那组梯度冲突的诊断数据。

47.80%、48.28% 这两个数字意味着,接近一半的跨任务梯度方向彼此矛盾。这不是小概率的边缘情形,概率上接近抛硬币。换句话说,随便挑两个厨房操作任务去训练同一个模型,差不多每两次就有一次,两个任务在“拔河”,谁也拉不动谁,反而互相抵消。

这让我想到一个更普遍的问题:不少看似“统一”的系统,表面数字很平稳,内部却藏着剧烈拉扯,只是正负相抵后,外部看着岁月静好。论文里“36.13% 的抵消率”这一发现,恰好揭开了这种假平静:模块级别的梯度余弦值可能很小,看着“没什么冲突”,可拆到更细的参数组粒度才发现,内部充满互相拉扯,只是抵消得比较干净。

这其实是一种可以推广到其他领域的诊断思路:别只盯汇总指标稳不稳,要拆开看内部有没有被掩盖的矛盾。

MorphAct论文里有个细节值得细看:训练全程没用任何人工标注的“操作阶段标签”,靠的就是动作预测这个原生目标,模型自己摸索出不同场景该生成什么参数。换句话说,它对“接触”“运输”这些阶段的区分并非人类所教,而是从动作执行的后果里倒推出来的。

这种“无监督学会任务内部结构”的本事,或许比成功率更值得长期盯着。能自己发现任务结构的模型,将来碰上没见过的新任务,适应力可能也更强。

机器人眼下已经学会让参数跟着场景变形。下一步呢?会不会有模型把整个网络结构也学会随任务复杂程度自行伸缩?

Q&A

Q1:MorphAct是什么?A:这是一个让机器人策略参数随交互场景动态变化的框架。它用两个耦合的生成器,为视觉语言模块和动作模块实时生成贴合当前情境的低秩参数更新;传统做法则是一套固定参数应付所有操作阶段。

Q2:MorphAct为什么能提升机器人操作的成功率?A:接触、运输、精确放置这些不同阶段,对参数的需求常常互相打架,固定参数很难全都照顾到。MorphAct让参数依据当前观察和机器人状态实时调整,动作生成器则基于视觉语言模块适配后的最新特征工作。实验显示,在LIBERO和Meta-World基准上,成功率最高提升16.30个百分点。

Q3:MorphAct会增加机器人的计算延迟吗?A:会,但幅度不大。跟普通的共享LoRA方案比,MorphAct端到端动作预测延迟增加约18%到21%,内存占用增加约1.6到1.7GB。说到底,这是拿适度的算力开销换实打实的成功率提升。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. VLA模型"看懂却做不对":PAIR用中间表示架桥

    你有没有想过,一个机器人在接到"把杯子放到桌上"这句指令后,脑子里到底发生了什么?它要先看懂眼前的画面:桌子在哪,杯子在哪,手在哪。然后它要理解这句话的意思。最后,它要把这些理解变成一串具体的数字,告诉机械臂的每个关节该转多少度,夹爪该夹多紧。这整个过程,看起来是一气呵成的,但其实中间藏着一道很深的裂缝。...

    来源 腾讯网
  2. 王兴兴与Jim Fan齐发声:机器人行业是寒冬还是夏天?

    在2026年APEC工商领导人峰会上,王兴兴给机器人行业下了一个最新的判断:今年全球技术突破已接近临界点。 非常恰巧,就在几天之前,英伟达GEAR领导Jim Fan在CoRL 2026上也说了相似的话,他说,现在的机器人行业不是寒冬,而是夏天。 为什么单独说这两句话呢,众所周知,现在的机器人行业盛行的,实在是另一番论调

    来源 AI 行业观察
  3. 机器人ETF景顺159559:5项国标落地,标的指数行业分布均衡

    万得数据显示,截至11月17日,全市场共有57只机器人主题指数基金,其中56只月内净值走高。多只跟踪国证机器人产业指数的基金月内业绩表现优异。日前,广东省人民政府印发《数字广东建设“十五五”规划》,其中提到,做强高端机器人核心部件制造业。培育6G产业,加快新一代核心器件与网络通信设备产业化。推广工业机器人、服...

    来源 腾讯网
  4. 贝佐斯重返一线:Prometheus估值410亿美元,要做物理世界的OpenAI

    作者|宇航猿编辑|靖宇AI 吞掉了软件,现在,它要吞掉工业了。卸任亚马逊 CEO 五年后,杰夫·贝佐斯没忍住,又给自己找了个班上。当地时间 2026 年 11 月 17 日,加州门洛帕克的 Semafor「硅谷与世界」峰会现场,贝佐斯和物理学家维克·巴贾杰(Vik Bajaj)罕见同台。他现在的最新头衔,是 AI 初创

    来源 腾讯网
  5. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  6. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  7. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  8. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  9. 鹿明NexCore:机器人技能开发从数周压缩至数天

    11月19日,2026世界智能制造博览会在南京开幕。作为智能制造领域的重要行业盛会,大会汇聚产业、技术与人才资源,聚焦人工智能与制造业深度融合,推动智能制造技术创新与产业应用。 鹿明机器人携具身重载搬运方案、机器人技能进化引擎Lumos NexCore及多款机器人产品亮相,集中展示从数据采集与治理、模型训练、技能评测到

    来源 AI 行业观察
  10. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  11. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  12. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  13. Genesis AI两年融资42亿:只造40台机器人,估值233亿

    只造了约40台机器人,Genesis AI就拿下了5亿美元融资。 11月17日,这家硅谷机器人公司宣布完成5亿美元(约33亿元)A轮融资,投后估值达到35亿美元,约合人民币233亿元。 投资人名单相当豪华:英伟达、AMD Ventures、三星Next、HSG等机构入局,还有谷歌前CEO施密特、Zoom CEO袁征、雅

    来源 AI 行业观察
  14. 灵掌机器人太空灵巧手亮相世界智能制造博览会

    11月19日至21日,第十一届世界智能制造博览会(以下简称“智博会”)在南京国际博览中心举办。无锡灵掌机器人科技有限公司(以下简称“灵掌机器人”)携全系列共9款灵巧手产品参展,重点展示了灵巧手在工业制造、太空任务、特种作业、科研与人形机器人等行业领域的落地场景及解决方案。 灵掌机器人创始人兼首席执行官张超介绍,灵巧手是

    来源 AI 行业观察
向下滚动自动加载更多