UniWAM开源：人机联合训练Scaling趋势，多项基准达SOTA
Ola-Sem 正式开源版本来了！UniWAM 探索 Human-Robot Co-training 的 Scaling 趋势，实现世界理解、未来预测与动作生成的统一学习，代码与权重全面开源。欧拉万象 x 香港科技大学（广州）（简称：港科广）此前曾联合发布 Ola-Sem，并在全球主流榜单上取得 SOTA 成绩。今天，
Ola-Sem 的开源版本 UniWAM（Unified World-Action Model，统一世界与动作模型）正式发布。欧拉万象与香港科技大学（广州）（简称：港科广）此前曾联合发布 Ola-Sem，并在全球主流榜单上取得 SOTA 成绩。这次开源，UniWAM 把语义理解、未来视觉预测与动作生成纳入统一架构，首次揭露 Human-robot Co-training 的 Scaling 趋势。模型通过共享的物理语言监督，连接人类与机器人操作数据，探索如何将更丰富的人类经验转化为机器人可用的学习信号。代码与权重全面开源，UniWAM 探索 Human-Robot Co-training 的 Scaling 趋势，实现世界理解、未来预测与动作生成的统一学习。
UniWAM 在多项基准上拿到 SOTA：LIBERO 上平均成功率 99.2%，LIBERO-Plus 上整体成功率 92.6%，RoboTwin 2.0 C2R 上成功率 68.32%，均达到论文所列方法中的领先水平。真机实验进一步验证了模型在指令跟随、复杂交互与长程任务执行中的能力。
这些成绩背后，是 UniWAM 对语义理解、世界预测与动作生成统一学习的探索。目前，模型代码与权重已正式开源。
一句 “收拾桌面”，机器人需要哪些能力？
面对摆满杂物的桌面，你会直觉对机器人说：“收拾一下桌面。” 这句话没有列出每一步。杯子是否放好了？抽屉是否打开了？下一步该操作什么？机器人需要识别物体，判断收纳策略，还要在执行中跟踪场景变化。
UniWAM 做长程桌面整理测试时，推理阶段给机器人的输入也只有一句高层指令：“Tidy up the desk.”。这项任务里拆分出好几个子任务，比如把杯子放好、把笔收进抽屉里的收纳盒。抽屉得先拉开，东西才能放进去；收纳完了，抽屉还要合上——这些步骤之间有先后因果。机器人得一边连续操作一边盯住任务推进到哪一步，再依据眼前场景决定接下来怎么动。
图 1｜双臂平台上的多物体抓取、不同交互、相对位置放置、抽屉收纳与长程任务演示。
三种能力，一个统一架构
UniWAM 能跑通连续任务，这背后牵出一个更基础的问题：理解、预测和行动，能不能不再各管一摊，而是放进同一个模型里一起学？这样或许能少一些“想明白了却做不好”的落差，让机器人更扛得住复杂任务里一环扣一环的决策和环境变动。为着这个方向，训练时任务要求、场景变化和动作信息被相互挂钩，语义理解、视觉动态和动作生成也收进同一套架构，目的是让机器人的操作更稳、更连贯。
视觉 — 语言 — 动作模型（VLA）从视觉语言模型那里继承了语义本事，可它只靠动作监督，学世界怎么变还是不够。世界 — 动作模型（WAM）把视频生成模型的时空先验引了进来；但环境一变，语义理解和推理同样是绕不开的一环。
UniWAM 将三类组件连接到统一架构中：
Physical Reasoner（物理推理器）：基于 Qwen3-VL-2B-Instruct，理解当前视觉场景和任务指令，提供语义信息。
World Generator（世界生成器）：基于 Wan2.2-TI2V-5B，学习预测未来视觉变化，为操作提供动态信息。
Action Predictor（动作预测器）：建模连续动作的流场，生成机器人执行所需的动作片段。
这三个组件借联合多模态注意力互通信息，动作预测因此既能看到任务要求，也能看到场景动态。UniWAM 想探的路，就是让理解、预测和行动在同一套架构里彼此挂钩、一起学。
图 2｜左侧为三个组件及联合多模态注意力，右侧为人类、机器人与视觉语言数据概览。
统一架构高效连接语义与动态
三个组件各自保留原有的特征处理办法，随后把不同模态的 token 投到共同的注意力空间里。语义、视觉和动作信息在这个统一空间中互相作用，动作预测便能结合任务语义与视觉动态线索。
世界生成器在冻结的视觉自编码器潜在空间中学习未来会怎么变，动作预测器则去学连续控制信号。这两个生成目标靠共享信息搭上关系，同时又各自留着对应模态的建模路子。
物理推理器这边还留着语言预测目标，接受物理语言和视觉问答的监督。这等于给语义能力送来直接的训练信号：机器人不光要学会动手，还得不断搞清楚 “看到了什么”“指令要求什么”。
从架构设计，走向数据利用效率
人类操作视频包含丰富经验，但其中的动作标签往往需要通过估计获得。手部遮挡、相机运动和深度估计误差，都会影响轨迹的准确性。
团队在他们剖析的数据管线里注意到：二维轨迹的形状和运动趋势通常比较靠得住，偏差大多出在深度和绝对尺度上。也就是说，一条轨迹哪怕给不出准确的三维位移，运动方向和操作意图这类有用信息还是可能留着的。
UniWAM 于是尝试了一种共享监督的路子：一边学视觉上的变化，一边把那些依然管用的运动信息用起来，让模型自己去建立动作和场景变化之间的关联。
动作段改用物理语言来说，动作学起来更快。UniWAM 为此设计了 physical language（物理语言），拿自然语言去描述动作，给人类数据和机器人数据提供同一套监督。
比如某个动作段可以写成 “向前移动 5.5 cm，再顺时针转动 30°”。这组数值只是用来说明表示形式：方向、位移和旋转，都能借已有语言组织起来，跟 VLM 视觉语言模型的预训练表达方式接得上。
这样设计，重心放在保住运动趋势和意图上，对精确连续标签的依赖就低了。语言描述给理解组件当辅助监督，动作预测器照旧学连续控制，并不要求机器人先一个字一个字把动作说明吐出来再执行。
数万小时数据的质量与规模也得往上提。团队搭了一套清洗与标注管线，处理超过一万小时机器人和人类第一视角数据，预训练时还把 VQA 问答数据混了进去。机器人示范带来控制经验，人类操作把场景和行为覆盖面撑大，VQA 则补上空间、物体和交互状态的理解。
机器人数据要过时序、几何和视觉质量三道检查；人类数据用的是子任务级描述。团队给 EgoDex 建了 EgoANT，先从粗到细把操作事件定位出来，再生成描述并做筛选，让语言和局部视频事件对得上；EgoVerse 和 VITRA 已有的标注继续留用。
数据清洗不光是扔掉低质量样本，更要留住带物理交互价值的信息。画面变化很小的片段里可能就有夹爪闭合，不能因为看着静止就删掉。把视觉、状态和动作信息合在一起处理，能用的经验才更完整地进到训练里。
图 3｜从长视频中定位操作事件，再为片段提供对应的子任务描述。
Physical AI，最后总要落到动作上。除了理解，还得高效稳健地动起来。
对 Physical AI 来说，动作不该只是模型理解完世界之后的最终输出，它本身也是学习物理世界的重要信息来源。连续操作中，机器人此前的动作不光记下了执行过程，也给后面动作的预测留了线索。
顺着这个思路，UniWAM 引入了历史条件流匹配（History-Conditioned Flow Matching）：不再完全从随机噪声起步生成动作，而是拿经过扰动的历史动作做初始化，靠少量去噪更新去预测未来的动作片段。动作之间的时序关联就这样被用足，生成步数少了，操作成功率还保持得较高。
另一头，机器人对未来场景的预测并不总靠谱。UniWAM 于是在后训练里加了未来视觉噪声增强（Future Visual Noise Augmentation），给未来视觉表示施加扰动，让动作生成不那么依赖精确的未来预测，模型面对预测中的不确定性也更稳。
图 4｜利用历史动作作为生成起点，通过去噪更新预测未来动作片段。
少步生成，成功率照样高。平均值为 RoboTwin C2C 与 C2R 的算术平均。
实验结果说明，用历史动作做初始化能明显压低动作生成需要的更新步数。只走 1 步，平均成功率就有 64.99%，比噪声初始化高出 22.79 个百分点；到 4 步时是 71.73%，跟 10 步生成只差 0.06 个百分点。可见把历史动作信息用上，操作表现能保住，生成过程中的迭代更新也能实实在在减下来。
图 6 (c) 的进一步消融实验也印证了这两处设计的作用：历史动作初始化把平均成功率从 64.80% 拉到 69.73%，再加上未来视觉噪声增强后升到 71.34%。历史动作信息和未来视觉增强，确实能一起把模型的动作生成表现改好。
从仿真走到真机，复杂场景下的机器人操作能力得到验证。仿真评测涵盖从标准操作到复杂环境变化。
UniWAM 在多个机器人操作基准上拿到领先成绩，任务执行和环境泛化两方面都有体现。标准操作基准 LIBERO 上，UniWAM 平均成功率为 99.2%；加入多种环境扰动的 LIBERO-Plus 上，整体成功率 92.6%；RoboTwin 2.0 的随机化环境测试中，成功率 68.32%。
论文对应表格所列方法里，上述三项成绩都排在最高位。不过真实环境很少和训练条件严丝合缝——光线会变，物体会被挪走，相机角度也可能偏掉。所以比起标准任务成功率，机器人扛不扛得住环境变化，才是更关键的衡量指标。
LIBERO-Plus 的鲁棒性评估覆盖七个维度：背景、相机视角、语言指令、光照、物体布局、机器人初始状态、传感器噪声。下图给出该评测的结果。
机器人初始状态、语言、光照与背景这四项，UniWAM 都拿到论文所列方法中的最好成绩。物体布局变化难度更大，它仍有 84.6% 的成功率，对不同环境条件的适应能力由此体现。到了涵盖 50 项任务的 RoboTwin 2.0 基准，UniWAM 又接受了随机化环境测试。
平均成功率取 C2C 与 C2R 的算术平均；表中加粗为该列最优，下划线为次优。
从标准环境 C2C 换到随机化环境 C2R，UniWAM 的成功率只掉了 6.82 个百分点，C2R 测试里也是所列方法中最高。可见它不光能做完标准操作任务，环境一变，泛化表现也还稳得住。
真机验证：从指令理解到连续操作
仿真基准看的是模型在不同任务与环境下的表现，真实机器人实验要回答的是另一个问题：这些能力能不能落到实际操作里。
UniWAM 的真机实验跑在双臂 AgileX Piper 机器人平台上，用到的物体多达 18 种，任务按难度分成四类：
多物体抓取： 看它能不能按指令挑对目标物体。
不同交互： 看它能不能同时读懂操作对象和动作要求。
相对位置放置： 看它能不能理解并执行空间关系指令。
抽屉收纳： 看双臂协作和复杂操作行不行。
对比对象是 π₀.₅ 和 Motus，每个任务都给 200 条示范数据，训练协议一致，单个策略联合训练。
四类真机任务里，UniWAM 的平均任务成功率是 67.5%，指令跟随率 82.5%。不同交互任务中，它的任务成功率达到 72.5%，π₀.₅ 只有 40.0%，差距明显；指令跟随率 80.0%，π₀.₅ 为 50.0%，同样高出一截。
这两个指标一个看机器人有没有正确理解任务要求，一个看它有没有真的把操作做完。读懂了指令不等于做得成，任务理解和动作生成得接上，用户的要求才能变成实际结果。
单项操作之外，UniWAM 还试了长程桌面整理任务。
给一句高层指令，机器人要连着完成杯子放置、抽屉开合、物品收纳等六个彼此关联的操作阶段。训练时用细粒度子任务描述做监督，推理时只输入高层任务指令。
这项任务里，UniWAM 的平均任务进度得分是 5.0/6，π₀.₅ 为 4.8，Motus 为 3.2，多阶段连续操作的能力由此体现。
图 5｜四类真机任务的成功率与指令跟随率，以及长程任务的平均进度得分。
消融实验，人机联合训练与物理语言监督的价值
预训练数据组合消融。
机器人数据预训练把平均成功率从 46.23% 拉到 67.53%，掺入人类数据后到 71.34%，三源混合为 71.73%。但只在机器人数据上加 VQA，平均指标并没有超过机器人单源方案，说明想要模型效果好，数据来源和组合方式都得仔细设计。
机器人＋人类这套设置里，把语言—动作监督拿掉之后，C2R 由 67.56% 掉到 56.40%，差了 11.16 个百分点。共享监督到底值多少，这组数据给了实验层面的回答。
图 6｜预训练数据、理解组件训练策略、动作生成，三组消融各查一项。
再看图 6（b）里理解组件的累积消融，成绩是一步步往上走的：VLM 冻结时平均 42.61%，解冻涨到 46.49%，加上物理语言监督变成 51.74%，再做进一步预训练达到 71.34%。理解组件需要做具身适配，这一点实验支持了；训练配方和统一架构得搭着用才能起作用，这组结果也说明了。
规模化人机联合训练，展现 Scaling 趋势
具身基础模型要 Scaling，绕不开一个问题：怎么把更大量的人类操作经验真正变成机器人的能力。
UniWAM 的实验暴露出两个趋势。一个是机器人预训练数据越大，下游任务表现就越好；另一个是机器人数据到了一定的量之后，再引入人类第一视角数据还能继续带来收益，而且规模越大，这部分增益越明显。
另外，就当前实验范围来看，人机混合预训练的收敛验证损失和数据规模之间大致呈对数线性关系，拟合 R² 为 0.983，具身预训练的 Scaling 潜力算是初步露了头。想往更大规模的人机联合预训练走，这组数据可以当实验依据。
图 7｜左侧是验证损失，右侧是 RoboTwin C2R 成功率；横轴为机器人数据小时数，混合组另外加了人类数据，各组都带 VQA。
人机表征是否出现更多共同结构？
t-SNE 可视化里，物理语言监督加进去以后，人类和机器人数据的表征重叠部分变多了。共享监督能促进共同表征，这个研究目标跟眼前的现象对得上。
把前面的操作评测和数据消融放在一起看，表征变化和任务表现这两个角度都能反映这套设计的作用。可视化只是辅助线索，跨本体经验能不能真的用在操作上，还得靠具体任务评测来判。
从 UniWAM 到 Real-World RSI，让机器人在真实世界中持续成长
UniWAM 不是一项孤立的模型研究。它是欧拉万象沿 Action-Native Foundation Model 技术路线，和港科广联合做的一次阶段性探索。语义理解、未来视觉预测与动作生成被统一起来学习，UniWAM 关心的不只是机器人怎么把动作做出来，还试着让动作参与到物理世界表征的学习中，把动作和环境变化挂上钩，给更复杂的真实任务打模型底子。
这次探索也是欧拉万象长期构建 Real-World RSI（真实世界递归自进化）的重要基础。有了 UniWAM 打底，机器人会不断进真实环境执行任务，AI 系统负责识别执行中的失败、异常与能力不足，再把这些信息变成下一轮模型、基础设施或本体改进的输入。UniWAM 做的世界与动作联合建模、人机数据规模化联合训练，以及多维度任务评测，正是在给这样的持续改进过程铺路。我们的长期目标不是训一个 Benchmark 分数更高的模型，而是让机器人的能力跟着真实世界里的经验积累一直长。
眼下，UniWAM 的模型与训练代码、预训练及后训练权重已经全部开源，相关基准的训练与评测资源也一并放出，研究者可以基于这些开源成果继续往下做。
开源入口：
GitHub 代码：https://github.com/UniWAM/UniWAM
ModelScope 模型权重：https://www.modelscope.cn/collections/Kosmos524/UniWAM
|（注：部分内容由豆包工作 AI 生成）
