南洋理工联合商汤等发布NEO-VLA:去掉视觉编码器,2B参数跑真机任务
11月16日消息,近日,南洋理工大学 S‑Lab、商汤研究院与 Ropedia 的研究团队发布 NEO‑VLA,一款无独立视觉编码器的原生视觉‑语言‑动作(VLA)机器人策略模型。
南洋理工大学 S-LAB、商汤研究院和 Ropedia 的研究团队近日联合发布了NEO-VLA。这是一款原生视觉-语言-动作(VLA)机器人策略模型,不使用独立的视觉编码器。发布时间为11月16日。
主流VLA模型都靠外置的预训练视觉编码器,NEO-VLA不走这条路:像素被直接送进主干网络。它在仿真环境和真实机器人任务上都拿到了亮眼成绩,为通用机器人操控给出了一条全新的技术路线。
过去的VLA模型大多采用这样的结构:图像先由独立视觉编码器压缩、提取特征,再交给语言大模型。问题在于,编码器做抽象时会丢掉局部几何、边缘、深度这些底层视觉信息,而它们恰恰是机器人操控离不开的,精细操作和泛化能力因此受限。
NEO-VLA把外置视觉编码器整个拿掉。像素通过轻量化卷积Patch嵌入层直接进入原生视觉-语言主干NEO-2B,图像Patch与语言指令在每一层同步处理。它还配了Flow-Matching动作专家模块,能读取主干网络任意层的缓存特征并输出连续机器人动作,形成“像素输入,连续动作输出”的端到端链路。
三项核心发现,改变了对VLA的认识
团队做了大量消融实验,得出三条关键结论,把机器人视觉运动学习的内在规律揭示了出来:
其一,和操控相关的视觉信息分布在模型的多层,不是只存在于最后的输出层。
冻结主干网络时,读取浅层特征的策略效果最好;完整微调之后,跨多层读取特征的方案性能最佳。干预实验显示,模型0-10浅层对动作预测的影响最大;几何信息、图像外观、语言指令分别在网络不同深度作用最强。这说明机器人控制不能只看顶层输出特征。
其二,性能提升的真正来源是原生联合预训练,单纯开放编码器的中间特征并不够。
团队把Qwen3-VL的中间视觉特征直接开放给动作专家,效果不升反降:冻结主干下LIBERO任务成功率从79.5%跌到64.9%。相比之下,NEO-2B冻结主干就能达到90.9%的成功率。结论是:直接复用现成多模态模型的编码器中间特征没有用,只有视觉和语言从底层就联合预训练,才能产出适合机器人控制的表征,光开放中间层解决不了问题。
其三,后训练阶段保住多模态理解能力很关键,不能只用动作数据做微调。
实验表明,只用机器人动作数据微调,模型会丢掉文本理解与生成能力,RoboTwin 2.0跨场景Clean2Rand任务成功率只有10.7%。改用理解数据与机器人数据协同训练后,多模态理解指标几乎不降,Clean2Rand成功率同时升到69.4%。机器人策略训练不该牺牲大模型原有的理解能力,协同训练是更好的选择。
仿真加真机双重验证,小体量也能打出强操控
NEO-VLA主干只有2B参数量。在仿真基准LIBERO上完整微调后,平均成功率为95.3%;LIBERO-Plus分布偏移测试中,面对相机变化和噪声扰动表现出色,加权总分89.7%;RoboTwin2.0随机场景泛化达到69.4%,比不少参数量更大的竞品更好。
真实机器人上设置了三项实操任务:把网球放到罐顶、胶带与球两级摆放、将易拉罐直立卡入胶带卷,每项任务只给50条演示数据。2B规模的NEO-VLA在多数任务中强于StarVLA,与π0.5基本持平,完成了精细放置、多步骤执行、物体姿态调整等真实物理操作,架构在现实世界中的可行性得到验证。研究还展示了倒水、寿司分拣等定性演示案例。
数据处理与训练方案
研究汇集了9大公开机器人数据集,合计223万条episode、约9900小时机器人数据。团队上线了完整的数据清洗流水线,过滤不合理关节读数、死通道、动作异常值、损坏片段,并校验相机标定,尽量保留有效样本。训练分三阶段:先冻结主干训练动作专家;再解冻全部权重,让机器人数据与多模态理解数据协同训练;最后继续用自有机器人数据微调,得到最终策略。
论文、代码、模型权重与数据集均已开源,具身智能领域多了一套新架构范式。研究给出的判断是:具身机器人控制应当用足模型各层级的视觉表征,而不是只依赖编码器输出的顶层特征;原生无编码器VLA架构,是通往通用机器人策略的一条可行路径。