NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?
让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻
机械臂要把网球稳当搁到易拉罐上,得先认出物体,再判断球有没有对准罐口,最后决定什么时候松开夹爪。这些动作看着不复杂,靠的却是很细的视觉线索。那么问题来了:动作模型能不能把这些信息吃透?
南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队近日拿出了 NEO-VLA,把原生视觉语言模型搬进机器人动作学习。图像先过一层轻量卷积,再和语言指令一起送进主干网络;生成动作的模块则直接取用主干不同深度的表征。整条视觉通路里没有单独的预训练视觉编码器。
围绕这套设计,团队挨个考察了四个问题:原生主干是不是更适合学动作?动作专家最吃哪几层的信息?保住多模态理解能力对动作训练有什么影响?模型在常规任务和场景变化下表现如何?他们用一组组对照实验,加上仿真和真机测试,把答案摆了出来。论文已经在 arXiv 公开。
论文题目:From Pixels to Actions - Towards Native Vision-Language-Action Policies
Paper:https://huggingface.co/papers/2611.06918
WebPage:https://www.lmms-lab.com/posts/neo_vla/
Github:https://github.com/EvolvingLMMs-Lab/NEO/tree/main/VLAKit
Model:https://huggingface.co/weepiess2383/NEO-VLA
DataSet:https://huggingface.co/datasets/weepiess2383/NEO-VLA-Action-Pretrain
操作需要的视觉细节,是怎么进到动作模型里的
眼下多数视觉语言动作(VLA)模型走的是同一套流程:先用 CLIP、SigLIP、DINOv2 这类预训练视觉编码器提图像特征,再把特征交给语言主干和动作模块。动作决策基本从编码器的输出起步。
可抓取、对齐、插入这些操作,要用到物体边缘、局部几何、深度,还有夹爪和物体之间那些细微的状态变化。视觉信息一层层抽象下去,跟精细操作有关的线索就可能变得不好用。
此前已有研究发现,视觉模块对 VLA 的性能影响不小,模型剪枝时它对这块也格外敏感;动作微调还可能把预训练好的视觉表征弄坏。这些现象说明,视觉和动作之间的接口本身就该重新看看。
NEO-VLA 于是抛出一个问题:要是动作模块能直接够到视觉计算过程中形成的各层表征,是不是就能把跟操作有关的信息用得更好?
让动作模块直接读不同深度的视觉语言表征
按视觉处理方式和动作输出形式来分,相关设计可以归成三类,下图画的就是它们的差别。
差别在于,编码器式 VLA 哪怕读了语言主干的不同层,手里的视觉信息也已经过独立编码器处理。NEO-VLA 不一样,视觉和语言从主干第一层起就一起建模,动作模块因此能碰到视觉表征一层层形成的过程。「读哪一层」也就成了一个能单独拿出来研究的设计问题。
NEO-VLA 怎么从观测生成动作
NEO-VLA 的底子是 NEO-2B。这个原生多模态主干有 40 层,参数量大约 20 亿,视觉通路里没有独立的视觉 Transformer、自编码器,也没有离散视觉码本。主干之外,模型接了一个网络宽度较小、从随机初始化开始训练的动作专家。
把多视角图像、指令和机器人状态拼成统一输入
每个时刻的观测最多包含三个相机视角,模型会把前一时刻与当前时刻的观测一并纳入。单个视角的输入分成几部分:相机标识、相机内参与旋转信息,还有图像切块后得到的视觉词元。图像嵌入层由所有视角和时刻共用;宽高比不做改动,每个视角的视觉 Token 上限为 88 个。
视觉输入后面跟一段结构化提示词,用来说明控制频率、机器人类型、夹爪配置、动作参考坐标系和任务指令。模型另外用 6 个状态词元表示两条手臂和身体在前一时刻与当前时刻的状态。机器人没有的部件,对应输入会被屏蔽,这样同一套接口就能适配单臂、双臂以及带移动底盘等不同配置。
用层映射配置动作专家的读取位置
动作专家每一层对应主干里的一个指定层,读的是该层缓存的 KV 表示。论文比了四种层映射方案:
first-28:读第 0 至 27 层,同时把主干截到前 28 层。
skip-28:主干 40 层全留着,在里面近似均匀地挑出 28 层。
end-28:主干 40 层全留着,只读第 12 至 39 层。
full-40:40 层全读,动作专家也用 40 层。
前三种方案用的都是同样规模的 28 层动作专家。skip-28 和 end-28 保留的主干深度也一样,只改了读取位置,是分析浅层信息作用时最直接的对照。first-28 把主干也缩短了,模型的计算量跟着变;full-40 则当作动作专家容量更大的配置单独讨论。
动作专家走的是流匹配路线,一次就能预测出一个动作块,里面含 30 个时间步,双臂与身体的动作被统一进同一套表示。
推理阶段,模型默认用 10 步欧拉法求解来生成动作。主干网络只算一遍,之后每次采样都重复使用同一份 KV 缓存。
动作训练分三步推进。
先让动作专家完成适配,再一步步放开整个模型,同时把内部采集的机器人数据加进来。
第一步把预训练主干冻住,动作专家和条件编码模块参与训练,一共跑 113,400 步,全局批量大小为 8,192。
第二步解开全模型,在同一份机器人数据集上接着训练 75,000 步。为了不丢掉视觉语言理解能力,每隔一个优化步骤就掺进一批多模态理解样本。
第三步以第二步的模型为起点,用内部数据再做 75,000 步全参数训练,其余训练配置与第二步保持一致。
不同机器人靠一套统一的数据格式串起来。
预训练语料汇总了九类公开数据集,共 223 万条轨迹。
这九类数据集分别是 AgiBot-World、Bimanual YAM、RoboCOIN、Open X-Embodiment、Galaxea Open-World、RoboMIND、RH20T、DROID,以及仿真数据 InternData-A1。论文给出的完整语料包含 2,231,583 条轨迹、约 9.28 亿条数据记录,覆盖 2,704 个场景和 7,444 个相机视角,已统计时长接近 1 万小时,单臂、双臂等多种机器人配置都在其中。
表 1 预训练语料构成及训练采样占比
各本体的动作被映射到同一种格式。
各机器人记录动作的方式并不一样。要联合训练,NEO-VLA 先把它们转成统一的动作格式,再用有效性掩码标出每台机器人真正具备的通道。
每条手臂占 26 个维度:7 个关节目标、3 维末端平移增量、3 维旋转向量增量、1 维夹爪状态,再加 12 个手部关节目标。
身体部分占 8 个维度,对应 3 维底盘运动、3 维躯干动作和 2 维头部动作。
末端平移增量以厘米为单位,旋转增量以弧度为单位,二者在相机坐标系或机器人基座坐标系下表达;关节与手部目标取绝对值,身体动作则用基座坐标系。
动作按机器人本体分别归一化。部件不存在、时间步缺失或者通道无效时,模型用掩码把这些情况挡在训练损失之外。
数据异常分层处理,有效信息尽量留下。
公开机器人数据的采集方式和标注质量参差不齐。团队设了五类质量检查,按异常所在层级分别处理读数、通道、动作目标、轨迹和标定信息,免得因为一处局部问题就把整条还有价值的轨迹扔掉。
原生主干冻结之后,已经能有效支撑动作学习。
原生主干给出的表征,是不是更适合动作学习?团队给 NEO-2B、Qwen3-VL-2B 和 Gemma-3-4B 配了设计相同的动作专家,在 Open X-Embodiment 上按相同设置预训练 75,000 步,再到 LIBERO 上比表现。
表 2 不同主干在 LIBERO 上的受控对比
主干冻结、只训练动作专家时,NEO-VLA 平均成功率达到 90.9%,Qwen3-VL 为 79.5%,Gemma-3 为 84.5%。后两者全量微调后分别是 90.8% 和 91.0%,NEO-VLA 这一成绩已经接近它们;LIBERO-Long 上,冻结主干的 NEO-VLA 拿到 85.4%,同样压过两者全量微调后的成绩。
也就是说,NEO 的预训练表征迁移到动作任务上,效果已经不错。
表 3 给出的是让 Qwen3-VL 动作专家直接读取视觉中间特征的对照结果。这种优势是不是只来自能访问视觉中间特征?研究者又在 Qwen3-VL 上做了一组对照:把动作专家中的 13 层直接连到视觉编码器的中间特征上,参数不增加。冻结主干时,这样接让成功率从 79.5% 掉到 64.9%;全量微调之后,新旧两种接口的表现就很接近了,分别是 90.9% 和 90.8%。
可见,光让动作模块碰到中间特征,并不足以拿到同样的提升。这些结果说明,原生视觉语言预训练形成的表征更利于动作学习,表征怎么学、怎么读,得放在一起看。
当然,不同主干的预训练数据和模型容量本来就有差别,所以不能把全部收益都算到“去掉视觉编码器”这一个结构变化上。不过在这组对照里,原生主干不管冻结还是全量微调,动作迁移能力都表现得不错。
动作预测对浅层信息格外敏感
动作专家到底在用哪些层的信息?团队先比了各种选层策略,也看了冻结 backbone 带来的影响,结论是浅层连接很关键。
为了进一步弄清哪些信息在影响动作,研究者对动作专家的各个读取位置逐一做了干预。
第一步,把某个读取位置的 KV 表示换成另一条观测的表示。替换落在第 0 至 10 层时,动作平移预测的误差涨得最明显。作为对照,研究者又加了幅度匹配的噪声扰动,误差和没干预时差不到 0.004 厘米。也就是说,模型对这些层的敏感,主要跟表征内容有关。
这些结果表明,跟动作有关的信息分布在主干的不同深度上。冻结主干时,浅层表征尤其关键;全量微调后,把多个深度的信息结合起来效果更好。语言、外观和几何信息对动作预测的影响,同样呈现出不同的深度分布。
动作后训练阶段,理解数据还是不能丢
模型学会动作之后,原来的多模态理解能力会变成什么样?团队比了两种后训练方式:一种只用动作数据,一种把动作数据和通用多模态理解语料放在一起联合训练,参照对象是后训练开始前的模型。
表 4 对比了理解与动作联合训练和仅用动作数据训练。只拿动作数据训练的模型生成不出有效文本,五项理解基准的结果用「—」标示。
联合训练之后,模型在 MMBench-EN、RealWorldQA、AI2D、TextVQA 和 ChartQA 五项理解基准上整体保持稳定。四项的降幅都没超过 1.5 个百分点,RealWorldQA 反而涨了 1.6 个百分点;与此同时,RoboTwin 2.0 Clean2Rand 的动作成功率达到 69.4%。
反过来看,只用动作数据做后训练的模型已经生成不了有效文本,五项理解基准在论文里都用「—」标示;它的 Clean2Rand 动作成功率也掉到 10.7%。
这组结果表明,多模态理解和稳健的动作能力关系紧密。动作后训练里继续掺入理解数据,既能保住主干原有的理解能力,也有助于策略适应随机化场景。
从标准基准到场景变化与真机操作
前面的受控实验是用来分析模型设计的,接下来看完整模型在不同任务中的表现。由于各项工作的模拟器版本、相机配置、训练数据和评测协议并不完全一致,跨论文的成绩主要供参考,不宜当成完全相同条件下的严格对照。
LIBERO
完整模型在 LIBERO 评测中的平均成功率达到 97.4%。目前多种方法在这个基准上的成绩已经比较接近,所以这一结果主要说明 NEO-VLA 保住了较强的分布内操作能力。该结果与前文主干对照实验的训练和评测设置并不相同。
表 5 完整模型的 LIBERO 基准成绩
LIBERO-Plus 检验七类扰动下的鲁棒性
表 6 LIBERO-Plus 七类扰动下的成绩
结果显示,NEO-VLA 对观测方式和图像条件的变化适应得更好,这跟前文对浅层视觉表征的分析对得上;本体或空间配置的变化,仍然是更难的关卡。
LIBERO-Pro 揭示空间与任务泛化的难点
在LIBERO-Pro上,NEO-VLA面对指令语义变化拿到98.0;物体外观变化下的成绩是84.3。可一旦物体位置或任务目标改变,它的表现就差了下来——其他方法在这两类测试里同样普遍吃力。这处差距说明,感知和语义上的鲁棒性较好,并不等于就能灵活适应空间和任务。
表 7 LIBERO-Pro 上的外观、位置、语义与任务泛化成绩
到了RoboTwin 2.0,考验的是随机化环境中的表现。官方设置2,500条示范轨迹,NEO-VLA在Clean测试中取得75.78,随机化场景的Clean2Rand测试仍有69.40,下降了6.38个百分点。
表 8 RoboTwin 2.0 干净场景与随机化场景的成绩
真机微调时,每个任务用50条示范。团队设了三个真机任务,分别考察精确放置、多步操作与物体姿态调整:把网球放到易拉罐上;先把胶带卷放进碗里,再把网球放进胶带卷;将横放的易拉罐立起来并插入胶带卷。每个任务用50条示范微调,之后测试20次,分布内与分布外初始配置各10次。
真机数据相同、各自采用推荐后训练配置的情况下,NEO-VLA在三个任务中分别成功12、17和13次;StarVLA分别是1、2和0次,π0.5则是10、14和13次。三个任务上,NEO-VLA的成功次数都不低于π0.5。
表 9 三个真机任务的成功次数,每项共测试 20 次
上面三项定量任务之外,团队还演示了倒水,以及从混合寿司中逐一挑出四个军舰寿司摆入盘子。这些补充演示用来看模型能完成哪些操作,没有计入前三项任务的成功率统计。
推理延迟也在Pika真机系统上测过。策略跑在单张24 GB显存的RTX 3090上,BF16精度,每次请求返回一个含30步的动作块,单张RTX 3090上约0.26秒返回一个动作块。实验直接执行预测动作,没有用RTC。
表 10 模型前向与真机请求链路的延迟,单位为毫秒
让感知与理解转化为更灵活的动作
NEO-VLA的实验显示,动作学习既受视觉表征形成方式的影响,也取决于动作模块能不能读取视觉计算不同阶段的信息。原生主干在冻结状态下就能有效支撑动作学习,对浅层表征的访问尤其关键。反过来,直接读取传统视觉编码器的中间特征,并没有带来同样的收益。这些结果说明,表征怎么学、又怎么供动作模块使用,得放在一起看。
模型对外观和观测条件变化的适应能力已有体现,可新的空间布局与任务目标仍构成明显挑战。接下来的问题是,怎样把已有的感知与理解能力转成更灵活的动作,让机器人在几何关系或任务意图变化后,依然能调整操作策略。