南洋理工联合商汤等发布NEO-VLA:去掉视觉编码器,2B参数跑真机任务

资讯 凤凰科技 作者:DoNews 全文 1682 字 · 约 5 分钟读完 分类VLA商汤模型发布机器人学术研究

11月16日消息,近日,南洋理工大学 S‑Lab、商汤研究院与 Ropedia 的研究团队发布 NEO‑VLA,一款无独立视觉编码器的原生视觉‑语言‑动作(VLA)机器人策略模型。

所属频道 模型发布机器人与具身智能国产大模型前沿研究

南洋理工大学 S-LAB、商汤研究院和 Ropedia 的研究团队近日联合发布了NEO-VLA。这是一款原生视觉-语言-动作(VLA)机器人策略模型,不使用独立的视觉编码器。发布时间为11月16日。

主流VLA模型都靠外置的预训练视觉编码器,NEO-VLA不走这条路:像素被直接送进主干网络。它在仿真环境和真实机器人任务上都拿到了亮眼成绩,为通用机器人操控给出了一条全新的技术路线。

过去的VLA模型大多采用这样的结构:图像先由独立视觉编码器压缩、提取特征,再交给语言大模型。问题在于,编码器做抽象时会丢掉局部几何、边缘、深度这些底层视觉信息,而它们恰恰是机器人操控离不开的,精细操作和泛化能力因此受限。

NEO-VLA把外置视觉编码器整个拿掉。像素通过轻量化卷积Patch嵌入层直接进入原生视觉-语言主干NEO-2B,图像Patch与语言指令在每一层同步处理。它还配了Flow-Matching动作专家模块,能读取主干网络任意层的缓存特征并输出连续机器人动作,形成“像素输入,连续动作输出”的端到端链路。

三项核心发现,改变了对VLA的认识

团队做了大量消融实验,得出三条关键结论,把机器人视觉运动学习的内在规律揭示了出来:

其一,和操控相关的视觉信息分布在模型的多层,不是只存在于最后的输出层。

冻结主干网络时,读取浅层特征的策略效果最好;完整微调之后,跨多层读取特征的方案性能最佳。干预实验显示,模型0-10浅层对动作预测的影响最大;几何信息、图像外观、语言指令分别在网络不同深度作用最强。这说明机器人控制不能只看顶层输出特征。

其二,性能提升的真正来源是原生联合预训练,单纯开放编码器的中间特征并不够。

团队把Qwen3-VL的中间视觉特征直接开放给动作专家,效果不升反降:冻结主干下LIBERO任务成功率从79.5%跌到64.9%。相比之下,NEO-2B冻结主干就能达到90.9%的成功率。结论是:直接复用现成多模态模型的编码器中间特征没有用,只有视觉和语言从底层就联合预训练,才能产出适合机器人控制的表征,光开放中间层解决不了问题。

其三,后训练阶段保住多模态理解能力很关键,不能只用动作数据做微调。

实验表明,只用机器人动作数据微调,模型会丢掉文本理解与生成能力,RoboTwin 2.0跨场景Clean2Rand任务成功率只有10.7%。改用理解数据与机器人数据协同训练后,多模态理解指标几乎不降,Clean2Rand成功率同时升到69.4%。机器人策略训练不该牺牲大模型原有的理解能力,协同训练是更好的选择。

仿真加真机双重验证,小体量也能打出强操控

NEO-VLA主干只有2B参数量。在仿真基准LIBERO上完整微调后,平均成功率为95.3%;LIBERO-Plus分布偏移测试中,面对相机变化和噪声扰动表现出色,加权总分89.7%;RoboTwin2.0随机场景泛化达到69.4%,比不少参数量更大的竞品更好。

真实机器人上设置了三项实操任务:把网球放到罐顶、胶带与球两级摆放、将易拉罐直立卡入胶带卷,每项任务只给50条演示数据。2B规模的NEO-VLA在多数任务中强于StarVLA,与π0.5基本持平,完成了精细放置、多步骤执行、物体姿态调整等真实物理操作,架构在现实世界中的可行性得到验证。研究还展示了倒水、寿司分拣等定性演示案例。

数据处理与训练方案

研究汇集了9大公开机器人数据集,合计223万条episode、约9900小时机器人数据。团队上线了完整的数据清洗流水线,过滤不合理关节读数、死通道、动作异常值、损坏片段,并校验相机标定,尽量保留有效样本。训练分三阶段:先冻结主干训练动作专家;再解冻全部权重,让机器人数据与多模态理解数据协同训练;最后继续用自有机器人数据微调,得到最终策略。

论文、代码、模型权重与数据集均已开源,具身智能领域多了一套新架构范式。研究给出的判断是:具身机器人控制应当用足模型各层级的视觉表征,而不是只依赖编码器输出的顶层特征;原生无编码器VLA架构,是通往通用机器人策略的一条可行路径。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  2. VLM记忆机制综述出炉:八机构联合提出4D分类框架

    来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

    来源 腾讯网
  3. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  4. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  5. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  6. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  7. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  8. MiniMax,狂卷字节、OpenAI

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 雷晶,编辑 | 魏佳AI生图赛道,最近打得火热。11月10日晚,MiniMax发布并开放H3-Image模型权重,打出了“又快又便宜”的牌。官方称,它10秒就能生成一张1600万像素的高清图片,价格只有同档位主流工具的50%-70%。在它之前,O

    来源 腾讯网
  9. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  10. 手表太小点不准,他们把前臂变成了触控板

    快科技11月16日消息,北卡罗来纳州立大学的研究团队做了一副雷达腕带,戴上之后,前臂就成了手表的触控板,手指在上面点点划划,手表就能收到对应的指令,不过它现在还是个原型,腕带上的电路板露在外面。

    来源 凤凰科技
  11. 腾讯发布Hy4 flash:支持1M上下文,激活参数12B

    11月16日,腾讯发布定位于日常办公及智能体任务的Hy4 flash模型。该模型总参数量224B(含64B Engram参数),单次激活参数12B,支持多模态输入和最高1M上下文长度,解码速度超过150 tokens/s。腾讯内部评测显示其综合表现略高于Hy4 preview,WorkIndex测试中平均单任务成本约为

    来源 凤凰科技
  12. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  13. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  14. DeepSeek开放全家桶应用API:开发者可复刻完整App体验

    【TechWeb】11月14日消息,DeepSeek发布全家桶应用 API,将其自有App中已经打磨成熟的整套交互能力打包为标准化、可调用的模块,向开发者开放。与以往仅提供模型推理接口不同,此次开放覆盖搜索、网页抓取与解析、文件解析、OCR、语音识别(ASR)、语音合成(TTS)等多项应用层能力,并支持开发者单独调用或

    来源 AI 行业观察
  15. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  16. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
向下滚动自动加载更多