驭物™ Lion-ER-35B-A3B:不堆数据,机器人如何看懂真实物理世界?
仅激活3B参数,十项基准全线提升!
允中 发自 凹非寺,量子位 | 公众号QbitAI
人类在日常生活中凭直觉就能做出的判断,一旦搬到机器人身上,常常变得相当棘手。
画面里物体看起来位置更高,不代表它在真实三维空间中就真的更高;换个角度拍摄,家具的样子变了,可它还是同一件家具;画面中的物体动了,可能是物体自己动了,也可能只是镜头在转……
这类细微的空间与状态变化,人一眼就能看出来,机器人的“具身大脑”却很难搞定。
视角一变就认错物体、把相机运动当成物体运动、判断错任务进行到哪一步,都会直接导致机器人执行失败。
要让机器人靠得住地完成现实任务,模型光“看见物体”还不够,还得读懂三维空间关系、盯住物体状态的变化、判断任务处在哪个阶段。
招商局先进技术研究院旗下的狮子山人工智能实验室近日推出具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」。这一模型用的是MoE混合专家架构,总参数规模约35B,但每个Token只激活约3B参数。
推理开销没有明显增加,模型却在十项主流具身相关基准上实现全部指标上涨,多项核心能力超过参数量更大的主流模型,走出了一条有别于大规模堆砌训练数据的技术路线,有助于机器人真正理解三维物理世界。
这套模型究竟是怎么炼成的?
近几年,Open X-Embodiment、DROID等工作不断拓宽真实世界机器人数据的边界。可数据规模越扩越大,有一个问题也越发清楚:
数据更多,不等于能力更强。
已有研究显示,在现有机器人数据集里,仅仅调整不同数据域的训练权重,下游任务表现就会受到明显影响。
「驭物™ Lion-ER-35B-A3B」的亮点不在单纯加大参数量,而在于搭起了一套能力牵引的具身数据引擎:不盲目收集海量数据,改为围绕模型需要掌握的能力做正向设计,再靠评测找出短板,迭代优化数据、形成闭环。
能力牵引的具身数据引擎
第1步:明确模型该学会什么
招商局狮子山团队先梳理出一张细粒度的“能力蓝图”:
他们把具身推理拆成“实体、空间、时序、物理、可供性、任务、社会、证据”等8个一级领域,再细化出39项二级能力。推理方式、输入形式和回答形式则作为独立维度单独标注,防止不同分类维度混在一起造成重叠。
这张蓝图不光定义了模型要学哪些能力,还明确了这些能力该在什么条件下被调用。
真实任务往往要用到复合能力。比如判断物品有没有放到位,既得判断任务进度,也离不开空间关系推理。
所以团队在蓝图阶段就把主能力与辅助能力分别记录下来,把无法拆分的联合任务单独列出。
训练采样时,团队还会顾及不同因素的组合与留出,避免某类能力总是绑在少数固定场景、物体或提问方式上。
第2步:把抽象要求变成一道道训练题目
能力蓝图有了,训练题目又该怎么生成?
团队给这套流程起了个名字,叫“能力编译”。
具体做法是把抽象的能力目标一项项拆开,落到“要什么场景、观察怎么组织、提什么问题、答案依据什么来定”这些具体环节上。
拿跨视角推理来说,先要定清楚给模型几个视角、需要在几张画面之间建立关联的是哪个目标物体,以及判断方位时用谁的观测位置和朝向。
素材本身也得核验:模型拿到的视觉信息够不够推出可靠答案。关键视角缺了、证据不足,这道题就只能靠猜,不能算合格的训练样本。
这类构题规范由目标能力本身驱动,不用等到评测暴露出错题,再去被动补数据。
能力蓝图事先把要覆盖的能力范围规划好,评测负责查漏补缺,后续再定位模型仍然薄弱的环节。
第3步:保证每道训练题目有据可依
构题方式上,团队设计了三条可以互相组合的路径:从已有QA与视觉标注中转换、从观察素材中发现证据、从结构化条件与关系中推导。抽象的能力要求,正是靠这三条路径变成一道道具体、可作答的训练题。
三种构题方式示意图
监督核验这一层,走的是数据提纯、几何构题、定向合成三条互补路线:
- 数据提纯:清洗和修订已有数据,排查图像顺序、问题指代、选项与答案映射,修掉有据可查的错误,同时控制重复曝光。
- 几何构题:素材如果有可靠的位姿、深度和物体对应关系,就先算出固定答案和推理需要的中间关系,再让模型在这些事实约束下生成问题与解释。
- 定向合成:现有监督不够时,基于真实图像或视频素材定向构造问答。合成的是问题与标注,生成模型给出的答案绝不直接当真值,必须经过独立作答或额外审核。
三条监督路线
整套流程守着一个原则:有证据的难题留下,缺证据的伪难题排除。
模型答错,不是删样本的理由;多个模型给出相同答案,也不能单独证明答案正确。
对模型持续失误的高难样本,团队又引入Human in the loop人工复核,搭起面向复杂具身任务的可视化核验平台,用多视角对照、时序回放和证据标记来强化人工审查,帮审核人员还原关键视觉线索与推理依据,避免把模型能力边界误判成数据问题。
第4步:评测结果直接反哺数据迭代
合格的训练题目有了,训练资源怎么分配也得做好。
「驭物™ Lion-ER-35B-A3B」的监督训练集共312380条样本,训练时按能力需求分配训练预算,而不是看数据源的题量定权重。
团队把训练资源集中到当前偏弱的推理类型上,同质化重复题会相应压缩。这套样本重点考查空间几何、多视角对应、动作轨迹、任务规划等具身能力。从候选、审核到入训,每个环节都有记录,训练配方既能回溯,也能随时调整。
31.2万监督样本的能力构成图
正向设计把能力覆盖布好了,可模型到底学没学会、哪里还有盲区?
这一步交给Eval-Driven Data Harness。
这套机制用来做数据迭代:先从模型答错的题里定位哪些能力需要补,再把这些短板拆成下一轮能执行的数据需求。
在Harness中,评测的角色变了。它不再是训练收尾时的一张成绩单,而成了下一轮数据生产的发令枪。
找到错题之后,团队先查标注、画面证据和评分有没有毛病,再把偶发失误和系统性能力短板分开。能力缺口一旦确认,就从覆盖31个数据源、约430万条记录的素材池里捞推理逻辑一致、场景不同的新素材,构题核验后送进训练,再用新一轮评测检验效果。
一次评测失利,怎样转成一批新训练数据
比如模型常把画面里的二维上下位置当成三维高度,团队就专门挑有上下多层可放置支撑面的场景,逼着模型结合空间结构判断高低。左右、前后关系再叠加遮挡和透视变化,把容易混淆的情况也覆盖进去。
分割、深度和几何约束也被拿来核验放置区域是否合理。
“画面里更靠上”不等于“空间里更高”,失败模式直接改写下一轮的数据条件
说到底,能力蓝图管的是覆盖方向,Eval-Driven Data Harness负责持续校准盲区。
数据不再是供一次就固定的静态资源,它跟着模型能力一起演化。
只激活约3B参数,十项基准全部上涨
有了这套能力牵引的数据引擎,「驭物™ Lion-ER-35B-A3B」只动用约3B推理激活参数,就在十项公开基准上把全部指标拉成正向提升,部分指标还压过了参数量更大的模型。
评测口径为avg@4,也就是每道题让模型独立作答4次,取平均分。
十项公开基准合起来算,等权综合均分是65.29。
十项基准逐项对比柱状图,蓝色为「驭物™ Lion‑ER‑35B‑A3B」
单项成绩如下:
- Where2Place空间放置评测拿到64.28,比基座高9.30分;
- ERQA具身推理基准为64.38,较基座提升6.19分;
- 空间推理基准SAT达到89.33;
- ERQA的轨迹理解子类为68.18,相较基座提升12.12分。
十项基准完整成绩(avg@4),蓝色列为「驭物™ Lion‑ER‑35B‑A3B」
ERQA各能力类别成绩对比(avg@4),蓝色列为「驭物™ Lion‑ER‑35B‑A3B」
整体看下来,「驭物™ Lion-ER-35B-A3B」在十项基准上的得分都高于所用基座。
四道公开基准题,能力差距一眼可见
下面四个案例都取自公开评测基准。同一道题,「驭物™ Lion-ER-35B-A3B」、基座Qwen3.6-35B-A3B、Qwen3.6-27B各自独立作答4次。
题目1:辨方向,相机到底向哪边转动?
两张图是机械臂第一人称相机连着拍的。瓶子在画面里整体往上挪,问的是相机朝哪个方向转。
基座只答对1次,Qwen3.6-27B一次没对。“驭物™ Lion-ER-35B-A3B”看出两帧画面的变化规律,判断相机向下转动,4次作答全对。
机器人碰到画面里物体位置变了,先得弄清变化从哪来:是物体自己在动,还是相机转了。
虚线是同高度参考线:t₂里瓶子在画面中整体上移
题目2:选轨迹,哪条路径可以完成任务?
图上有四条彩色轨迹。机械臂要把充电器从插线板拔下来,搁到画面右边,该走哪条?
两个对比模型都被向右拉长的紫色弧线带偏,选了它。这条线看着朝目标放置区延伸,可根本碰不到充电器。连目标都摸不着,后面拔取、放置的动作也就无从谈起。
“驭物™ Lion-ER-35B-A3B”逐条排除无效路线:红色偏到插线板左侧,紫色够不到充电器,黄色伸向后方软管,只有橙色能先到充电器、完成拔取,再移到右侧目标位置,4次作答全部正确。
这道题考的是把目标、路线和具体操作串起来。不光看轨迹通向哪里,还要判断它能不能接触目标、把任务做完。
四条候选轨迹里,只有橙色能“拔下并放到右侧”
题目3:跨视角,挂画在拍摄者哪一侧?
题目给了三张照片,都拍于同一住宅,蝴蝶挂画只在第三张里出现。模型要判断拍第一张时,挂画在拍摄者的哪个方向。
解这道题,模型得把多张画面串起来、重建空间布局。挂画在第三张图的客厅墙面上,结合另外两张图就能还原方位。拍第一张时,拍摄者站在楼梯底部、面朝台阶,客厅在身后,所以挂画位于拍摄者后方。
两个对比模型都答成“左侧”,4次作答一次没对。“驭物™ Lion-ER-35B-A3B”4次判断全部准确。
认出挂画只是基础。难点是切换到题目指定的拍摄位置和朝向,把跨视角的空间推理做出来。
得把三张照片拼成一张“心理地图”,再换回照片1的视角作答
题目4:看进度,这一步任务做完了吗?
这是一段机器人操作视频,指令是把桌上的寿司卷放进锅里。问的是视频当前时刻,第一步“移动到寿司卷”有没有完成。
基座4次作答里有3次误判成“已完成”,Qwen3.6-27B也有一半回答犯了同样的错。“驭物™ Lion-ER-35B-A3B”4次最终答案都判断为“尚未完成”。
这道题的关键,是分清机械臂“正在靠近寿司卷”和“已经移动到位”这两种状态。
画面里有动作,不代表对应步骤已经达成。模型要观察动作带来的状态变化,核对目标状态是否到位。进度一旦误判,机器人就会提前做后续动作,整套时序流程都会乱。
“靠近了”与“到位了”,在画面上只差一小段位移
四道案例分别对应相机运动判断、动作轨迹交互推理、跨视角空间映射、任务状态进度识别,这些都是机器人把语言指令变成物理动作的核心能力。
具身大模型要想真正派上用场,光会看画面远远不够,还得吃透物理现实。
如今能聊天、能读图的多模态大模型比比皆是,可真正冲着真实物理世界去、能提升机器人本事的“具身大脑”,依然不多见。
机器人要在现实环境里干活,仅识别出画面里有什么并不够,它还得把视觉上看到的表象和三维真实空间区分开来。
「驭物™ Lion-ER-35B-A3B」给出的东西里,亮眼的分数只是一部分,另一部分是一套能反复套用的方法论:
能力要成为数据的设计单元,评测要成为数据生产的起点。从能力蓝图到数据配方,从一次评测没过关到一批新的训练数据,每个环节都设定了清楚的目标,留有可核查的证据,也留下可追溯的记录。
眼下「驭物™ Lion-ER-35B-A3B」的权重已经在Hugging Face上开源,格式为BF16 Safetensors,Transformers、vLLM、SGLang等主流推理框架都能原生兼容。
开发者可以挑空间关系理解、场景状态分析、任务进度判断、空间约束理解这些方向做评测和适配,再结合自己手头的图像、视频和任务,去试具身问答、场景决策分析以及机器人系统集成。
招商局狮子山人工智能实验室称,团队接下来会围绕具身Agent,补充工具调用、多轮交互、执行反馈等方向的训练数据,研究长程任务里怎么连续决策、失败后怎么恢复,把这套由能力牵引的数据引擎接着迭代下去,让机器人在真实环境中完成任务时有更多支撑。
Hugging Face模型地址: https://huggingface.co/cmriat/lion-ER-35B-A3B
*本文系量子位获授权刊载,观点仅为原作者所有。