机器人装上双摄却不会用?G3VLA给VLA模型补几何课

资讯 腾讯网 作者:科技行者 全文 4790 字 · 约 12 分钟读完 分类VLA机器人

你有没有想过,给机器人装上两个摄像头,到底能带来什么好处?直觉上答案很简单:两个角度看世界,当然比一个角度看得更清楚。可现实是,现在主流的机器人大脑,也就是那些视觉语言动作模型,拿到两个摄像头的画面后,居然把它们当成两张毫无关系的照片分别处理。这就好比你有一双眼睛,但大脑从不把左右眼看到的画面拼起来...

所属频道 机器人与具身智能

给机器人配两个摄像头,究竟能多出什么好处?

直觉上答案不复杂:两个视角看世界,总比单个视角更清楚。可眼下主流的机器人大脑——视觉语言动作模型——拿到两路画面后,却把它们当作两张互不相干的照片各自处理。

这就像人有一双眼睛,大脑却从不把左右眼画面合起来算距离,各看各的,再硬猜物体远近。听着离谱,可这正是当前

这篇论文要处理的,就是拖了多年的这个盲区。

单张相机照片看着只是二维图像,里面其实裹着一整套数学关系。像素对应现实里哪条光线,由焦距和主点位置决定,这叫

内参*:

光线在场景坐标系里指向何处,则取决于相机的摆放位置和朝向,这叫

外参*:

这类信息工程师本来就掌握。搭机器人系统时相机标定是常规动作,内参外参早算好摆在那里。可现在的

好比给新员工发了详尽的产品手册,却规定他不能翻,只能一次次试错去猜用法。手册明明在手边,偏被锁进抽屉。

效果差一点倒也罢了,真正麻烦的是这套机制格外脆弱。摄像头一挪位,同一场景投到图像上就变了样,模型没真正弄懂相机几何,只能靠训练时见过的视角硬记,换个机位就可能发懵。实验室里还能凑合,真实环境中摄像头被挪动、磕碰、重装都是常事,这种脆弱性很要命。

作者的思路倒很直接:既然不敢信相机标定数据,那就把它明明白白喂给模型,让模型一开始就知道每个像素对应哪条光线方向、不同摄像头之间是什么空间关系。这便是论文的核心方法,名为

给每个像素配一份“方向感”

G3VLA

射线嵌入

数学上这样处理:对图上每个像素坐标,乘上相机内参矩阵的逆,就得到该像素对应的归一化方向向量。针孔相机模型的几何性质决定了,这个向量的前两个分量足以描述光线方向,距离多远并不需要知道。

这一步解决的事挺巧妙。不同焦距相机拍下的同一像素位置,物理含义差得很远。广角与长焦在同一个像素坐标上对应的实际视角范围天差地别,传统二维位置编码却完全感受不到,它只认“这是图里第(3,5)个小方块”,不知道这方块对应现实多宽的视野。

打个比方,等于给两个人同一组地图坐标,却没交代比例尺。一个拿的是1:1000,另一个是1:100000,相同坐标在两图上代表的实际距离截然不同。不说清比例尺,两人永远对不齐位置。

让不同视角的信息真正对话

各摄像头知道自己看到的方向还不够,更关键的是,多摄像头之间的空间关系也得让模型弄明白。

这里用到一种叫

投影位置编码

的技术,配合一种叫

双向跨视角融合

的设计。

两步合起来做的事是:先让每个摄像头内部的图像块互相理解(叫做

好比开一场多语言会议,没有翻译时,各人只能凭表情语气猜对方在说什么,常常会错意。PRoPE相当于给每人配了同声传译,这翻译不是乱翻,它清楚发言人的“方言背景”(即相机内参外参),译出的内容自带坐标换算关系,接收方拿来就能用,不必自己再猜。

没有标定数据怎么办?用AI老师来补课

光把几何感知的结构设计好还不够,模型还需要监督信号,学会怎么用这些几何信息。最理想是有真实深度数据,可现实中不少场景压根没有深度传感器。

论文采用了两条并行的监督路线。手头有真实深度数据时——仿真环境里通常都有——直接拿它当监督信号。没有深度数据,就搬来一个叫π?X的离线教师模型给学生模型上课:该教师模型对每个像素给出一个三维坐标预测和一个置信度,论文规定置信度超过0.1的像素才参与监督,这套做法被称为

点图

置信度门控

这套设计承认了一个现实:AI教师的预测不可能处处准确,有些地方它自己也没把握。与其让这些不可靠的预测带偏学生,不如直接筛掉。好比辅导老师改作业,遇到自己拿不准的题,与其胡乱给个答案,不如说"这题我也不确定,你先跳过"。论文实验显示,即便滤掉约四分之一的像素(置信度阈值在0.1到0.2之间时,保留像素比例从94%降到74%),最终成功率也几乎没有波动,仍稳定在86.8%到87%之间。少量但高质量的监督信号,效果胜过囫囵吞枣式的全量监督。

训练分两个阶段推进。先是冻结原模型主体,只训练新增的几何模块,让它先学会理解相机几何;随后解冻整个模型,让动作预测重新唱主角,几何监督退为轻量级正则项,在后台持续校正。这有点像先让新人单独练一项专业技能,练得差不多了再放进真实工作流程,和其他任务协同配合。

三个基准测试的成绩

设计思路讲了这么多,实际效果究竟如何?

论文在三个常用的机器人操作仿真基准上做了测试,基座模型用的是LIBERO测试。在LIBERO上,原始π0模型的平均成功率是84.6%,加上G3VLA并用真实

在更复杂的家居任务

换个视角,模型还认得出吗

论文最抓眼球的部分,其实是对相机视角泛化能力的考察。

研究者专门搭建了一个叫做……的场景。结果是:普通模型在没见过的视角上成功率从训练视角的86.1%掉到80.6%,降了5.5个百分点,摄像头一换,模型确实有点发懵。而加上G3VLA之后,没见过的视角成功率非但没怎么掉,还达到87.0%,相比基线模型的80.6%提升了6.4个百分点,比训练视角上的提升幅度(3.0个百分点)还大。

这个结果耐人寻味:一般方法往往在熟悉场景里表现更好,G3VLA却反着来,陌生场景的提升幅度超过熟悉场景。这正好印证了论文的核心假设——真正理解相机几何的模型,面对任何一个新摆放的摄像头,都能靠数学关系推算出该怎么看,而不必死记某个特定视角下物体长什么样。

论文还细分了8种具体的视角变化类型,包括向左偏航、向右偏航、俯仰角升高、降低、拍摄距离拉近、拉远,以及几种组合的极端情况。结果显示G3VLA在全部8种变化类型上都压过基线模型,其中几种极端情况提升格外明显,比如从偏远组合视角拍摄时,成功率从68.3%升到78.3%,整整提高10个百分点。

真实机器人上的验证

仿真测试固然能说明问题,但机器人研究的终极考场始终是真实世界。论文在一台双臂……上做了实验,训练数据来自10个不同的……。这说明实验室里跑出的结论并非纸面数字游戏,在真实的机械臂、真实的光线和真实的物理误差下,这套几何感知机制照样起效。

几何本身在起作用,还是模型变聪明了

有一个关键质疑需要正面回应:加上G3VLA后参数变多、训练也更复杂,性能提升到底来自真正学到了有用的相机几何知识,还是仅仅因为模型"更复杂了所以更聪明了"?

为了回答这个疑问,研究者做了一组对照实验:G3VLA的架构原封不动,只把相机内参外参故意打乱、替换成随机值。结果很有说服力——训练时用真实参数、仅在推理阶段喂假参数,成功率从87.0%跌到79.2%,少了近8个百分点;训练和推理全程都用乱参数,成功率回到83.8%,但仍比用真实参数低3.2个百分点,甚至低于完全不加G3VLA模块的原始基线模型(84.6%)。

这组结果说明,G3VLA这套结构一旦被喂进虚假、前后不一致的几何信息,不但帮不上忙,还会拖后腿,比什么都不加更差。就像给导航系统接上卫星定位模块,若该模块输出的坐标是瞎编的,司机照着假坐标开,反而比不用导航、凭记忆开更容易迷路——假信息比没信息更能误导人。该对照实验也排除了“模型只是变复杂所以变强”这一解释,真正起作用的是正确的相机几何信息本身。

另一组实验考察了对标定误差的容忍度:焦距故意偏移2%、主点偏移2个像素、相机平移偏移1厘米、旋转偏移1度,成功率仅下降0.3到0.4个百分点。也就是说,这套方法不要求实验室级别的像素级精确标定,日常的轻微标定误差完全扛得住。

拆开看每个零件的作用

论文还做了细致的消融实验,把G3VLA逐件拆开,看每个部件各自贡献多少。

去掉射线嵌入、保留跨视角融合后,成功率从87.0%降到85.0%。

跨模型的可移植性

研究者另外在两个基座模型上做了验证,一个是π0.5,另一个是

额外的开销有多大

几何模块功能听着丰富,模型会不会因此又大又慢?数据显示开销相当克制:训练时多出5670万参数(占比1.62%),部署时去掉辅助预测头后只多4830万参数(占比1.38%);推理延迟从112.3毫秒升到115.7毫秒,涨幅约3%,放到真实机器人应用里基本可以忽略。

写在后面

读完论文,真正触动我的不是那些涨了几个百分点的表格,而是“随机打乱相机参数后反而比不用几何模块更差”那个对照实验。

这个细节值得单独拎出来说,它在提醒一件更普遍的事:给系统添加结构化先验知识时,如果先验本身是错的或前后不一致,造成的伤害可能比不给任何先验还大。这与很多工程直觉相反——人们通常认为“多给点信息总没坏处”,但实验表明信息质量比信息数量更重要,错误的确定性比正确的不确定性危害更大。

另一个让我反复琢磨的点是,论文选的路径相当克制:没有重新设计一套三维表征,也没有引入额外的点云处理分支,而是直接拿机器人系统里早已存在、却被浪费掉的标定数据来用。这种“用好手头已有资源”、而非“造一个更复杂的轮子”的思路,在当下动辄堆参数堆数据的AI研究氛围里显得有些朴素。不过朴素不等于容易——把这些现成信息巧妙嵌进预训练模型的视觉令牌流,同时不破坏原有的动作预测能力,本身就是不小的工程挑战。

论文还提到一个没深究的细节:评测视角泛化能力时,研究者承认没有逐帧检查目标物体是否在画面里可见,某些低机位或近距离视角可能暂时把操作目标挡在画面之外,此时模型其实是靠手腕相机硬撑。这批数据噪声没有被完全清理,作者选择如实写出,并补充说明即便排除这些可能有问题的视角组合,结论依然成立。不回避自身局限,比强行把数字做得完美无瑕更让人信任论文的结论。

下一个问题自然就来了:相机内参外参这种“免费的”几何先验能带来明显提升,那机器人系统里还有哪些同样被标定好、却从未被真正利用的物理信息,正安静躺在某个配置文件里,等着有心人翻出来用?

Q&A

Q1:G3VLA是什么?

A:G3VLA是一个给视觉语言动作机器人模型加装相机几何感知能力的模块。它把相机内参外参直接编码进视觉处理流程,让模型理解不同摄像头之间的真实空间关系,同时不改变模型原有的动作预测方式。

Q2:G3VLA需要深度传感器吗?

A:不一定。有真实深度数据时(比如仿真环境),可以直接拿来做监督;没有的话,可以用π?X这类视觉几何模型生成的预测结果,加上置信度过滤来替代,同样能训练出有提升的效果。

Q3:换个摄像头位置,机器人还能正常工作吗?

A:实验显示,加了G3VLA后,面对从未见过的摄像头视角,成功率比原模型高出6.4个百分点,涨幅比熟悉视角上还大,说明这套方法确实增强了模型应对视角变化的能力。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  2. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  3. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  4. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  5. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  6. 波士顿动力Atlas拆掉双脚换上轮子:双足机器人为何改走轮式路线

    “ 双足装上了轮子也是双足2026年11月9日,波士顿动力在官方频道放出一段不到一分钟的视频,画面里那台叫 Atlas 的机器人没有脚,工程师用一只定制转接件,把市面上买得到的电动滑板车轮装进了两个踝关节执行器,随后这台身高1.9米、自重90公斤、全身56个自由度的设备在平地上冲刺,横移,一脚踩死后急停,最后腾空转了整

    来源 腾讯网
  7. 王兴兴谈机器人模型泛化:盼一台机器进千家万户即刻干活

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。 宇树科技股份有限公司董事长王兴兴在峰会上表示,最近几年国内乃至全球的机器人行业都非常热,原因是大家看到了纯语言或文字的 AI 模型在个人生活、办公中的价值越来越大,大家希望

    来源 AI 行业观察
  8. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  9. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  10. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  11. 具身智能融资466起1245亿:机器人离干活还差什么

    2026年,资本、模型和制造同时加速,机器人开始批量走下生产线,但下线不等于交付,演示不等于胜任。具身智能能否真正跨越产业之门,取决于技术能否被组织成稳定工作的系统,并在真实场景中持续创造价值。

    来源 AI 行业观察
  12. 英伟达GR00T 2开源在即:机器人能预判后果了?

    出品|虎嗅科技组作者|易玉琴编辑|苗正卿头图|GR00T 2上周,大家都忙着吃黄仁勋的“大瓜”,以至于很多人都错过了英伟达的一次重要技术更新。就在黄仁勋辞职的三天前,11月9日,英伟达在美国奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。在这次发布中,英伟达机器人研究负责人Jim Fan先是

    来源 腾讯网
  13. 贾跃亭机器人单月交付351台:FFR挂牌纳斯达克后首份成绩单

    “ 2025,机器人驶出浅滩。贾跃亭上一次让中文互联网集体愣住,是2017年拉斯维加斯那场发布会。FF91承诺三个月量产,结果拖了十年,下周回国成了跨年度的梗。2026年,同一个城市,同一类大会,他带来的不再是车,而是人形机器人。早在2月5日,Faraday Future一口气发布四款具身智能机器人,人形、四足都有。发

    来源 腾讯网
  14. 巨星传奇签约Galaxy:AI机器人业务扩容

    新京报贝壳财经讯(记者程靓)11月16日,新京报贝壳财经记者获悉,巨星传奇集团有限公司(以下简称“巨星传奇”)与Galaxy Corporation在中国香港签署战略合作谅解备忘录(MOU)。双方合作范围在原有演唱会、展览、艺人IP及衍生品开发等事项的基础上,将进一步扩容,建立全球机器人娱乐及AI机器人业务领域的战略合

    来源 腾讯网
  15. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
  16. 马斯克披露星舰V4细节:箭体加长约40%,推进剂载荷提升超60%

    IT之家 11 月 16 日消息,在 SpaceX 首次成功用发射塔机械臂捕获星舰飞船上面级的第二天,埃隆 · 马斯克(Elon Musk)公布了下一代星舰 V4 版的升级计划。新版本飞船长度将增加约 40%,推进剂装载量提升超过 60%,发动机数量也将从 6 台增加到 9 台。 马斯克当地时间周日晚间在 X 平台发文

    来源 AI 行业观察
向下滚动自动加载更多