机器人装上双摄却不会用?G3VLA给VLA模型补几何课
你有没有想过,给机器人装上两个摄像头,到底能带来什么好处?直觉上答案很简单:两个角度看世界,当然比一个角度看得更清楚。可现实是,现在主流的机器人大脑,也就是那些视觉语言动作模型,拿到两个摄像头的画面后,居然把它们当成两张毫无关系的照片分别处理。这就好比你有一双眼睛,但大脑从不把左右眼看到的画面拼起来...
给机器人配两个摄像头,究竟能多出什么好处?
直觉上答案不复杂:两个视角看世界,总比单个视角更清楚。可眼下主流的机器人大脑——视觉语言动作模型——拿到两路画面后,却把它们当作两张互不相干的照片各自处理。
这就像人有一双眼睛,大脑却从不把左右眼画面合起来算距离,各看各的,再硬猜物体远近。听着离谱,可这正是当前
这篇论文要处理的,就是拖了多年的这个盲区。
单张相机照片看着只是二维图像,里面其实裹着一整套数学关系。像素对应现实里哪条光线,由焦距和主点位置决定,这叫
内参*:
光线在场景坐标系里指向何处,则取决于相机的摆放位置和朝向,这叫
外参*:
这类信息工程师本来就掌握。搭机器人系统时相机标定是常规动作,内参外参早算好摆在那里。可现在的
好比给新员工发了详尽的产品手册,却规定他不能翻,只能一次次试错去猜用法。手册明明在手边,偏被锁进抽屉。
效果差一点倒也罢了,真正麻烦的是这套机制格外脆弱。摄像头一挪位,同一场景投到图像上就变了样,模型没真正弄懂相机几何,只能靠训练时见过的视角硬记,换个机位就可能发懵。实验室里还能凑合,真实环境中摄像头被挪动、磕碰、重装都是常事,这种脆弱性很要命。
作者的思路倒很直接:既然不敢信相机标定数据,那就把它明明白白喂给模型,让模型一开始就知道每个像素对应哪条光线方向、不同摄像头之间是什么空间关系。这便是论文的核心方法,名为
给每个像素配一份“方向感”
G3VLA
射线嵌入
数学上这样处理:对图上每个像素坐标,乘上相机内参矩阵的逆,就得到该像素对应的归一化方向向量。针孔相机模型的几何性质决定了,这个向量的前两个分量足以描述光线方向,距离多远并不需要知道。
这一步解决的事挺巧妙。不同焦距相机拍下的同一像素位置,物理含义差得很远。广角与长焦在同一个像素坐标上对应的实际视角范围天差地别,传统二维位置编码却完全感受不到,它只认“这是图里第(3,5)个小方块”,不知道这方块对应现实多宽的视野。
打个比方,等于给两个人同一组地图坐标,却没交代比例尺。一个拿的是1:1000,另一个是1:100000,相同坐标在两图上代表的实际距离截然不同。不说清比例尺,两人永远对不齐位置。
让不同视角的信息真正对话
各摄像头知道自己看到的方向还不够,更关键的是,多摄像头之间的空间关系也得让模型弄明白。
这里用到一种叫
投影位置编码
的技术,配合一种叫
双向跨视角融合
的设计。
两步合起来做的事是:先让每个摄像头内部的图像块互相理解(叫做
好比开一场多语言会议,没有翻译时,各人只能凭表情语气猜对方在说什么,常常会错意。PRoPE相当于给每人配了同声传译,这翻译不是乱翻,它清楚发言人的“方言背景”(即相机内参外参),译出的内容自带坐标换算关系,接收方拿来就能用,不必自己再猜。
没有标定数据怎么办?用AI老师来补课
光把几何感知的结构设计好还不够,模型还需要监督信号,学会怎么用这些几何信息。最理想是有真实深度数据,可现实中不少场景压根没有深度传感器。
论文采用了两条并行的监督路线。手头有真实深度数据时——仿真环境里通常都有——直接拿它当监督信号。没有深度数据,就搬来一个叫π?X的离线教师模型给学生模型上课:该教师模型对每个像素给出一个三维坐标预测和一个置信度,论文规定置信度超过0.1的像素才参与监督,这套做法被称为
点图
置信度门控
这套设计承认了一个现实:AI教师的预测不可能处处准确,有些地方它自己也没把握。与其让这些不可靠的预测带偏学生,不如直接筛掉。好比辅导老师改作业,遇到自己拿不准的题,与其胡乱给个答案,不如说"这题我也不确定,你先跳过"。论文实验显示,即便滤掉约四分之一的像素(置信度阈值在0.1到0.2之间时,保留像素比例从94%降到74%),最终成功率也几乎没有波动,仍稳定在86.8%到87%之间。少量但高质量的监督信号,效果胜过囫囵吞枣式的全量监督。
训练分两个阶段推进。先是冻结原模型主体,只训练新增的几何模块,让它先学会理解相机几何;随后解冻整个模型,让动作预测重新唱主角,几何监督退为轻量级正则项,在后台持续校正。这有点像先让新人单独练一项专业技能,练得差不多了再放进真实工作流程,和其他任务协同配合。
三个基准测试的成绩
设计思路讲了这么多,实际效果究竟如何?
论文在三个常用的机器人操作仿真基准上做了测试,基座模型用的是LIBERO测试。在LIBERO上,原始π0模型的平均成功率是84.6%,加上G3VLA并用真实
在更复杂的家居任务
换个视角,模型还认得出吗
论文最抓眼球的部分,其实是对相机视角泛化能力的考察。
研究者专门搭建了一个叫做……的场景。结果是:普通模型在没见过的视角上成功率从训练视角的86.1%掉到80.6%,降了5.5个百分点,摄像头一换,模型确实有点发懵。而加上G3VLA之后,没见过的视角成功率非但没怎么掉,还达到87.0%,相比基线模型的80.6%提升了6.4个百分点,比训练视角上的提升幅度(3.0个百分点)还大。
这个结果耐人寻味:一般方法往往在熟悉场景里表现更好,G3VLA却反着来,陌生场景的提升幅度超过熟悉场景。这正好印证了论文的核心假设——真正理解相机几何的模型,面对任何一个新摆放的摄像头,都能靠数学关系推算出该怎么看,而不必死记某个特定视角下物体长什么样。
论文还细分了8种具体的视角变化类型,包括向左偏航、向右偏航、俯仰角升高、降低、拍摄距离拉近、拉远,以及几种组合的极端情况。结果显示G3VLA在全部8种变化类型上都压过基线模型,其中几种极端情况提升格外明显,比如从偏远组合视角拍摄时,成功率从68.3%升到78.3%,整整提高10个百分点。
真实机器人上的验证
仿真测试固然能说明问题,但机器人研究的终极考场始终是真实世界。论文在一台双臂……上做了实验,训练数据来自10个不同的……。这说明实验室里跑出的结论并非纸面数字游戏,在真实的机械臂、真实的光线和真实的物理误差下,这套几何感知机制照样起效。
几何本身在起作用,还是模型变聪明了
有一个关键质疑需要正面回应:加上G3VLA后参数变多、训练也更复杂,性能提升到底来自真正学到了有用的相机几何知识,还是仅仅因为模型"更复杂了所以更聪明了"?
为了回答这个疑问,研究者做了一组对照实验:G3VLA的架构原封不动,只把相机内参外参故意打乱、替换成随机值。结果很有说服力——训练时用真实参数、仅在推理阶段喂假参数,成功率从87.0%跌到79.2%,少了近8个百分点;训练和推理全程都用乱参数,成功率回到83.8%,但仍比用真实参数低3.2个百分点,甚至低于完全不加G3VLA模块的原始基线模型(84.6%)。
这组结果说明,G3VLA这套结构一旦被喂进虚假、前后不一致的几何信息,不但帮不上忙,还会拖后腿,比什么都不加更差。就像给导航系统接上卫星定位模块,若该模块输出的坐标是瞎编的,司机照着假坐标开,反而比不用导航、凭记忆开更容易迷路——假信息比没信息更能误导人。该对照实验也排除了“模型只是变复杂所以变强”这一解释,真正起作用的是正确的相机几何信息本身。
另一组实验考察了对标定误差的容忍度:焦距故意偏移2%、主点偏移2个像素、相机平移偏移1厘米、旋转偏移1度,成功率仅下降0.3到0.4个百分点。也就是说,这套方法不要求实验室级别的像素级精确标定,日常的轻微标定误差完全扛得住。
拆开看每个零件的作用
论文还做了细致的消融实验,把G3VLA逐件拆开,看每个部件各自贡献多少。
去掉射线嵌入、保留跨视角融合后,成功率从87.0%降到85.0%。
跨模型的可移植性
研究者另外在两个基座模型上做了验证,一个是π0.5,另一个是
额外的开销有多大
几何模块功能听着丰富,模型会不会因此又大又慢?数据显示开销相当克制:训练时多出5670万参数(占比1.62%),部署时去掉辅助预测头后只多4830万参数(占比1.38%);推理延迟从112.3毫秒升到115.7毫秒,涨幅约3%,放到真实机器人应用里基本可以忽略。
写在后面
读完论文,真正触动我的不是那些涨了几个百分点的表格,而是“随机打乱相机参数后反而比不用几何模块更差”那个对照实验。
这个细节值得单独拎出来说,它在提醒一件更普遍的事:给系统添加结构化先验知识时,如果先验本身是错的或前后不一致,造成的伤害可能比不给任何先验还大。这与很多工程直觉相反——人们通常认为“多给点信息总没坏处”,但实验表明信息质量比信息数量更重要,错误的确定性比正确的不确定性危害更大。
另一个让我反复琢磨的点是,论文选的路径相当克制:没有重新设计一套三维表征,也没有引入额外的点云处理分支,而是直接拿机器人系统里早已存在、却被浪费掉的标定数据来用。这种“用好手头已有资源”、而非“造一个更复杂的轮子”的思路,在当下动辄堆参数堆数据的AI研究氛围里显得有些朴素。不过朴素不等于容易——把这些现成信息巧妙嵌进预训练模型的视觉令牌流,同时不破坏原有的动作预测能力,本身就是不小的工程挑战。
论文还提到一个没深究的细节:评测视角泛化能力时,研究者承认没有逐帧检查目标物体是否在画面里可见,某些低机位或近距离视角可能暂时把操作目标挡在画面之外,此时模型其实是靠手腕相机硬撑。这批数据噪声没有被完全清理,作者选择如实写出,并补充说明即便排除这些可能有问题的视角组合,结论依然成立。不回避自身局限,比强行把数字做得完美无瑕更让人信任论文的结论。
下一个问题自然就来了:相机内参外参这种“免费的”几何先验能带来明显提升,那机器人系统里还有哪些同样被标定好、却从未被真正利用的物理信息,正安静躺在某个配置文件里,等着有心人翻出来用?
Q&A
Q1:G3VLA是什么?
A:G3VLA是一个给视觉语言动作机器人模型加装相机几何感知能力的模块。它把相机内参外参直接编码进视觉处理流程,让模型理解不同摄像头之间的真实空间关系,同时不改变模型原有的动作预测方式。
Q2:G3VLA需要深度传感器吗?
A:不一定。有真实深度数据时(比如仿真环境),可以直接拿来做监督;没有的话,可以用π?X这类视觉几何模型生成的预测结果,加上置信度过滤来替代,同样能训练出有提升的效果。
Q3:换个摄像头位置,机器人还能正常工作吗?
A:实验显示,加了G3VLA后,面对从未见过的摄像头视角,成功率比原模型高出6.4个百分点,涨幅比熟悉视角上还大,说明这套方法确实增强了模型应对视角变化的能力。