HexaShell用会写代码的AI开机械臂,成功率翻倍到46.9%
有一个问题困扰了机器人研究圈很久。你训练一个机器人做任务,比如把积木叠成一座塔,通常要收集几千条人类示范数据,然后用这些数据训练一个模型,让它学会模仿。这套路子叫**模仿学习**> 模仿学习:让机器人观察人类演示的动作数据,训练出能够复现类似动作的模型,类似于教孩子写字时让他照着字帖描红。效果还不错,但有个硬...
机器人研究圈有个问题,困扰了大家很久。
训练机器人做一件事,比方说把积木摞成塔,一般得先收几千条人类示范数据,再拿这些数据去训练模型,让它照猫画虎。这套方法叫模仿学习。
模仿学习:让机器人看人类演示的动作数据,训练出能复现类似动作的模型,跟教小孩写字时让他照着字帖描红差不多。
效果是有的,可硬伤也明显:机器人只会干它见过的事。场景一换、物体摆放一变,它可能就傻眼了。再说,收几千条示范数据这件事本身就又贵又慢。
那还有没有别的路?最近两年,一些研究者开始琢磨:能不能让大模型直接控制机器人,像它写代码、读报错、改代码那样,看摄像头画面、发指令、看效果、再改?HexaFuture团队的这篇论文,就是在这条路上走得比较远的一次尝试。
他们给自己的系统起名HexaShell。
HexaShell:论文提出的机器人控制系统名称,字面意思接近“六边形外壳”,象征一层薄薄的、不干涉决策的包装层。
结果挺惊艳。在机器人操作基准测试RoboDojo上,HexaShell拿到46.9%的成功率,是目前这个官方排行榜上的最高分,把那些靠海量示范数据训练出来的学习式策略模型都甩在了后面。
这事本身就有点反直觉。过去几年,机器人操作的排行榜一直被视觉语言动作模型(VLA)和世界动作模型这类专门为机器人动作设计、吃下成千上万条演示数据的模型占着。HexaShell呢,它背后的模型一条机器人演示数据都没见过,全靠一个会写代码的智能体自己摸索出工具,再把这些工具当经验留下来。
一个没专门为机器人训练过的编程AI,赢了专门为机器人训练的模型。这事儿值得掰开揉碎讲讲。
薄壳设计:让AI保持它最擅长的样子
先说HexaShell最核心的设计理念:它给机器人加了一层极薄的接口,薄到几乎什么都不做。
具体来说,这个智能体通过一个叫`robo`的命令行工具控制机器人。智能体发出一条指令,比如“把这只手臂往右移动0.1米”,这层接口就负责把指令翻译成机械臂的关节运动,再把执行结果和三张摄像头拍到的RGB画面回传给智能体。就这些。
接口不替智能体做任何决策,不会告诉它“这个任务你应该这样做”,也不会偷偷塞给它物体的真实坐标。它唯一干的活,就是把文字指令变成物理运动,再把运动结果变成文字反馈。
这项设计背后想回答的问题很直接:如果一个编程智能体从未接受过任何机器人相关训练,只是把它写代码、读报错、改代码这些在软件领域练熟的手段搬到一台真实机械臂上,究竟能完成到什么程度?
答案是:只要给它的接口足够干净,它能走得比想象中远得多。
打个比方,这相当于让一位从未碰过挖掘机的老司机去开挖掘机。面前有两条路:一条是装一套自动驾驶系统,方向、油门都由系统控制,他只需按下“开始”按钮;另一条是只给一根最基础的操纵杆,告诉他“往前推是前进,往左扳是转向”,其余全凭他自己判断。
选第一种,你测的其实是那套自动驾驶系统的水平,老司机的驾驶经验根本派不上用场。选第二种,你测的才是这个人真正的判断力和应变能力。研究者选了后者。他们要测的不是硬件自动化程度,而是智能体本身的推理和纠错能力能不能迁移到物理世界。
这个选择也解释了为什么HexaShell的提示手册只有大约六十行,薄得不能再薄。手册里只讲接口怎么用,比如“move命令每次最多移动0.20米”,“point命令可以选择几种固定的抓取姿态”,完全不涉及任何具体任务该怎么完成的策略提示。策略,全留给智能体自己摸索。
反过来做会是什么结果?论文里正好设了对照:同一个模型改用基准测试作者提供的固定接口操作机器人,这套接口会替AI选定夹爪的目标位置,等于代它做了一部分决策,成功率仅有22.5%。而换上HexaShell这层基本不参与决策的薄壳后,同一模型成功率提高一倍多,达到46.9%。
这组对比多少有些出人意料。原本容易设想,给AI更多辅助、多架几层脚手架,它的表现应当更好。实际却相反:辅助给多了反倒捆住它,把决策空间交还给它,它倒发挥得更出色。
失败不是终点,是写代码的起点
光有薄壳还不够。真正让HexaShell跑起来的,是两个智能体的分工配合。
其中一个叫执行智能体,任务是实际操控机器人跑完一次任务尝试;另一个叫优化智能体,只在执行智能体失败后接手,把整段失败过程的完整记录读一遍,指令、画面、对话逐条逐帧逐句都包含在内,据此判断问题出在何处,并编写或修复一个工具来处理它。
两个智能体共用一个模型,论文中称作GPT-6-Astra,运行在Codex这套编程智能体框架之上。
> 所谓“工具”,在论文里指的是一段附带单元测试的小程序。它给`robo`命令行添上新的子命令,让机器人多出一种具体本领,例如量桌面有多高,或者认出某个物体的轮廓。
真正关键的一点是:工具一旦写出来就长期留着,之后任何任务尝试都能调用,不会因为这一次任务收尾就被扔掉。这一点和以往不少“用语言模型给机器人写代码”的研究走了不同的路。
过去那些做法,像Code as Policies之类的工作,往往是对着一条具体指令临时生成一段程序,用完即弃,下一条新指令来了再重新生成。而且在这些研究里,抓取、判断一个点是否落在平面上这类操作物体的基础能力,都是人类工程师事先写好的,AI只负责把它们组合起来调用。
HexaShell的做法正好相反:基础能力交给AI自己写,写完还能沉淀下来、不断被打磨,每次任务尝试真正写的只是一小段调用代码。
用程序员的话讲,这两种路数的差别在于,前者像每回都写一次性脚本,后者更像维护一个持续迭代的代码库。
可以拿学做一道新菜来类比。一种做法是每次下厨前都从头摸索火候和调料比例,这顿饭做完,经验也跟着记忆一起淡掉,下回还得重新试错。另一种做法是把试出来的经验写成菜谱,下次照着菜谱的步骤走;某次做砸了,回头改的是菜谱本身,而不是从零再试一遍。
不走第二条路会怎样?论文给了一组直接对比:在“推T形块”任务上,最初十个布局里,智能体靠临时测量、不沉淀工具的方式连着失败了两次。等到优化智能体把失败原因写成固定工具、并修掉其中的bug之后,后续十个开发布局——标准和混乱两种变体都算上——全部一次通过。工具沉淀下来以后,这个任务的成功率从某种程度的“碰运气”变成了稳定复现。
这套流程跑起来的速度也值得一看。一轮失败之后的优化,中位数只要6.3分钟。769轮优化里,优化智能体平均每轮运行16条shell命令,读取大约75万个输入token(大部分是缓存),写出的修改约5700个token。整个过程里,智能体改动的代码量中位数是新增118行、删除6行,测试和笔记都计算在内。
优化智能体诊断问题的方式更有意思。论文记录了一个案例:在“交换T形块”任务里,智能体连着失败了两次。优化智能体没有急着猜,而是先把最后一帧摄像头画面里的颜色做了一遍聚类分析,发现每个积木块其实由两种颜色构成——顶面是亮色,侧面是暗色,但两者色相相近。此前的工具用固定色号去匹配两个摄像头看到的画面,结果把顶面和侧面混在了一起,测出来的角度和高度都错了。找到原因后,优化智能体改了28行代码,让工具按色相匹配、只保留亮色的顶面。下一次尝试,角度误差从原来偏差约3度降到了0.4毫米的轮廓拟合误差。
优化智能体干活的方式就是这样:它更像一个盯着报错日志排查问题的程序员,而不是靠直觉拍脑袋的决策者。它依据的主要是数字——每条指令消耗了多少步数、工具为什么拒绝返回结果——而不是“感觉这里不对”。
没有深度摄像头,物体位置怎么定
接下来的问题,是整篇论文里技术含量最重的部分:机器人究竟如何得知一个物体在三维空间中的准确位置?
在软件世界里,AI处理的全是精确文本,一行代码就是一行代码,不存在歧义。可到了物理世界,AI看到的是像素,而每条控制指令都需要一个精确到大约一厘米的空间坐标,两者之间差着十万八千里。
更麻烦的是,HexaShell里机器人配的摄像头只能拍RGB彩色画面,没有深度传感器,画面里根本不含“这个点离摄像头多远”的信息。
有人会想到另一条路子:单独训练一个专门估深度的网络,让它从彩色图像里推出每个像素离镜头有多远。论文也真去试了,选用的模型是 Depth Anything V2。
> Depth Anything V2:一种从单张彩色图像直接估计场景深度的神经网络模型,不需要专门的深度摄像头硬件。
结果有点出人意料:这个深度估计网络在RoboDojo的场景里误差中位数是41毫米,也就是说头部摄像头拍到的图像,深度误差平均能到4厘米多;手腕摄像头拍到的画面,误差更是能到10厘米左右。
这个误差有多要命?机器人抓一个物体,通常需要大约一厘米的精度。深度估计误差如果是4厘米,就好比你让机器人伸手去够一个杯子,它判断出来的距离比实际远了四五个手指的宽度,这手要么够不着东西,要么直接撞上去。
HexaShell最终选了一条完全不同的路:**三角测量**
> 三角测量:两个摄像头从不同角度同时拍到同一个点,两条视线在空间里交会的地方,就是该点真正的三维坐标;人眼靠两只眼睛判断距离,道理与此相近。
这个原理一点也不玄乎。你闭上一只眼睛去抓桌上的杯子,会发现判断距离明显变难,因为少了另一只眼睛提供的第二个视角。两只眼睛看到物体的角度稍有不同,大脑把这两个角度一结合,就能算出物体离自己多远。三角测量用的正是同一个原理,只不过这里的“两只眼睛”是两个标定过的摄像头,数学上通过计算两条视线的交点来确定物体的位置。
在机器人系统里,摄像头经过了精确标定,机械臂自己也清楚手腕在什么位置。研究者给出了三角测量的三种具体实现方式:
- **桌面平面约束**:有一个专门的共享工具叫table_plane,每一轮任务开始时测量一次桌面的真实高度,做法是比较不同摄像头看到的桌面图像在哪个高度假设下重合度最高,这个过程不消耗机器人的动作步数
一种是已知平面约束:只要能在任务过程中测出某个物体表面的高度,比如积木块顶面或者碗的边缘,那么知道了这个平面的高度,穿过某个像素的那条视线跟平面相交的位置,就是物体所在的地方。
另一种是双视角三角测量:两个摄像头同时看到一个点,两条视线差不多相交的那个位置,就是三角测量算出来的坐标。
头部摄像头一个视角搞不定的时候——物体被挡住了,或者角度太偏——机器人会自己动手挪手腕上的摄像头,去拿第二个观察视角。这套做法有个专门的名字,叫主动感知。
所谓主动感知,说的是传感器不再被动接收信息,而是主动换位置,去拿到更有用的观测角度。这个概念早在上世纪80年代的计算机视觉研究里就有人提过。
不过主动感知不是白来的。挪手腕拿第二个视角,说到底是在烧机器人的动作步数,而RoboDojo里每个任务都有严格的步数上限。于是就有了一个真实的权衡:想要测得更准,就得花掉更多“时间预算”。
论文把这笔账算得很细。420次重测任务里,三角测量方案有3.6%的执行步数花在“看一眼”上,深度网络方案只花了0.7%。那这笔投入到底值不值?数据给了明确答案:在180个需要额外观察视角的布局里,三角测量方案成功了39次,深度网络方案在完全相同的布局上只成功了22次。统计检验显示这个差距在统计上是显著的。
多花时间看一眼,看着像浪费,其实是把力气用在了关键处。好比你去陌生城市找一家餐厅,导航给了一条路,你拿不准要不要信,干脆多走两分钟到路口抬头看看实际的路牌。这两分钟表面上拖慢了行程,却避免了你照着错误导航走出三公里才发现方向反了。三角测量多花的那几步动作预算,换回来的是实实在在测准了物体位置,而不是凭一张误差好几厘米的深度图瞎猜。
更直接的比法,是让三角测量和深度估计网络在完全一样的任务布局上分别跑一遍。按RoboDojo官方评分指标算,三角测量高出8.7分。再用统计学里的配对检验方法一个布局一个布局地比,三角测量把57次原先失败的任务翻成了成功,深度网络单独赢下的布局却只有23个。这个差距在统计上很显著。
精度与推理的分界线:接触,不是脑子,才是瓶颈
HexaShell在整体排行榜上拿了第一。但这个“第一”背后藏着一道清晰的分界线,值得仔细看看。
论文给RoboDojo的42个任务按“需要什么样的身体接触”分了六类:刚性物体抓取摆放、推拉滑动、精密插接、关节物体和工具使用、可变形或流体物料,以及物体自主运动的场景。又按“除了物理动作之外还需要什么样的判断”分成三类:纯几何判断、符号语言类判断、记忆类判断。
把这两套标签交叉起来看,一个很清楚的规律浮现出来。
推拉类任务,HexaShell的成功率是92.5%,记忆类任务是81.0%,但精密插接类任务只有32.0%左右,这个数字背后是七分之十二的插接任务直接是0分。
这事并非偶然。精密插接要在零件和孔洞之间对齐到几毫米甚至几度,而HexaShell倚仗的偏偏是不带深度信息的RGB三角测量。头部摄像头拍下的画面里,一个像素落到实际桌面上大约对应2到3毫米。这个精度水平抓积木够用,可换成插钥匙孔,一个像素的偏差就足以让整个插接动作差之毫厘、谬以千里。
更棘手的是,插接时机械手往往已经攥着零件,还得去观察孔洞和零件之间的相对位置,这时候想再腾出一个干净视角做第二次三角测量,很难。论文拿“倒液体到杯子”当例子:成功率从别的条件下的59%到95%,直接跌到0%到10%。原因在于倒液体要量准杯口边缘,而没有深度信息,这个测量本身就太弱。
这条分界线也体现在失败的方式上。论文分析了268次失败案例的具体原因,发现不同类别的任务,失败的“性质”完全不同。
在可变形物料、关节物体和刚性任务上,60%到77%的失败是步数预算耗尽所致:机器人其实清楚自己没做对,一直在试着纠正,可步数用完了仍未成功。可见它知道自己失败了,卡住的是动作执行这一环。
记忆类任务则是另一番情形:一半的失败来自智能体主动宣布完成,随后检查程序判定它其实没做对。它以为复现了之前的状态,实际并没有。这暴露出视觉语言模型一个已知的短板:对细微视觉差异的判断力不够,任务究竟有没有完成,它自己的判断不够可靠。
两种失败,性质截然不同。前者说的是“手不够巧”,后者说的是“眼神不够准”。搞清一次失败属于哪一种,对下一步该优化哪个环节,意义完全不一样。
这也对应着一个更大的反差:论文整理的对比里,学习型策略模型中排在最前的VPP2,在精密插接任务上反倒比HexaShell做得好(28.1%对32.0%左右,数字因测试条件略有出入,但趋势明确),在可变形物料任务上也明显更强(49.4%对33.3%)。两类系统的能力图谱是互补的:学习型策略靠大量示范数据练出了对精细接触的“手感”,写代码摸索出来的工具擅长的则是能用几何测量搞定的事;一旦涉及需要连续微调的精密接触,代码工具就露怯了。
说到底是这么个朴素的道理:写代码能解决的,是那种“测量清楚了,照着算出来的轨迹走一遍就行”的问题。可插钥匙孔这种事,真实世界里人手怎么做?通常不是提前规划一条完美路径一插到底,而是手指头插进去的过程中不断感受阻力、微调角度。这是一种边接触边调整的能力,论文称之为“实时感知接触并修正动作”,而非“提前规划好再执行”。眼下的HexaShell,工具都是提前测量、提前规划,一旦开始执行就不再依据接触反馈实时调整。这也正是作者在结论部分给出的下一步方向。
从仿真搬到真实机械臂,改动有多大
验证一套系统有没有“水分”,最直接的办法是看它能不能脱离仿真环境,放到真实的硬件上跑起来。
HexaShell团队真把这套系统搬上了真实的实验台。台子上架着两只PiPER X机械臂,布局照着RoboDojo仿真场景来,摄像头用的是经过标定的真实RGB设备。
这里有个细节:仿真里跑的机械臂型号是ARX X5,真机换成PiPER X,两者是完全不同的硬件。
整个迁移只对机械臂型号做了一处小改动,感知工具和执行工具基本原样搬了过去。论文给出两个真机成功案例:一个把三块积木叠成塔,另一个把三个字母积木沿一根横杆排齐。
迁移之所以这么省事,是因为这些工具从设计起就严格只依赖"任何真实机器人都会具备的输入"——彩色图像、摄像头标定参数、机械臂自身的关节和末端位置。
没有哪个工具偷偷用仿真环境才有的"上帝视角"信息,比如物体的真实坐标、任务配置文件里写死的尺寸。论文提到,RGB工具开发完之后,团队还做了一次全面审计,把每个启用工具里的数字常量逐一对照任务定义文件核查,结果发现七个任务的工具里藏着写死的物体几何尺寸,比如固定的零件大小、模板形状。查出来之后,这七个任务的工具被要求全部换成任务执行过程中实时测出来的数值,再重新测试,成功率全部归零。
这个细节挺坦诚。它说明哪怕设计初衷是"只依赖真实可获得的信息",开发过程中还是很容易混进仿真环境特有的"作弊信息"。团队选择主动把这些漏洞揪出来、修正,并如实报告修正后成功率归零,而不是把审计结果压着不说。
好比练盲拧魔方,训练时偷偷瞄一眼颜色排布,哪怕只瞄一次,练出来的"手感"里就掺了作弊成分,真蒙眼上场时这部分虚假自信立刻露馅。HexaShell的审计相当于主动检查自己有没有偷瞄,发现偷瞄了就老老实实把这块能力清零重来。
写在后面
读完论文,最让我意外的不是46.9%这个数字,而是从22.5%到46.9%的那一跳。同一个模型,同样没看过任何机器人演示数据,仅仅把"给AI一套固定的决策接口"换成"给AI一套几乎不做决策的薄壳",成功率就翻倍还多。
这说明限制当前这一代大模型表现的,很多时候不是能力本身,而是我们套上去的那层"保护壳"太厚、管得太多。背后的问题值得琢磨:设计人机协作系统时,我们是不是经常高估"多帮AI一把"的价值,低估"把决策空间还给它"的收益?
论文里深度估计网络在手腕摄像头上误差高达10厘米的数据,也让我重新想了"伪装成技术进步的技术依赖"这回事。深度估计网络看着更"高科技",一张图直接出深度图,比老老实实用两个摄像头做三角测量酷得多。可面对真实世界的精度要求,炫酷的黑箱方法输给了朴素的几何学。
还有个细节我反复琢磨:精密插接任务里,那个"插进去一半因为路径被挡住就直接放弃"的案例。优化智能体诊断出问题后做的修复,其实只是让机器人在路被挡住时回头检查原路径是不是还能走,而不是立刻认定此路不通。
这个修复听着特别小,却折射出更普遍的教训:很多AI系统的"保守"失败,根源不是能力不够,而是过早放弃了本来可行的选项。这跟人遇到困难时容易过早下"做不到"的判断,是不是有点像?
论文还留了一个没解决的问题:怎么让机器人在接触发生的过程中实时调整动作,而不是提前规划好一条路径再一插到底。这事说起来容易,做起来牵涉的可能不只是多加几个传感器,而是整个"先测量后执行"的范式本身要不要重新设计。如果有一天,写代码的AI真学会了像人手一样,一边插钥匙孔一边感受阻力调整角度,那时候它还会不会被称作"写代码的AI"?