联合宇树！中国电信孵化的具身公司，打造了一套人形机器人新考题
机器人前瞻（公众号：robot_pro） 作者 | 刘俐杉 编辑 | 许丽思 机器人前瞻11月9日报道，近日，伽马智能与TeleAI（中国电信人工智能研究院）联合宇树推....
机器人前瞻（公众号：robot_pro） 作者 | 刘俐杉 编辑 | 许丽思
机器人前瞻11月9日报道，伽马智能与TeleAI（中国电信人工智能研究院）联手宇树，推出了一套名为LocoManiLab的测评框架，专门面向人形机器人的移动操作，做法是把评测标准统一起来。
这套框架的特别之处，是把策略模型和全身控制器分成两层来看，再搁进同一个标准里综合打分。说白了，大脑要测，全身控制器也要测。
框架里装了五类家庭空间、13个场景实例和234项任务，其中102项是原子任务，132项是组合任务。测试本体统一用宇树G1人形机器人和Dex3灵巧手。在任务相同、机器人配置也相同的前提下，研究人员既能横向比较不同策略的表现，也能进一步看控制器如何影响机器人的执行效果。
团队拿12个策略模型跑了一遍测评。结果发现，模型一旦换到新任务、新场景，成功率普遍往下掉。XR-1在见过的任务上平均成功率达到80.2%，到未见任务就掉到25.2%，换成未见场景更是只剩8.2%。
域随机化测试里，视觉扰动强度较低时，XR-1在原子任务和组合任务上都领先。但扰动升到中、高强度，DM0.5反而更稳，成功率都更高。原子任务遇到较高强度扰动时，π0.5的平均成功率也超过了XR-1的70.5%。
一、搭一个统一测试环境，厨房、客厅等家庭场景都覆盖
移动操作并不是把移动能力和抓取能力简单拼到一块。
拿开冰箱来说，机器人得先走到冰箱跟前，把身体位置调好，再伸手抓住把手，把门拉开。门一开，状态变了，下一步该抓哪儿也跟着变。
这一串动作里，双腿怎么走、身体怎么保持平衡、手臂怎么操作，彼此要配合。机器人面对的不是几个互不相干的动作。
LocoManiLab先从任务和场景下手，给人形机器人搭起一套测试环境，覆盖多种日常操作。
这套框架包含五类家庭空间、13个场景实例，厨房、客厅、卧室、浴室和办公室都在其中，还有两个仿真场景是从真实场景构建出来的。
102项原子任务用来测单项技能，走近、开门、抓取、放置这些基本能力都归在这里。
剩下132项组合任务，把多个动作串成更长的任务链，看机器人在移动和操作之间能不能一直接得上。
数据方面，LocoManiLab支持用VR遥操作采集示范动作，仿真环境和真实机器人的全身动作都能采，还能靠运动合成和轨迹增强把训练数据扩充起来。
平台采集了14160段仿真遥操作数据，累计51.5小时；真实机器人的遥操作数据也采了约9小时。
▲人形机器人运动操控系统的比较
每段示范都会记下机器人第一人称视角的图像、语言指令、动作指令和实测状态，后续策略训练就靠这些数据打底。
在这个基础上，LocoManiLab集成了12种策略模型，视觉-语言-动作模型（VLA）、世界动作模型（WAM）和模仿学习基线模型都在其中。
这些模型根据图像、语言指令和机器人状态生成动作，再交给全身控制器去执行。
同样的动作意图，换一种身体执行方式会有什么差别？控制器评测里，两个有代表性的VLA策略分别接上五套全身控制器：SONIC、AMO、HEFT、ALMI和ScaleBFM。
平台用数据适配器把策略模型和控制器连起来，指令执行流程也做了统一，控制频率为50Hz。
硬件上，LocoManiLab用的是宇树G1人形机器人，配两只Dex3-1灵巧手。整套系统有29个身体关节和14个手部控制目标，移动、伸手、操作物体都在同一台机器人本体上完成。
二、分层看策略模型与全身控制器的表现
任务、数据和机器人本体统一之后，LocoManiLab把评测分成两块：策略模型和全身控制器。
分开评有讲究。光比策略，看的是谁更会读懂任务、安排动作；把控制器也放进来比，才能回答同一个动作意图换一副身体还能不能稳稳执行。
先看策略模型。
研究团队让12种策略模型共用同一套SONIC全身控制器，尽量把身体执行条件拉平，重点比各模型在理解任务、规划动作和完成任务上的差异。
▲策略模型评测
考题里既有训练时见过的任务，也有没见过的任务和没见过的场景，看机器人在新环境、新任务面前怎么应对。
域随机化测试同样被纳入平台。场景纹理、光照、相机条件都能改，还能加干扰物，用来观察视觉环境一变，机器人还能不能把任务做完。
▲LocomaniLab的域随机化示例
再看全身控制器。
研究团队挑了GR00T N1.7和π0.5两种VLA策略，各自接上5种全身控制器，在浴室场景里跑5项原子任务和5项组合任务。
这一轮不只看任务成功率，还记录机械输出功率、足部打滑、跌倒率、身体关节目标变化率和相对完成时间。
▲两种上层策略搭配五种全身控制器的多指标雷达图
这些指标从不同侧面反映执行质量。任务完成了，动作也可能不稳，足部也可能打滑，机械功率还可能偏高。
所以成功率单独看不够。任务结果和身体运动状态一起看，才能更清楚机器人离实际应用还有多远。
三、12个策略模型对比：陌生场景成功率普遍下降
主实验里，12个策略模型统一用SONIC做全身控制器，比较它们在见过任务、未见任务和未见场景中的表现。
结果显示，现有模型在熟悉任务上表现相对好一些，一旦换到新任务、新场景，成功率普遍往下掉。
以XR-1为例：见过任务上平均成功率80.2%，未见任务降到25.2%，未见场景进一步跌至8.2%。
▲测试结果
不同策略的强项也会随测试条件变化。XR-1在见过任务和未见任务上领先，DM0.5则在未见场景中成功率最高，达到15.5%。
域随机化测试也出现类似变化。
视觉扰动强度较低时，XR-1在原子任务和组合任务上都领先，成功率分别为90.0%和71.1%。
▲域随机化测试结果
扰动一加强，DM0.5反而更稳，在中、高强度扰动下都拿到更高的成功率。
原子任务这一项，π0.5 的成功率下滑幅度同样比 XR-1 小；扰动强度拉高之后，它反倒以 78.8% 的平均成功率超过 XR-1 的 70.5%。可见某个模型在单一测试条件下领先，不等于它在各种环境里都能守住优势。团队设计这些组合预设，就是想看策略在场景外观、光照和相机条件一起变动时，还能不能把任务成功率撑住。
全身控制器这边的测试还说明另一件事：任务成功率没法完整反映机器人身体执行得好不好。拿 GR00T N1.7 的原子任务测试来说，ALMI 的成功率最高，可它成功的那些回合里，跌倒次数比 SONIC 多。
SONIC 在两种策略、两类任务的成功执行过程中机械输出功率最低，不过有些对比里，别的控制器任务成功率更高。这些结果指向一点：光看任务完成度，选不出该用哪个执行控制器。成功率接近的配置，功耗、稳定性和动作质量上可能差得不小。
研究团队还把仿真测试和真机测试对接了起来，在宇树 G1 上设计了与仿真接近的真实任务，看仿真里的相对表现能不能在真机上得到呼应。
宇树 G1 上安排了三项任务：打开冰箱、把物品从货架搬到桌面、处理传送带上的箱子，仿真环境里也设了对应任务。
上图显示，XR-1 在仿真和真机中的表现都排第一，GR00T N1.7 第二，Fast-WAM 第三。
结语：统一评测平台已搭起，覆盖范围与部署条件仍有局限
具身领域发展很快，行业对机器人的要求已经不只是能做出动作，更看重它能不能在不同条件下稳定把一件事做完。LocoManiLab 给人形机器人的移动操作搭了一个统一测试平台，把家庭任务、遥操作与生成的演示数据、策略训练，以及仿真和真机评估串在了一起。
实验既看了策略的泛化能力和控制器性能，也探究了数据规模与微调带来的影响。但这套测评框架在覆盖范围和部署条件上仍有短板。
眼下的评测基本集中在室内家庭和办公任务，真机硬件研究只涉及三种策略，任务也只有开冰箱、搬运杯子和处理传送带箱子这几项，而且每种策略的每个任务只测了 10 次。
往后，测评框架既要覆盖更多模型、活动和环境，也得增加测试重复次数、扩大真机验证规模，这些测试结论的准确性才谈得上真正验证。
