BRACE让操作员远程操控人形机器人:先改参考轨迹,再训练
你有没有想过这样一个场景:一个人坐在舒适的办公室里,戴着动捕设备演示怎么推一辆购物车,而千里之外的人形机器人正站在一个有坡度的仓库地面上,手里还真的推着一辆实体购物车。操作员的身体感受不到坡度的存在,他的双脚踩在平地上,手上也没有真实的推力反馈。但机器人要承受这一切:坡会让它往后倾,车的阻力会让它的...
设想一下:操作员坐在舒服的办公室里,戴着动捕设备演示推购物车的动作;千里之外,一台人形机器人站在带坡度的仓库地面上,手里推的是真实购物车。
操作员的双脚踩在平地上,身体感觉不到坡度,手上也没有真实的推力反馈。机器人却要承受这一切——坡面让它往后倾,购物车的阻力给手臂带来扭矩,脚下的平衡随时可能被打破。这中间隔着的不只是上千公里,而是两个世界截然不同的物理现实。
这正是BRACE要处理的问题。
问题到底难在哪?先看现在主流的做法:人形机器人学习动作,主流路线是整体运动追踪。
这套方法火起来,原因是数据便宜。动捕设备和网络视频能批量产出人类动作轨迹,喂给模型反复练,练得越多,机器人的动作就越自然,SONIC、TWIST2都是这条路上做得不错的工作。不过录下来的动作轨迹有个天生的缺陷:录制现场永远是平地,演示者永远两手空空。
现实里机器人要干的活恰恰相反。搬一箱货物得承重,拧一个阀门得出力,顶住一扇门要扛住反作用力,这些任务本质上都是机器人和环境之间在交换力和力矩,专业说法叫[[保留1]]那现有研究怎么应对?论文讲得很直白:现有控制器只解决了一半问题。
力旋量
一类叫力感知控制器,UNIFP、FACET属于这类,它们能让机器人的手末端输出指定的力,代价是放弃全身姿态的精确控制——身体其余部分怎么摆,交给控制器自己算,操作员说不上话。
另一类叫地形自适应追踪器,Any2Track是代表,它们能让机器人感知脚下地形的变化,靠proprioception([[保留2]])推断坡度并调整步态,但它们把外力当成要消除的扰动,而不是要主动完成的任务指标。有人推它一下,它的任务是不被推倒,而不是主动去推开对方。
本体感知
把这两种能力叠加进同一个全身动作追踪系统,难在哪?论文作者给出了一个很关键的洞察:指令本身互相打架。
要让机器人产生推力,传统做法是把手末端往前挪一点,靠身体的弹性形变产生反作用力。可如果只动手、不调整身体其他部分来配平,反作用力一到,机器人当场就会失衡。更麻烦的是,追踪奖励函数本身会惩罚这种偏离——它的目标就是让机器人尽量贴近原始参考轨迹,而原始轨迹里压根没有"手往前凸出去一点"这个姿态。
地形的问题同理。操作员踩在平地上,给出的脚部落点坐标和躯干高度放到坡地上就是系统性错误——脚应该抬得更高,躯干高度应该跟着坡面走。原始轨迹里完全没有这些信息,目前也没有任何数据集记录"同一段动作在不同地形上该怎么调整",所以这个修正没法靠纯数据驱动的方式直接学出来。
这就是整篇论文要解决的核心矛盾:怎么让一套系统同时理解"该出多大力"和"脚下是什么地面",又不让这两件事互相拆台。
解法是:先改参考轨迹,再训练。BRACE全名Body Reference Adaptation for Contact and Elevation,直译过来是"面向接触和地势的身体参考调整"。
它的核心思路和多数人的直觉方向不一样。多数人可能会想,既然问题出在训练奖励函数上,那就在奖励函数里加几条规则,告诉模型"遇到坡要抬腿""遇到阻力要前倾"。BRACE选了一条更干脆的路:不去修训练过程,而是先把输入的参考轨迹改好,让模型从头到尾学的都是一条已经包含"该怎么应对地形和力"的正确轨迹。
好比给一个新司机规划路线。路线图是按晴天画的,实际开车那天却下大雨——与其让司机凭经验在雨里瞎试错着调整开法,不如提前把路线图改成雨天版本,告诉他这段该减速、那个弯要提前打方向。司机只管专心照改好的路线开,不用自己判断"现在是不是该因为下雨而偏离原计划",因为计划本身已经把雨天算进去了。不这么做的话,司机就得同时处理"按原计划开车"和"天在下雨"两件相互矛盾的事,稍不留神就会判断失误。
具体说来,“改路线图”分作两步走:一步管地形,一步管力。
地形调整这块比较直白。拿到一张
高度图
系统让每个落脚点的水平位置原封不动,只把落脚高度提到贴住地面的位置;躯干高度随地面起伏,脚的朝向顺着地面法线转,躯干朝向则继续沿行进方向不变。这步完成后,再上一个全身
逆向运动学
脚、躯干、上身三处的调整被揉成一个合理的整体姿态,这就是地形调整后的参考轨迹。
力的调整就麻烦多了,论文把它拆成三个步骤。
头一步是可行性限制。机器人手臂要出多大力,不能凭空设想,得先算出这个力对应的关节扭矩;一旦超出关节马达的承受上限,这条指令本身就不现实。系统会把过大的力和力矩按比例压进安全范围,压缩比例由γ(0到1之间的系数)控制。有个细节:力和力矩共用同一组手臂关节的“预算”,并不分开算,说到底它们都靠同一组关节马达去实现。
好比一个人一手拎桶水、一手拧瓶盖,两件事看着不同,耗的却是手臂和手指同一批肌肉的力气。胳膊一旦用到极限,拎水和拧盖就得互相让步,没法当成两件不相干的任务各自满足。
第二步是手部引导。要产生某个指定方向的力,手末端得朝那个方向偏一点距离,偏移量不能随便定,而是靠一个
弹簧阻尼模型
算出来的。偏移的方向和幅度,直接对应手臂关节原有的刚度和阻尼参数,如此才能保证手真移到那个位置后稳稳输出目标力的大小,而不是算个数字凑合。
第三步是重心配平。手上使劲,脚底就会多出一个翻转力矩。可以想想推一辆很重的购物车:身体不往前倾一点去对抗,人很容易被车反推得往后仰倒。系统会算出该往哪个方向、挪多远来调整身体重心,其中一部分配平量由脚底压力中心的自然移动吸收,剩下的才真正变成“身体前倾”这个动作,而这一部分里还有一半会分给手部目标共同承担。
地形调整的结果和这三步力调整的结果,要再过一次全身
三、两位老师,一个学生:分而治之再合二为一
轨迹调好了,接下来得训练出能执行这些轨迹的控制器。
论文的做法是设计两个专精的“老师”模型,再用一个学生模型把两者的本事蒸馏到一处。
第一位老师叫Teacher-E,管力的输出(E指Exertion,即主动施力)。它的学习目标是在仿真环境里主动产生一个指定的力。这里有个很巧的设计:空荡荡的仿真环境里,手末端移到目标位置后什么都不做,是不会真“产生”力的,因为没东西可推。于是系统引入了一个
虚拟力场
来模拟真实的接触反馈,让机器人真正练到“手往前伸多远,反作用力就有多大”这条物理规律。
第二位老师叫Teacher-C,管力的抵抗(C指Compensation,即力补偿)。它要做的恰好相反:仿真环境会在它手上随机施加大小、方向各异的外力(模拟被人推、负重拉),它得学会在这种干扰下尽量守住参考姿态不被带偏。这里用了个挺有意思的课程学习策略,思路借鉴另一篇论文FALCON:关节扭矩预算不是固定值,而是拿当前关节已经花在平衡和追踪上的扭矩去动态扣减,预算随时在变,逼着模型学会见机行事地分配力气,而不是死记一套固定应对方案。
两位老师各自练成,问题也来了:真实机器人部署时,没法预先知道地形
这就轮到第三步,也是整篇论文最精巧的一处设计:把两位“开了天眼”的老师蒸馏成一个只靠
这个蒸馏过程用的是
DAgger
算法,训练时用一个标志位在Teacher-E和Teacher-C之间来回切换,模拟真实使用中“刚才还在推车,突然要开始拧阀门”这类任务切换场景。
学生模型本身的结构也很讲究,分成三块。第一块是
流匹配
基础网络只盯着机器人最近25帧的本体感知历史,去推算“以眼下这具身体的姿态,接下来大致会怎么动”这个分布。为什么选流匹配、不直接回归出一个固定动作?同一个身体姿态下,“主动施力”和“抵抗外力”要做的关节动作可能正好相反,这属于多模态分布。硬用普通回归去学,模型会把两种相反动作取个平均,出来的是两头都不像的废动作。
第二块是任务编码器,把平地参考目标、任务模式标志(施力还是抵抗)以及具体的力指令揉成一个紧凑的“任务意图”向量。第三块是动作解码器,把前两块的输出融成最终真正执行的关节指令。
训练时另加了一个辅助估计头,逼模型从自己的内部表征里反推出仿真中当时真实的地形法线、外力大小、手部位置这些隐藏信息。这个辅助头只在训练阶段存在,作用是帮模型把“看不见的物理世界”编码进内部状态;部署到真实机器人上时它会被直接丢弃,机器人上线跑的只是前面那套纯本体感知的推理流程。
这套设计像什么?有点像新手厨师同时跟两位师傅学手艺:一位专教他怎么把菜做得够咸够香(主动调味),另一位专教他碰上食客临时改口要清淡时怎么及时调整(被动适应)。出师独立开店后,顾客既不会告诉他菜谱里原本的调料配比,也不会提前打招呼今天想吃清淡还是浓厚,厨师全凭端上桌后客人脸上的反应、凭自己手上的经验去判断火候轻重。要是没提前经历两位师傅各自极端场景的历练,面对真实厨房里混杂多变的要求,很容易两头都做不好。
四、实验结果:数字说话
论文在Unitree G1这台
力补偿测试(平地场景)里,无负重时各家表现都差不多,但随着每只手承受的外力从0逐渐加到20牛顿,其他方法的全局位置误差(
到了坡地上,差距被拉得更开。零负重时 BRACE 就已占先;负荷加到 20 牛顿,成功率领先幅度达到 22.9 个百分点,接近平地差距的两倍,全局误差则低 43%。基线方法的姿态看上去模仿得挺像(局部误差
力输出测试这边,基线方法能应付小力矩,但指令力度一增大就开始明显掉链子。平地场景下,指令力从3牛顿加到9牛顿时,SONIC的成功率跌了超过20个百分点,BRACE的成功率和全局误差几乎没有波动,在9牛顿时成功率反超HEFT 5.7个百分点,实际输出的力误差比最接近的基线低34%。
坡地加力输出的组合场景是四个场景里差距最悬殊的,BRACE的优势达到33.7个百分点,全局误差低42%,力误差低47%。这组数据说明的是:场景难度越叠加,BRACE的优势反而越明显,因为它本质上是把“该怎么应对复杂情况”提前写进了参考轨迹,而不是指望控制器在复杂情况发生时临场发挥。
针对旋转施力类任务的力矩(扭矩)测试也单独做过验证,拧阀门就是一例。无论平地还是坡地,BRACE 的力矩误差都比最接近的基线低 30% 以上。
五、落地应用:不只是实验室数字
BRACE不只停留在论文的仿真数据里,论文作者给出了几个真实落地的场景。
一是
二是跨地域远程遥操作。团队演示了两个相距约1000英里(约1600公里)的站点之间的实时遥操作,操作员在平地做出的动作,被BRACE实时转换成适应机器人当地地形的真实动作。
三是VR遥操作,通过PICO控制器配合
四是手柄交互模式,普通游戏手柄的摇杆输入经过
这几个场景合在一起,指向的是同一件事:操作者和机器人所处的物理环境完全不同时,差距该由谁补上?BRACE 的答案是不该让操作者去操心机器人那边的坡度和负重——这些信息根本传不过去,也不该靠操作者凭感觉去补偿,而应交给机器人自己,用本体感知把这件事悄悄处理掉。
写在后面
读完这篇论文,有一个细节让我反复想了很久:整篇论文解决矛盾的方式,不是让模型变得更聪明,而是让训练数据先变得不矛盾。
这个思路说起来朴素,却很容易被忽略。学习系统表现不好,人们第一反应往往是模型容量不足、训练方法有问题、损失函数该设计得更复杂。BRACE 提示的却是另一类问题:它本就不该指望模型自己去悟,因为交给它的训练目标本身自相矛盾,模型再聪明也无法同时讨好两个互相拆台的目标。先在数据层面把矛盾化解掉,再交给模型去学,反倒更干脆。这跟教育里先把教材改对、再谈“因材施教”的道理颇为相似。
另一点出乎我意料:论文中的几何力学计算——弹簧阻尼模型、重心配平公式——全是解析推导得来的,没有一行由神经网络学出。如今几乎什么都想塞进神经网络去学,这篇论文却把物理和几何的部分老老实实用公式算清楚,只把“如何在复杂又不确定的真实世界里稳定执行这些计算结果”留给神经网络。这种分工,或许才是人形机器人走向实用的必经之路。
设想有一天你站在家里,远程操控的机器人正在千里之外一个你从未去过的仓库里,踩着你从未感受过的坡度,搬起一个你从未摸过的箱子——它依赖的究竟是你给出的指令,还是它自己在那一刻的判断?这条边界,或许才是真正值得继续追问的问题。
Q&A
Q1:BRACE是什么?
A:BRACE 是一套人形机器人全身动作追踪系统。机器人只接收平地参考动作,就能自动适应真实坡地地形,并主动施加或抵抗指定的力。其核心思路是把地形和力的因素提前融入参考轨迹,再训练控制器去追踪。
Q2:BRACE和SONIC、Any2Track这些方法有什么区别?
A:SONIC 这类整体动作追踪系统,拿手的是模仿平地、不负重的动作;Any2Track 长于适应地形,可它把外力视作需要抵抗的干扰;HEFT 专攻负重,处理方式却偏静态。BRACE 不一样,它是首个把主动施力、抵抗外力、地形自适应这三样能力凑齐的系统,而且全程只用机器人自身的传感器。
Q3:BRACE 实际能提升多少?
A:论文给出的数据是,在高负荷、高地形坡度这些高难度场景里,跟最好的基线方法比,BRACE 的全局位置误差平均降了约 40%,任务成功率平均提高 18.25 个百分点。坡地上再加施力的组合场景,它的优势最突出。