拧螺丝不必一次完美：浙大团队用图算法让机器人从失败中学习
精细操作很难一次成功，传统行为克隆往往丢弃包含局部有效动作的失败轨迹。浙江大学沈春华团队联合中国电信人工智能研究院提出 GR-BC 方法，通过构建状态图连接多次尝试，反向搜索计算进度并加权训练。在显卡插装等四项真机任务中，平均成功率达 91%，比基线高出 27 个百分点，证明了从“不完美数据”中挖掘价值的可行性。
拧螺丝的困境：为什么完美示范这么难？
拿一把螺丝刀拧紧一颗螺丝，听起来是个人都能干。但如果你真的去观察一个熟练工，或者更极端一点，观察一个正在学习这项技能的遥操作机器人，你会发现过程远没有想象中那么线性。
实际操作中，手往往会抖一下，螺丝刀滑出槽口，或者角度稍微偏了一点。这时候，操作者需要退出来，重新对齐，再试一次。对于人类来说，这是肌肉记忆的一部分；但对于依靠数据训练的机器人而言，这些“犹豫”、“回退”和“重试”往往是噪音。
目前的机器人学习范式，尤其是视觉语言动作模型（VLA）的行为克隆（Behavior Cloning, BC），通常假设我们拥有一条从头到尾都丝滑完美的示范轨迹。如果数采员（无论是人还是远程操作员）在采集数据时出现失误，导致任务超时或碰撞，整条轨迹往往会被标记为“失败”并丢弃。即便这条失败轨迹的前半段对齐得非常漂亮，后半段只是因为手抖而失败，那些有价值的“前半段”经验也随之消失。
这就带来了一个尴尬的局面：为了得到一条完美的训练数据，我们需要花费大量时间反复重试，直到偶然获得一次“幸运”的成功。这不仅效率低下，而且浪费了绝大多数包含局部正确信息的尝试。
浙江大学沈春华团队联合中国电信人工智能研究院（TeleAI）及伽马智能白辰甲团队，在最新被 CORL 2026 接收的工作《Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation》中，提出了一个反直觉的思路：既然完美的轨迹很难得，不如把不完美的轨迹连起来看。
他们提出的方法叫作 Graph-Reweighted Behavior Cloning（GR-BC）。核心逻辑是：一条更好的成功路径，未必完整存在于某一次单独的示范中，但可能隐藏在多次尝试之间的连接关系里。通过构建一张“经验图”，算法可以在图的层面找到从当前状态到成功终点的最优路径，并据此指导机器人学习哪些动作是值得模仿的，哪些是需要忽略的。
把散落的经验拼成一张图
要理解 GR-BC，首先得解决一个问题：怎么判断机器人当前做得好不好？
在传统方法中，我们通常只看最终结果：成功了就是好，失败了就是坏。但在精细操作中，进度是一个相对概念。比如插内存条，你虽然还没插到底，但如果金手指已经对准了插槽入口，这显然比完全对不准的状态要“好”。
GR-BC 的第一步，就是把分散在不同次尝试中的状态点连接起来，形成一张图。这张图里的每一个节点，代表机器人在某个时刻的状态。为了准确描述这个状态，团队使用了冻结的 MCR（manipulation-centric representation）视觉编码器，提取三个相机视角的图像特征，并结合夹爪的物理状态，共同编码为节点向量。
接下来是关键的一步：连边。图中有两种类型的边，它们定义了状态之间的转移关系。
第一种是时间边。它连接同一次轨迹上按固定间隔采样的相邻节点。这条边的代价等于跨越的帧数。这意味着，在图上沿着时间边走，距离就对应着真实的物理时间。这很直观，因为机器人多花一秒，成本就增加一分。
第二种是相似边，这也是 GR-BC 的精髓所在。它负责把不同次、甚至不同人的独立轨迹桥接起来。想象一下，第一次尝试在第 50 帧时螺丝刀对准了槽口，但随后滑脱了；第二次尝试在第 30 帧时也达到了同样的对准状态，并且成功拧入。如果没有相似边，这两次尝试是孤立的；有了相似边，算法就能发现：“嘿，第 50 帧的状态和第 30 帧的状态几乎一样，既然第 30 帧之后能成功，那第 50 帧之后理论上也能成功。”
为了确保这种连接的可靠性，建立相似边需要同时满足三个苛刻条件：
- 在每个相机视角中，两个状态互为 K 近邻（视觉上看起来很像）；
- 夹爪的物理状态一致（比如开合程度相同）；
- 按局部尺度归一化后的距离小于阈值。
这里的“局部尺度”是个巧妙的细节。它使用该节点相邻一次转移的视觉距离作为归一化基准。这样做的好处是，无论任务是大动作还是微操，无论视角如何变化，阈值都能保持一致的物理含义，避免了因尺度差异导致的误连。
像导航一样规划“剩余步数”
图建好了，接下来怎么用？
GR-BC 借鉴了强化学习中 cost-to-go（到达目标的代价）和图搜索的思想。它的目标是将抽象的“进度”转化为一个具体的数值：从当前状态出发，沿着已有数据支持的路径，到达成功终点还需要多少步？
一旦图构建完成，算法会从所有成功的终点节点出发，执行反向 Dijkstra 搜索。这就好比在地图软件里，以目的地为起点，反向计算地图上每个点到目的地的最短路径。搜索的结果给出了每个稀疏节点到成功的最小图路径代价，也就是“剩余步数”。
然而，VLA 模型的训练需要稠密的监督信号，即每一帧都需要有一个对应的进度标签。而图搜索只给出了节点上的值。为此，团队通过线性插值，将这些稀疏的节点值铺满到每一帧，从而生成与 VLA 训练节奏对齐的稠密进度信号。
这个进度信号被称为图检索进度（Graph-Retrieved Progress, GRP），取值范围在 0 到 1 之间。1 代表成功终点，0 代表起始状态或死胡同。
既看进步，也防倒退
有了进度信号，是不是直接拿来训练就行了？没那么简单。
在实际操作中，机器人可能会出现“进两步，退一步”的情况。比如，它先把螺丝对准了（进度增加），然后手抖了一下又歪了（进度减少），最后又调整回来。如果只看最终的净进展，可能会忽略中间的不稳定；如果只看瞬时变化，又可能被噪声误导。
GR-BC 设计了一套双重检查机制，来决定每个动作片段的训练权重：
- 净进展检查：动作块结束时的进度减去开始时的进度，必须超过某个阈值。这确保了这个动作总体上是向着目标靠近的。
- 回退检查：动作块内部的最大回退幅度不能超过限制。这防止了那些剧烈震荡、极不稳定的动作被赋予高权重。
只有同时通过这两道检查的动作片段，才会获得一个有上下界的正权重。其他片段，无论是原地踏步还是严重倒退，权重都被设为零。
这个权重直接乘在原有的 VLA 监督损失函数上。这意味着，架构本身不需要任何修改。对于那些权重为零的片段，它们不会贡献梯度，相当于模型在训练时“忽略”了这些糟糕的操作。但这些状态依然保留在图中，作为后续搜索的路径节点。
这种设计实现了一个理想的效果：在无外界干扰的情况下，策略学会丝滑地完成精细操作；而在有外界干扰（如人为推搡、物体滑动）的情况下，策略因为见过各种“回退”和“修正”的路径，能够自主调整并展现出恢复能力。
迭代回流：让新经验改变旧价值
GR-BC 不是一个静态的系统，而是一个动态迭代的闭环。
每轮训练执行后，新收集的数据——包括成功的、失败的以及人工介入纠正的轨迹——都会被加入数据池。系统会扩展原有的图，重新进行反向搜索，并更新所有动作片段的权重。然后，利用更新后的权重离线训练下一轮的策略。
这个过程最有趣的地方在于，新经验的加入可能会改变旧片段的学习价值。比如，原本某条轨迹被认为是“死路”，但随着新数据的加入，发现它可以连接到另一个新的成功路径上，那么这条“死路”瞬间就变成了有价值的“捷径”。这种方法无需额外训练奖励模型或进度预测器，完全依赖图结构的自我演化。
真机实验：平均成功率 91%
理论再好，还得看疗效。团队在四项极具挑战性的精细操作任务上进行了真机实验：
- 四孔零件装配：需要将四个销钉同时插入对应的孔中。
- 显卡插装：将 GPU 插入 PCIe 插槽，这对齐精度要求极高。
- 双螺钉拧紧：同时拧紧两颗螺丝，需要协调双手或多次切换。
- 内存条插装：DDR4 插槽的开口仅约 1 毫米，对位置和姿态的对齐容错率极低。
主实验以 X-VLA 为骨干网络，所有方法都从相同的行为克隆检查点出发，以确保公平对比。
结果显示，GR-BC 在这四项任务上的最终成功率分别为 98%、93%、89% 和 83%，平均成功率约为 91%。相比之下，使用类 DAgger 的等权聚合基线方法，平均成功率仅为 64%。两者相差约 27 个百分点，这是一个巨大的提升。
为了验证方法的通用性，团队还在显卡插装任务上测试了 SmolVLA 和 π₀.₅ 两种不同的骨干模型。结果表明，GR-BC 在这些模型上均优于各自的基线，证明了该方法不依赖于特定的 VLA 架构，具有良好的兼容性。
除了成功率，团队还专门评估了 GRP 进度信号的质量。在固定评测的 30 条成功和 30 条失败轨迹中，GRP 在成功和失败终点的进度差高达 0.97，说明它能极好地区分成败。更重要的是，在局部偏离、重新定向和滑脱等情况下，GRP 的信号会出现明显的回落，检出比例达到 0.92。这意味着 GR-BC 不仅能判断结果，还能敏锐地捕捉到过程中的“退步”，这正是它能有效过滤噪声数据的关键。
结语：从“完美主义”到“实用主义”
在机器人数据采集领域，一直存在着一种“完美主义”倾向：认为只有干净、流畅、一次成功的轨迹才是好数据。这种观念导致了极高的数据采集成本和极低的数据利用率。
GR-BC 的工作揭示了一个更务实的观点：真实世界本身就是充满噪声和修正的。 人类的技能习得也不是靠背诵完美剧本，而是在不断的试错、回退和修正中形成的。通过构建图结构，GR-BC 将分散在多次不完美尝试中的有效经验拼接起来，让数据价值的判断从整条轨迹的成败，深入到了局部动作的实际贡献。
对于工业界而言，这意味着在面对毫米级插接、精密装配等高精度任务时，我们不再需要苛求操作员每一次都做到完美。只要记录下所有的尝试，包括那些失败的、中途纠正的，算法就能从中提炼出鲁棒的操作策略。这不仅降低了数据采集的门槛，也为机器人应对现实世界中的不确定性提供了新的思路。
目前，该工作的论文与代码已公开，为社区提供了一个高效利用非完美数据的新工具。随着更多研究者加入这一方向，或许未来机器人的“学习曲线”会变得更加平滑和高效。
