大晓机器人双脑协同：一次滑移如何变成可复用经验

11月6日，TechWeb消息。一次寻常的取杯任务里，机器人先找到水杯、规划好接近方向，抬起时却打滑了；随后它调整接触位置，重新抓取，把任务做完。站在使用者角度，事情到此为止。可对一套持续学习的具身智能系统来说，真正要追问的是：为什么会滑？这次调整在什么条件下管用？换一只杯子、换一副夹爪，甚至换一台机器人，这段经验还复不复用？

陶大程教授近日发布技术 Blog《一台机器人犯过的错，怎样让另一台少走弯路？》，核心就在这个问题上。他的观点是，机器人不能只留下日志和成功标签，应当把真实交互中管用的认识提炼出来、存下来，连同证据、适用条件和不确定性一起，再到新任务里去验证，让一次探索变成更多机器人共同的起点。

陶大程教授担任大晓机器人首席科学家，同时也是澳大利亚科学院院士、

下面梳理这份技术博客的内容：

从“完成任务”走向“积累能力”

单次滑移的成因可能有很多：杯壁状态、液体载荷、夹爪接触位置、初始定位误差等。只看一次，分不清是哪个原因。系统得把预测、实际动作和反馈串起来，靠补充观察、接触信息或者有针对性的试探来缩小不确定性；证据不够的判断，应当留作待验证的假设。

能迁移的经验，不是一句“这样抓能成功”，而是“在哪类物体和接触条件下、要观察什么信号、出现什么结果时调整动作、哪些情况仍判断不了”。它可以是可调用的技能，可以是可检索的经验记录，也能进入策略或世界模型。系统还得分辨哪些经历带来了新信息：重复已掌握的动作，和一次暴露判断缺陷的交互，学习价值并不一样。复用图的是缩小探索范围、少做重复试错，同时保留对新条件的判断力。

为什么需要“双脑”协同？

可靠行动要同时回答两件事：下一步做什么？在眼前的物理条件下，这一步可能带来什么结果？前一个问题涉及目标、计划与技能组织，后一个问题涉及状态、接触与动作后果。

大晓的方案里，云端大脑 SenseNova 负责理解任务、拆解目标、组织技能、选择方法，失败之后复盘目标是否合理、技能是否恰当、哪些判断要重新确认；端侧开悟世界模型负责物理状态理解、生成与预测，依据观测和交互历史判断物体位置、运动和接触状态，预测不同动作的后果，并保留不确定性。这样的分工跟资源与时延的差异对得上：任务推理需要广泛的知识、记忆和技能，放在云端便于共享更新；物理判断紧贴现场，放在端侧便于及时用上新观测和新反馈。

双脑协同的要害，是通过明确的接口交换目标、候选行动、预测结果和不确定性，让任务推理接受物理反馈，也让物理预测围绕任务需要展开。任务结束后，执行前的判断、预测、实际动作和结果一起构成复盘依据；预测与现实的偏差，能帮助判断问题出在状态理解、物理条件变化、技能选择还是执行偏差上，再决定是进经验记忆、调技能，还是做模型训练。

从模型协同到系统协同

模型判断要落成真实动作，还得靠具身 Harness 组织感知、记忆、技能库、三维重建工具和控制器。它维护任务状态，明确模块之间交换什么信息、何时调用、怎么处理反馈，让 SenseNova 的任务计划、开悟的物理预测和控制器的执行对上同一个任务阶段。

一个能稳定调用的技能，不光包含动作，还要说明适用夹爪、输入参数、执行条件，以及什么观测代表完成、什么信号意味着滑移或接触异常。执行层面，学习型策略生成动作参考，解析控制器完成位姿跟踪、接触调节和约束处理；较快的反馈在控制环里响应，影响任务推进的偏差则传回双脑重新判断。Harness 还要留下场景、本体配置、技能、预测、反馈和人工介入等可追溯依据，并让纠偏、复测和能力更新按不同节奏跑。

三个递进闭环

首先是把自主执行的回路搭起来，机器人在完成手头任务时会更稳。观测不断进来，系统据此刷新对状态的判断、修正计划，该补感知就补感知，该调恢复技能就调恢复技能。即便模型参数不动，这套回路照样能转，改变的是眼下的决策和执行，衡量指标可以看任务完成率、偏差发现与恢复所需时间、人工介入的次数。

第二个是经验学习闭环，让一次交互改善后续能力。系统从执行记录里挑出值得学的内容，分析它揭示了什么新条件、修正了什么旧判断，再以长期记忆、技能调整或者策略/世界模型训练等方式保留下来。检验的标准是收益能不能延续到后续任务：重复错误有没有减少，能不能用更少的示范和真机试验完成适配，拿到新技能时原有能力是否还在。

第三个是递归自我改进闭环，让获得能力的方法本身也持续优化。哪些失败最值得查、下一批数据采什么、训练方法有没有效、同样的真机时间怎么换来更多能力收益，这些都要研发智能体参与提出假设、设计实验、比较方案。世界模型和校准仿真可以帮忙比较，真实任务负责确认兑现。验证它需要更严格的对照：流程是不是更快拿到可靠能力，人工、计算和设备时间有没有减少，收益能不能跨轮次出现。

真机与仿真：把真机时间用在关键问题

真实交互为物理理解提供依据，也暴露出模型还没理解的条件；仿真则扩展探索、比较方案，把有限的真机时间用在最需要确认的问题上。三维重建提供几何信息，世界模型学习状态变化，物理仿真器提供可重复的实验环境，但这些都得用真实记录来校准。对暂时定不下来的物理属性，可以保留与证据相容的参数范围，检验不同取值对任务结果的影响。

Real2Sim2Real 循环由此展开：真实交互提供证据，模型与仿真建立并修正物理认识；仿真扩展练习、比较候选方案，暴露待确认的问题；筛选后的方案回到真实任务里检验。评价世界模型或仿真，要看它能不能区分候选方案的优劣、预见关键的接触失败、让仿真里的改进在真机上兑现，以及减少达到同等能力所需的真实交互。验收还要保留独立的真实任务与条件，并把新增数据、人工、计算、设备占用和恢复时间等总成本算进去。

走向具身智能的“Transformer时刻”

文章最后落到同一个目标上：机器人在真实交互里攒下的经验，要能变成更多任务、更多本体都能复用的基础。Transformer 带来的启发是，一套共享的基础架构可以撑起多种能力，还能不断往外扩；具身智能想走的也是这条路，形成广泛可复用的共同底座，让不同任务和本体共享已经验证过的物理认识。不过物理世界更难对付，这个底座既要接上可共享的物理关系，也要接上各自不同的执行条件，帮系统判断什么时候该复用、什么时候得重新观察、重新学习。

世界模型被看作其中的核心一环：物体怎么动、接触怎么改变状态、动作可能带来什么后果，这些认识能给规划、控制、仿真和学习提供共同依据。要检验的东西也不少——同一套核心机制放到更广泛的独立任务上，能不能持续获益；换一个新本体，适配所需的数据和工程投入能不能降下来；模型工具更新之后，已经验证过的技能和经验还能不能继续起作用；掌握相关新能力所要花的真机时间、人力和计算成本，会不会随着经验积累而下降，同时已有能力还保持可靠。

再回到最初那只水杯：一次滑移，可能暴露出还没弄懂的接触条件；一次调整，可能给出一个值得检验的恢复办法。双脑协同想建立的正是这样一条路径——任务推理和物理预测靠真实反馈互相校正，执行中得到的认识经过验证进入后续学习，学习和研发方法也随之持续改进。让一台机器人付出的探索，替更多机器人省下重复试错的代价，这是大晓双脑协同试图推动的进步。