大晓机器人“双脑协同”拆解：一次滑移如何变成可复用经验

11月6日，TechWeb披露了一个取杯任务的细节：机器人先找到水杯，规划好接近方向，抬起时却打了滑。它随后调整接触位置，重新抓取，把任务做完。对使用者来说事情到这儿就结束了，可对持续学习的具身智能系统来说，问题才刚开始——为什么会滑？这次调整在什么条件下管用？换一只杯子、换一副夹爪，甚至换一台机器人，这段经验还搬得过去吗？

陶大程教授近日发布技术 Blog《一台机器人犯过的错，怎样让另一台少走弯路？》，核心说的正是这件事：机器人不该只留下日志和成功标签，真实交互中得来的有效认识，连同证据、适用条件和不确定性，都要提炼、保存，再到新任务里去验证，让一次探索成为更多机器人的共同起点。

陶大程是大晓机器人首席科学家，也是澳大利亚科学院院士、新加坡南洋理工大学杰出教授。

下面是对这篇技术博客内容的梳理。

从“完成任务”走向“积累能力”

一次滑移，背后可能有好几种原因：杯壁状态、液体载荷、夹爪接触位置、初始定位误差等等。只看一次，分不清到底是哪一种。系统得把预测、实际动作和反馈串起来，靠补充观察、接触信息或者有针对性的试探来缩小不确定性；证据不够的判断，先留作待验证的假设。

能真正迁移的经验，不是一句“这样抓能成功”，而是“在哪类物体和接触条件下、要观察什么信号、出现什么结果时调整动作、哪些情况仍然判断不了”。它可以是可调用的技能，可以是可检索的经验记录，也能进入策略或世界模型。系统还得认出哪些经历带来了新信息：重复已经掌握的动作，和一次暴露判断缺陷的交互，学习价值并不一样。复用的意义，就是缩小探索范围、少做重复试错，同时保留对新条件的判断能力。

为什么需要“双脑”协同？

想可靠地行动，两个问题得同时答上来：下一步做什么？在眼前的物理条件下，这一步可能带来什么结果？前一个问题关乎目标、计划和技能组织，后一个问题关乎状态、接触和动作后果。

大晓的方案里，云端大脑 SenseNova 偏重理解任务、拆解目标、组织技能、选择方法，失败后复盘目标是否合理、技能是否恰当、哪些判断要重新确认；端侧开悟世界模型偏重物理状态理解、生成与预测，依据观测和交互历史判断物体位置、运动和接触状态，预测不同动作的后果，并保留不确定性。这样的分工对应着资源与时延的差异：任务推理需要广泛的知识、记忆和技能，放在云端便于共享更新；物理判断紧贴现场，放在端侧便于及时用上新观测和新反馈。

双脑协同的关键，在于用明确的接口交换目标、候选行动、预测结果和不确定性，让任务推理接受物理反馈，也让物理预测围着任务需要转。任务结束后，执行前的判断、预测、实际动作和结果一起构成复盘依据；预测和现实一有偏差，就能帮助识别问题出在状态理解、物理条件变化、技能选择还是执行偏差上，再决定是进入经验记忆、调整技能，还是训练模型。

从模型协同到系统协同

模型判断要变成真实行动，还得靠具身 Harness 来组织感知、记忆、技能库、三维重建工具和控制器。它维护任务状态，明确模块之间交换什么信息、何时调用、怎么处理反馈，让 SenseNova 的任务计划、开悟的物理预测和控制器的执行落在同一个任务阶段上。

一个能稳定调用的技能，不光包含动作，还要说明适用夹爪、输入参数、执行条件，以及什么观测代表完成、什么信号意味着滑移或接触异常。执行时，学习型策略生成动作参考，解析控制器完成位姿跟踪、接触调节和约束处理；较快的反馈在控制环里响应，影响任务推进的偏差则传回双脑重新判断。Harness 还要留下场景、本体配置、技能、预测、反馈和人工介入等可追溯依据，并让纠偏、复测和能力更新按不同节奏跑。

三个递进闭环

机器人先把当前任务做稳，靠的是一套自己跑起来的执行循环：不断拿到观测，据此修正对状态的判断、改动计划，该补感知就补感知，该调恢复技能就调恢复技能。整套循环不依赖模型参数发生变化，改的是眼下的决策和执行，效果可以看任务完成率、偏差发现与恢复时间，以及人工介入量。

第二个是经验学习闭环，让一次交互改善后续能力。系统从执行记录里筛出值得学的内容，分析它揭示了什么新条件、修正了什么旧判断，再以长期记忆、技能调整或策略/世界模型训练等方式保留下来。检验标准是收益能不能延续到后续任务：重复错误是否减少，是否用更少的示范和真机试验完成适配，拿到新技能时原有能力是否还在。

第三个是递归自我改进闭环，让获得能力的方法本身也持续优化。哪些失败最值得查、下一批数据采什么、训练方法有没有效、同样的真机时间怎么带来更多能力收益，这些都要研发智能体参与提出假设、设计实验、比较方案。世界模型和校准仿真可以帮忙比较，真实任务负责确认兑现。验证它需要更严格的对照：流程是否更快拿到可靠能力，人工、计算和设备时间是否减少，收益能不能跨轮次出现。

真机与仿真：把真机时间用在关键问题

真实交互给物理理解提供依据，也暴露模型还没理解的条件；仿真则扩展探索、比较方案，把有限的真机时间用在最需要确认的问题上。三维重建提供几何信息，世界模型学习状态变化，物理仿真器提供可重复的实验环境，但都得用真实记录来校准。对暂时定不下来的物理属性，可以保留与证据相容的参数范围，检验不同取值对任务结果的影响。

Real2Sim2Real 循环由此展开：真实交互提供证据，模型与仿真建立并修正物理认识；仿真扩展练习、比较候选方案、暴露待确认的问题；筛选后的方案再回到真实任务里检验。评价世界模型或仿真，要看它能不能区分候选方案的优劣、预见关键接触失败、让仿真里的改进在真机上兑现，以及减少达到同等能力所需的真实交互。验收还要保留独立的真实任务与条件，并计算新增数据、人工、计算、设备占用和恢复时间等总成本。

走向具身智能的“Transformer时刻”

文章最后落到一个共同目标上：机器人在真实交互里攒下的经验，要能变成更多任务、更多本体都能复用的基础。Transformer 给出的启发是，用一套共享的基础架构承载多种能力，并且支持持续扩展；具身智能同样希望形成一个广泛可复用的共同底座，让不同任务和本体共享那些经过验证的物理认识。不过物理世界更复杂，这个底座既要接上可共享的物理关系，也要接上各自不同的执行条件，帮系统判断什么时候该复用、什么时候得重新观察和学习。

世界模型被看作其中的核心环节：物体怎么运动、接触如何改变状态、动作可能带来什么后果，这些认识能给规划、控制、仿真和学习提供共同依据。要检验的东西有几项：同一套核心机制能不能在更广泛的独立任务上持续带来收益；换一个新本体，能不能少花适配数据和工程投入；模型工具更新之后，此前验证过的技能和经验还能不能继续起作用；还有，掌握相关新能力所需的真机时间、人工和计算成本，会不会随着经验积累而下降，同时已有能力仍然保持可靠。

回到最初那只水杯：一次滑移，可能暴露出还没弄清楚的接触条件；一次调整，可能提供一种值得检验的恢复办法。双脑协同想建立的正是这样一条路径——任务推理和物理预测借真实反馈互相校正，执行中得到的认识经过验证进入后续学习，学习和研发方法也随之持续改进。让一台机器人付出的探索，替更多机器人省下重复试错的代价，这是大晓双脑协同试图推动的进步。