陶大程：一台机器人犯的错，怎样变成其他机器人的经验？

最近，大晓机器人首席科学家陶大程教授发布了一篇技术文章，题为“具身双脑协同探索”。文章想讲清楚一件事：让一台机器人的探索为更多机器人提供依据，让今天得到的经验减少明天重复的试错。文中引用了一句话：“让后来者从前人止步之处继续。”这句话出自勒内·笛卡尔，原文为“by the last beginning where those before them had left off”。

一台机器人犯过的错，怎样才能让另一台机器人少走弯路？

拿一次平常的取杯任务来说：机器人已经找到水杯，也规划好了接近方向，抬起时却打滑了。它调整接触位置，重新抓取，最后把任务完成了。对使用者来说，事情到这儿就结束了；可对一个能持续学习的系统来说，真正值得追问的才刚开始：为什么会滑？这次调整在什么条件下管用？换一只杯子、一副夹爪，甚至换一台机器人，这段经验还能起多大作用？

一次失败只留下日志，一次成功只留下标签，类似的试错就会随着部署规模扩大，在不同设备、不同项目里反复出现。把交互中有效的认识连同证据和适用条件一起提炼、保存，再到新任务中去验证，真实经验才可能一步步积累成能力。

具身智能发展到今天，这个问题越来越绕不开。通用模型正在增强机器人理解目标、组织技能、处理复杂任务的能力；世界模型为预测动作后果、比较候选方案提供了新办法；感知与控制技术则让这些能力进入真实的物理过程。它们逐步连起来之后，我们有机会进一步追问：机器人能不能在完成任务的同时，让后续行动也变好？获得一项新能力的成本，能不能随着经验积累而降低？

真实交互与仿真在这里是互相补位的。真实世界能暴露模型还没理解的条件，为物理判断提供依据；经过校准的仿真可以扩展探索，帮系统比较方案，把有限的真机时间用在最需要确认的问题上。这个循环有没有价值，最终要回到真实任务里检验：预测是不是更可信了，失败是不是更容易恢复了，新场景是不是需要更少的重复试错了。

对中国具身智能产业来说，较为完备的制造与供应链体系、丰富的作业场景，为这条路径提供了重要机会。从生产线上的装配，到仓储中的搬运，再到复杂条件下的抓取，大量交互都可能揭示值得复用的物理关系。产业优势能不能进一步变成智能优势，取决于我们能不能把分散在设备与项目中的经验，变成能跨任务、跨场景、跨本体发挥作用的知识。

大晓的双脑协同，就是围绕这个目标展开的探索。按照陶大程的说法，团队希望把大脑 SenseNova 的任务理解、推理规划与能力组织，同开悟世界模型的物理状态判断和行动后果预测连接起来，再通过具身 Harness 组织感知、记忆、技能与控制，让真实反馈进入下一次判断，也进入后续能力的改进。

在陶大程团队看来，双脑协同要促成的是这样一种积累：一台机器人探索过的东西，能成为其余机器人的参考；今天攒下的经验，可以让明天少走一些重复的弯路。

一、从完成任务走向积累能力

一次抓取成功，想变成能反复拿来用的经验，系统还得往下追问：接触点选得对不对，夹得稳不稳，调整动作到底解决了哪个问题；等到物体换了、夹爪换了，这些判断还站不站得住。

同一次滑移，起因未必相同。杯身表面的状况、杯中液体让载荷发生的变化、夹爪落在什么位置，乃至一开始的定位误差，都会左右抓取的结果。只看一次，通常分不清到底是哪一种。系统得把先前的预测、真正执行的动作和拿到的反馈串起来，靠补充观察、能获取的接触信息或者有针对性的试探，一点点把不确定性收窄。证据不够的判断，也该留作待验证的假设。

经验以什么形式留下来，就取决于这一步。假设后面的验证表明，对某类物体和某种接触条件，抬升之前先做一次短距离试探，有助于判断抓握稳不稳，那么该留下的就包括：这项试探在哪些条件下适用，要盯住什么信号，出现什么结果就该调整动作，以及哪些情形仍然没法靠它判断。有了这样的认识，机器人在下一次任务里才选得出来。

真正能迁移的经验，是连证据带适用范围一起保留下来的认识。它可以落成一个能调用的技能、一条能检索的经验记录，也能通过训练进入策略或世界模型。形式不同，但都得把交互记录和后续行为的改善挂上钩。系统还要认得出哪些经历带来了新信息：把已经掌握的动作反复做一遍，和一次暴露原有判断缺陷的交互，学习价值可能差得很远。

换另一台机器人来做相似任务，过去的经验能帮它更快锁定值得一试的方案，也能提醒它哪些条件要先确认。比如对抓握稳定性的认识，可以为新任务提供参照，但具体的夹持力度、动作幅度和控制参数，还得结合新的夹爪、传感器和执行能力去适配。复用经验的意义，是缩小探索范围、少做重复试错，同时保留对新条件的判断力。

这种积累最后要落到后续任务上看。条件可比时，掌握了一项相关技能，再学下一项，需要的示范和真机试验会不会更少？换个物体或换种本体，适配是不是更快？遇到扰动，是不是更容易发现偏差并恢复？加了新能力之后，原有技能还靠不靠得住？这些结果能帮我们判断，系统是不是真的从过去的交互里得了益。

从完成任务走到积累能力，意味着机器人每得到一项经过验证的认识，都可能成为后面学习的起点。这样的起点越攒越多，系统就该能更有效地组织已有技能，也更有针对性地去探未知的条件。要把这条路铺起来，任务理解、物理判断、行动执行和经验学习得连成一体。

二、为什么我们采用 “双脑” 协同

机器人若想让过往经验真正服务下一次行动，得同时回答两个彼此牵连的问题：下一步做什么才能达成目标？在当下的物理环境里，这一步又会引出什么后果？前者牵涉目标、计划与技能组织，后者牵涉状态、接触与动作后果。两类判断得在执行中反复互相纠正，行动才靠得住。

在大晓的双脑协同方案里，云端大脑 SenseNova 偏重理解任务、组织能力。它要弄清用户想完成什么，把目标拆成能执行的步骤，从既有经验和技能里挑出合适方法，情况一变还得调整计划。碰上一次失败，它也要结合任务过程复盘：原来的目标合不合理，技能选得对不对，哪些判断需要重新确认。

端侧的开悟世界模型则偏重物理状态的理解、生成与预测。它依据当前观测和交互历史，判断物体在哪、怎么动、接触状态如何，必要时构造候选的演化过程，为不同动作可能的后果提供预测依据。这些预测还得保留不确定性：哪些条件已经观测充分，哪些判断建立在尚未验证的假设上，哪些地方要靠新的交互才能进一步确认。

这样分工，和两类判断对资源、时间的要求不同有关。任务推理要调用较广的知识、记忆和技能，放在云端便于共享与更新；物理状态判断得紧贴现场变化，端侧部署有利于及时用上新观测和新反馈。更快的接触调节、姿态稳定和动作执行，则由相应策略与实时控制器承接。模型、策略、控制器各管适合的部分，合起来才构成完整的行动过程。

拿取杯任务来说，协同可以这样展开：大脑 SenseNova 按目标选定取杯技能，提出接近方向和抓取方案；开悟结合当前观测，预测这些方案会带来哪些状态变化。要是遮挡让接触位置难以判断，或者已有信息不足以估计抓握稳定性，这种不确定性就该进入任务决策。SenseNova 据此选择换个观察角度、安排一次试探，或者调整抓取方式。新的观测再回到物理侧，帮助更新判断，随后决定要不要继续执行。

双脑协同的要害，是让任务推理持续接受物理反馈，也让物理预测围着任务需要转。候选方案应综合任务逻辑与当前物体、场景和本体条件来评估；物理预测也该说明结果会怎样影响下一步选择。二者通过明确的接口交换目标、候选行动、预测结果和不确定性，各自的能力才能落到同一个决策上。

这种协同还该延续到任务结束之后。执行前的判断、提出的预测、实际采取的动作和最终结果，可以一起构成复盘依据。预测与现实之间的偏差，帮系统找出需要进一步调查的问题：是状态理解有误，是物理条件变了，是技能选得不合适，还是执行没达到预期？这些线索经过分析与验证，再决定进入经验记忆、技能调整还是模型训练，为后续行动提供更可靠的起点。

我们用“双脑”来组织这两类能力侧重，同时给实现方式的演进留出空间。两者可以共享表示和部分模型能力，具体的模型组织以及云端、端侧怎么分工，也该根据任务、算力和时延要求来调整。需要持续检验的是，这种协同是否帮机器人更早发现关键不确定性，选出更有效的动作，并把真实交互中的有效认识带到后续任务里。

要让这些信息在模型之间准确传递，并进一步连接感知工具、经验记忆、技能调用和动作执行，还得有一套完整的系统机制。双脑协同由此引出下一个问题：怎样把模型之间的配合，变成机器人身上稳定运行、能持续积累的能力。

三、从模型协同到系统协同

当大脑 SenseNova 提出一个抓取方案、开悟给出相应预测之后，系统还有一连串具体工作要完成：确认当前观测足不足以支持行动，把目标转成机器人能执行的指令，调用合适的技能，并在执行偏离预期时及时处理。模型之间的判断，得走完这些环节，才能变成真实世界里的有效行动。

在大晓的系统设计中，具身 Harness 担起这类组织与协调职责。它维护任务状态，连接记忆、技能库、感知与三维重建等工具，明确各模块交换什么信息、在什么条件下调用，以及怎样处理执行反馈。靠这套运行机制，大脑 SenseNova 的任务计划、开悟的物理预测和控制器的实际执行，才能对上同一个任务阶段。

拿取杯子的场景来说，感知工具给出的物体位置得先映射到当前这台机器人的坐标系和动作接口里；选中的技能则要交代清楚适配哪种夹爪、需要哪些输入参数、在什么条件下执行。同时，系统还得界定什么样的观测算抓取成功，哪些信号说明出现了滑移或接触异常。只有把这些条件和判据一并写进技能库，一项能力才算能稳定调用。这样一来，SenseNova 在编排任务时就能判断某项能力何时可用、执行进行到哪一步、失败之后还有哪些恢复路径可走。

执行动作这一侧同样需要合理分工。学习型策略负责综合视觉信息、任务目标和历史状态，给出动作参考；解析控制器则按照本体自身的特性，完成位姿跟踪、接触调节以及执行约束的处理。反应较快的反馈会在对应的控制环里被消化；一旦偏差大到影响任务继续推进，Harness 就把状态变化回传给 SenseNova 和开悟，让它们重新判断该补充观察、调整方案，还是调用恢复技能。不同时间尺度上的判断，就这样被串接了起来。

此外，Harness 要为经验沉淀留下可追溯的凭据。一次任务里的场景条件、本体配置、调用了哪些技能、模型给出了什么预测、执行反馈以及人工介入情况，都可能左右对结果的解读。把这些信息和具体的执行阶段一一对应，才能分清问题究竟出在观测不够、预测有偏差、技能选错，还是动作执行本身，进而找准该改进的对象。

现场纠偏成功，留下的是一段有分析价值的经验。但它对别的任务有没有用，还得再验证。所以运行中的纠偏和能力更新可以按不同节奏推进：眼下先让系统完成必要调整，交互记录随后进入筛选与复测环节；获得支持的认识才会进入记忆、技能或模型，而一旦证据变了，其适用范围也能随之修订。经验于是有了一条从产生、验证到再次使用的清晰路径。

机器人本体一旦更换，这套机制同样关键。共同的任务描述和技能意图，要借助接口映射到新的感知方式、动作空间和控制能力上；涉及接触、载荷和执行精度的条件，则必须重新校准。适配和复测要帮系统弄清楚：哪些已有认识能接着用，哪些部分需要补学。换一个本体，也就成了一次有依据的能力迁移。

系统协同的意义在于，模型、工具和控制器能各自迭代，经过验证的经验也有持续复用的通道。感知工具升级、策略更新或者机器人接口发生变化时，系统可以排查受影响的技能与经验，留下依然成立的认识，再针对变化的部分做验证。

这种系统设计给双脑协同的落地打下了基础：任务规划、动作执行、反馈记录和经验管理被连成一体，为后续能力的验证与持续改进腾出空间。在此基础上，当前任务的纠错、长期能力的积累，以及学习与研发方法的改进，才有可能彼此衔接、层层深入。

四、三个递进闭环：

让行动、学习与研发相互促进

真实反馈进入系统后，能带动不同层次的变化：纠正眼下的行动，改善之后的能力，再进一步优化获取能力的方法。我们用三个递进闭环来组织这些变化，分别说清它们改变什么、怎么运行，以及要靠什么结果证明改进真的发生了。

第一个闭环是自主执行，目标是让机器人更可靠地完成当前任务。

机器人在行动中不断拿到新的观测，据此更新状态判断、调整计划，必要时补充感知或调用恢复技能。取杯时遇到遮挡、接触变化或滑移，系统要能及时察觉偏差，并结合当前条件决定下一步怎么走。反应较快的执行反馈交给对应的控制环处理，而影响任务推进的变化则进入 SenseNova 与开悟的协同判断。

这个闭环可以在模型参数不动的前提下运转。它改善的是当前任务中的决策与执行，让机器人能用刚获得的信息应对变化。任务完成率、偏差发现与恢复时间、人工介入量，都可以用来衡量它是否奏效。执行过程还会留下观测、预测、动作与结果，为后续学习提供依据。

经验学习是第二个闭环，作用在于让一次交互去改善后面的能力。

进入这一层，系统得从执行记录里挑出值得学的东西，弄清它们揭示了哪些新条件、推翻了哪些旧判断，再挑合适的办法把这些认识存下来。有的经验可以先做成带适用条件的长期记忆，等后续任务来检索、调用；有的要转成技能上的调整；碰上涉及动作生成或物理预测的问题，可能就得对策略或世界模型做有针对性的训练。比如某次抓取恢复的做法，进一步验证之后，也许对一类接触条件接近的物体都管用。系统就可以把相关条件、判断依据和恢复方式留下来，遇到相似情境优先参考。可一旦换了新夹爪，或者载荷不一样，它还是得确认这些经验能用到哪儿，再靠新的反馈接着修。

学习闭环成不成立，关键看收益能不能延续到后面的任务里。在独立测试中，系统有没有少犯重复的错，有没有用更少的新增示范和真机试验就完成适配，拿到新技能的同时原有能力还在不在？这些结果决定一项更新值不值得进部署，也决定这段经验该在多大范围里复用。

第三个闭环叫递归自我改进，意思是获得能力的方法本身也能不断优化。

系统能持续执行、持续学习之后，还会撞上更深一层的问题：哪些失败最该查？下一批数据采什么？眼下的训练方法管不管用？同样的真机时间，怎么才能换来更多能力上的收益？这些问题指向数据选择、实验设计、训练流程、评价机制，还有模型与 Harness 怎么组织。

我们希望让研发智能体一步步参与进来。它可以汇总反复出现的失败，提出能被检验的原因假设，挑出能区分这些假设的实验，再为数据补充、模型训练或系统调整给出候选方案。世界模型和经过校准的仿真能帮忙比较方案，真实任务则用来确认改进究竟能不能兑现。有效的方法验证过之后，再进入下一轮学习与研发。

这一层要更严格的对照：在可比较的任务和资源条件下，调整后的流程是不是更快拿到了可靠能力，人工、计算或设备时间有没有减少，收益能不能在后续任务里继续出现。自动化实验能提高流程效率；递归自我改进还得再检验一点：系统能不能根据结果去优化实验选择和学习方法，并让改进后的能力继续参与下一轮改进。

这也是我们希望继续推进的研究方向。它要靠跨任务、跨轮次的证据，一点点回答一个更难的问题：系统能不能在能力增长的同时，把自身获得能力的效率也提上去？

三个闭环可以按不同节奏跑。执行中的纠偏要马上响应，长期的能力更新得经过验证，研发方法的变化则需要更充分的比较和复测。它们共享真实交互提供的证据，也互相提供条件：执行更可靠，系统就能进入更多任务；学习更有效，重复试错就少；研发方法更好，下一轮改进的效率就更高。

更有价值的进步，是让下一次进步更容易发生。双脑协同想建立的，正是这样一条从行动延伸到学习、再延伸到研发的路径。这条路能不能一直跑下去，还取决于我们怎么用有限的真实交互，以及怎么让仿真为这些交互提供更有针对性的帮助。

五、真机与仿真：把真机时间用在关键问题上

真机上跑三个闭环，绕不开时间和资源这两道坎。设备调试、场景布置、人工复位、故障恢复，一次试验里哪样都得花时间；机器跑久了还有磨损，环境也在变。想提高学习效率，就得琢磨清楚每次交互到底要回答什么问题，同时让已经攒下的记录在训练和验证里多发挥点作用。

系统理解物理世界，靠的是真实交互给的依据。拿取杯任务来说，三维重建能帮忙把杯子的形状、位置和周围空间定下来；至于影响抓取的那些条件，比如载荷、表面状态、接触形变，还得结合动作和反馈去估计。哪些参数跟当前任务关系紧密、哪些判断已经有证据撑着、哪些还悬着，系统应当一步步弄明白。

这些认识正好拿来搭仿真环境。世界模型从交互数据里学状态怎么变，三维重建工具给出场景和物体的几何信息，物理仿真器则提供一个能干预、能重复跑的试验场。三者得靠真实记录互相校准：初始条件和动作输入差不多时，预测或仿真里的关键变化能不能跟实际观测对上？碰到暂时定不下来的物理属性，就保留一个跟现有证据不冲突的参数范围，再看不同取值会把任务结果带向哪里。

这么一来，一段真实轨迹就有机会变成一组可控实验的起点。物体位置、载荷范围、接触条件、执行扰动，系统都可以改着试，看哪些方案在什么情况下还管用，哪些条件一碰就让原有技能失灵。仿真还得把容易出错的动作覆盖进去，帮系统学会认出失败、知道什么时候该恢复、什么情况下该多看一眼。模型校准过之后，已有交互里的信息就能延伸到更广的训练和评测空间。

仿真还能帮着挑下一次真机试验做什么。假设几个物理模型都跟现有观测相容，可对同一个动作给出的预测不一样，这个分歧本身就点出了一个值得查的问题。系统可以围着它设计新的观察或试探，优先去确认那些最可能改变行动选择的条件。真机交互于是不只管执行任务，也管消掉关键的不确定性。

我们想形成的 Real2Sim2Real 循环，走的就是这条路：真实交互出证据，模型和仿真据此建立并修正对物理的认识；仿真把练习铺开、把候选方案比一比，顺带暴露出还要进一步确认的问题；筛过的方案再回到真实任务里接受检验。新结果接着用来校准环境、调整策略、更新经验，下一轮探索就能建立在更充分的认识上。

改进有没有效，得靠真实任务来检验；比较和练习的空间，则由仿真来扩展。所以评价一个世界模型或仿真环境，要看它对实际行动帮了多少：候选方案谁好谁坏能不能分对，关键的接触失败能不能提前看到，仿真里练出来的改进能不能在真机上兑现，达到同等能力所需的真实交互能不能减少。这条闭环主要验证的，是跟任务相关的预测与决策收益，视觉表现拿来辅助检查场景即可。

验收时还得留出独立的真实任务和条件，看系统能不能把改进带到新物体、新场景和新本体上。总成本也要算进去，新增数据、人工操作、计算、设备占用、恢复时间，一项都别落下。只有把这些投入跟实际收益挂上钩，才能判断一次仿真扩展或模型更新有没有提高能力获取的效率。

循环这么一直转下去，校准过的场景、验证过的物理条件、可靠的技能测试，会慢慢变成后续任务共同使用的基础。已有经验帮系统更快找到值得试的方向，仿真把这些方向铺开做更充分的比较，真实交互再确认哪些认识站得住。双脑协同想推动的能力积累，也会在这种互相校准里拿到越来越扎实的物理依据。

六、走向具身智能的 “Transformer 时刻”

双脑协同、三个递进闭环、真机与仿真相互校准，前面聊的这些最后都指向同一个目标：让机器人在真实交互里得到的经验，变成更多任务和本体都能复用的基础。

Transformer 给出的重要启发是，一套共享的基础架构能承载多种能力，还能支撑持续扩展。我们希望具身智能也等来自己的 “Transformer 时刻”：机器人领域逐渐长出一个广泛可复用的共同底座，让不同任务和本体共享经过验证的物理认识，一次部署攒下的经验能服务更多后续场景，模型、工具与控制器也能在这个底座上继续演进。

放到物理世界里，这件事面对的条件要复杂得多。每台机器人的身体结构、传感器和执行能力都不一样，同一个任务还会被空间、接触、载荷以及环境变化牵着走。所以共同底座得把能共享的物理关系和各自的执行条件接起来：既让不同任务用上已有认识，也要帮系统看清迁移时差在哪，判断什么时候可以直接复用、什么时候得重新观察和学习。

在我们看来，世界模型是搭这个底座的核心一环。物体怎么动、接触怎么改变状态、一个动作可能带来什么后果，这些认识能同时给规划、控制、仿真和学习提供依据。真实交互如果能不断校准它们，校准后的模型又能帮更多任务挑动作、组织练习、发现没见过的条件，物理经验就有望走上一条越滚越大的学习路径。

围绕这个目标，大晓选定的系统探索方向是双脑协同。SenseNova 负责组织任务、技能和已有知识，开悟负责围绕物理状态与行动后果给出判断，具身 Harness 则把它们接到感知、记忆和执行环节上。我们希望靠这种协同，让一次任务里拿到的反馈能被分析，让有价值的认识经过验证，再以合适的形式进入后续任务和模型版本。

这条路能不能长成共同底座，有几个关键问题要回答。经验覆盖到更多物体、场景和接触条件之后，同一套核心机制还能不能在更广泛的独立任务上持续带来收益？换成新的本体，已有认识能不能减少适配要花的数据和工程投入？模型和工具更新以后，验证过的技能与经验还能不能继续起作用？这些结果决定了系统的积累能否跨过单次任务、单台设备和单个版本。

能力获取成本怎么变，尤其值得盯。在可比较的条件下，掌握一项相关新能力所需的真机时间、人工投入和计算资源，会不会随着经验积累往下走；拿到这些收益的同时，系统能不能保住已有技能，并在新条件下稳定运行。这类证据如果能跨任务、跨本体、跨轮次反复出现，就说明共同基础正在产生持续的价值。

这种价值还会往下改变机器人开发的做法。新的本体可以借已有的任务组织和物理认识，把力气更集中地用在解决自身感知与执行上的差异；新的应用能利用验证过的技能、场景和评测工具，更快锁定真正需要探索的关键问题；不同团队也能围绕清晰的接口和验证标准贡献成果，让各自的进步被更多后续工作接过去。

要长出这样的共同底座，既需要架构上的探索，也离不开可扩展的学习方法、可靠的工程机制和持续的真实验证。双脑协同能不能在这里出力，最后还得看这些结果：越来越多的机器人带着已有经验进入新任务，也把新发现带回共同基础，让后面的能力有个更好的起点。

结语：让下一台机器人少走弯路

说回最初那只水杯。

取杯任务做完，这次交互的价值其实还有机会往下走。一次滑移，可能暴露出还没弄明白的接触条件；一次调整，可能提供了值得检验的恢复办法。经过分析和验证，这些经历能帮系统把几件事看得更清楚：什么条件下可以接着行动，什么时候得换策略，还有哪些问题必须留给下一次交互来回答。

到了明天，另一台机器人面对相似任务，要先看眼前的环境、确认自己的执行条件，也可以借助已有经验，更快找到值得试的方案，更早留意到容易忽略的变化，把试探安排得更有针对性。当这些认识帮它少犯重复的错、缩短适配过程，今天这次交互就开始产生超出单次任务的价值。

双脑协同想建立的，正是这种能延续下去的联系。任务推理和物理预测靠真实反馈互相校正，执行中得到的认识经过验证进入后续学习，学习与研发的方法也在持续实践里不断改进。不同的模型、工具和机器人本体，可以沿着这条路各自演进，并继续用上已经积累的有效经验。

这些期待要靠能复现的结果一点点撑起来。新任务是不是用更少的真机试验就学会了？新本体适配的成本有没有降下来？系统能力增长的同时，可靠性守不守得住？收益能不能随着经验累积一直延续？把这些问题拆成清楚的实验、留得下痕迹的证据和持续的改进，是大晓推进双脑协同接下来要干的活。

我们盼着有一天，机器人走进一个新场景时，身上带着更充分的认识；走出这个场景时，也给后来者留下经过检验的经验。每学会一项能力，都有机会带动更多能力长出来。

一台机器人付出的探索，让更多机器人省掉重复试错的代价。这是我们希望双脑协同能推动的进步。