DreamTrue夺AgiBot挑战赛第一：给机器人世界模型治幻觉

一个AI闭着眼睛做梦，会梦到什么？

多半是它自己想瞧见的画面。机器人世界模型恰恰有这毛病。你让它预测“机械臂伸过去抓这个杯子会怎样”，只要训练数据里清一色是抓成功的案例，它就一门心思告诉你：杯子被稳稳抓住了。哪怕这回抓取角度不对、手爪压根没碰到杯子，它也会在脑子里把杯子补上去，让杯子跟着手爪一块儿飘。

这不是玩笑，是中科院自动化所和阿里高德联合团队在论文里明明白白点出的问题。他们给这毛病取名“幻觉”——预测模型把失败的动作脑补成了成功的结果。听着好笑，后果却不轻：拿这种会说谎的世界模型去评估机器人策略好不好使，它会报给你一个虚高的成功率，让你误以为某个策略靠谱，真上了机器人却扑街。

世界模型*：能根据当前场景和一连串动作指令，预测未来会发生什么的AI系统，常被当作机器人训练和测试的虚拟沙盘，省去每次都得在真实世界里反复试错的成本。

论文的主角叫DreamTrue，中文可意译成“梦境求真”。它要治的正是这种会说谎的世界模型，顺带还解决了一个更基础的毛病：动作和画面对不上。团队把这个系统送去打2026年AgiBot World Challenge的世界模型赛道，拿了第一名。

这事值得说道说道。

动作和画面对不上，是个被忽视的老问题

先看第一个问题，听着有点技术，其实特别好懂。

机器人世界模型得依据“动作指令”去预测“接下来的视频画面”，这就要求把动作以某种方式“喂”给模型，让它知道机械臂往哪儿伸、手爪怎么合。比较直接的做法，是按动作轨迹把机械臂的三维模型渲染出来，叠到画面上，等于给模型打了个可视化提示：“看，机械臂下一步要动到这个位置。”

办法本身没毛病，毛病出在“渲染”这一步依赖摄像头的精确标定。

摄像头标定*：确定摄像头在三维空间里的具体位置、朝向和内部光学参数的过程，相当于告诉系统“摄像头是从哪个角度在看这个世界”。

机器人数据集往往由多个团队、分多个时间段采集，标定参数常带误差，有的甚至根本没做过专门的标定流程。误差一旦存在，渲染出的虚拟机械臂和视频里真实机械臂的位置就对不上，一个在左一个在右，模型学的时候被这种“错位的标签”带偏，学出来的动作跟随能力自然差。

换个说法，这就像让刚入行的厨师照着菜谱做菜，可菜谱上标的分量单位全写拧了——写着克，实际指的却是两。哪怕他学得再用心，端出来的菜味道也对不了。单位这处错不纠正，他一直在记一套错的换算关系，练得越久，错得越有规律。

团队的解法叫离线几何标定，思路挺巧：不用专门拍一段标定视频，直接拿已有的机器人录像反推摄像头参数。具体说，先用机器人的URDF模型（相当于机械臂的数字骨架）配合已记录的关节角度，把机械臂渲染到画面里，再找渲染结果和真实画面里机械臂的像素对应关系，加上背景在不同时间、不同视角之间的静态对应关系，联合起来反推出真正准确的摄像头内参、外参，甚至机械臂安装偏移量。

URDF模型*：机器人统一描述格式，属于一种标准化文件格式，它用数学方式把机器人各个关节、每根连杆的尺寸和连接关系精确描述出来，如同机器人的“身体说明书”。

标定效果立竿见影。在AgiBot数据集上，团队把新标定和原始标定做对比，用渲染结果与真实分割掩膜的重合度衡量准确性，结果97.1%的回合（即机器人完成一次任务的完整录像片段）上新标定都更准，平均重合度提升0.228。DROID数据集上提升0.212，91.6%的回合变得更准。还有个有意思的对比：同类方法PointWorld得靠立体深度相机才能干活，团队这套只用普通RGB图像，照样在75.5%的情况下表现更好。

价值不只是一个IoU数字。团队做了消融实验，发现只在推理阶段用新标定、不重新训练模型，各项指标就已全面提升；训练阶段也用上新标定，提升更明显——AgiBot上的PSNR（衡量画面清晰度和准确度的指标）涨了1.28分贝，DROID上涨了1.30分贝。可见标定误差一直在悄悄拖累整个训练过程，是那种“你看不见但它一直在那儿捣乱”的隐形损耗。

团队还干了件挺厚道的事：把153,666个回合、超过1660小时的标定结果直接开源，覆盖AgiBot、DROID和RoboMIND三个数据集。后面的研究者不用再从头折腾这件麻烦事。

既然训练数据全是成功案例，那就自己造失败案例

解决了“动作画面对不上”，团队面对的是更棘手的事：数据偏见。

公开的机器人数据集几乎都是精心挑过的成功演示，很少有人专门去录一堆“机械臂没抓住杯子”或者“东西从手里滑掉了”的失败案例。毕竟谁会故意收集失败数据呢？可问题是，世界模型只见过成功案例，就学不会“失败长什么样”，于是有了开头那种幻觉：抓空了也要让物体飞起来。

重新收集失败数据，理论上当然可行，代价却太大，得专门安排机器人反复尝试各种会失败的抓取角度，耗时耗力。团队想了个取巧的法子：没有失败数据，那就把成功的轨迹改造成可能失败的轨迹。

具体做法是反事实后训练。拿一条已录好的、成功完成任务的动作轨迹，对末端执行器的位置施加一个空间扰动（专业说法叫SE(3)扰动，通俗讲就是让机械臂最终停的位置稍微偏一点），再用逆运动学把这条新终点轨迹转换成一整套可执行的关节动作。这样一来，原本会稳稳抓住物体的轨迹，可能就变成“差一点点没抓到”的轨迹。

反事实*：字面意思是“与已发生事实相反的情况”，这里指通过修改真实发生过的动作轨迹，构造出一条“原本没发生、但有可能发生”的替代动作，用来测试模型在新情境下的表现。

逆运动学说的是另一件事：末端执行器要落在哪个位置已经定好，反过来求各关节该转多少度，这是机器人控制里一道老题目。

这套做法有意思的地方在于，不必真让机器人反复失败上百次，而是在电脑里对已经成功的案例动手脚，硬造出一批失败情形。打个比方，想训练保安辨认可疑举动，可现场没人愿意扮小偷配合，那就把正常顾客走路的录像稍作修改，让其中几步显得鬼鬼祟祟，拿这种改过的正常录像去练保安的眼力。少了这一步，保安见到的永远只有正常行为，真碰上可疑人物，多半认不出来。

可新麻烦跟着来了：失败场景的动作条件已经造好，让模型据此预测未来视频，问题是这类场景压根没有真实的未来录像可供比对。预测得准不准，没有标准答案打分，质量怎么判断？又拿什么去训练模型？

靠人工标出的穿帮镜头，教AI分清什么叫演砸了

论文里最精彩的一步就在这里。

团队想通了一点：标准答案视频虽然没有，可有些预测错误肉眼一瞟就能看穿，压根用不着对照组。

比方说，物体明明没被抓住，却跟着机械臂悬在半空，这种画面本身就违背常识，谁看都觉得不对。再比如物体凭空没了，或者突然多出一个一模一样的，都属于观众一眼能抓到的穿帮，不必知道正确答案长什么样，只要判断这画面本身合不合理就行。

沿着这个思路，团队招来标注员，给多个世界模型生成的视频打标签，真实轨迹和反事实轨迹都在其中，标注覆盖三个维度的缺陷：机器人本体缺陷，像手爪模糊、结构变形；物体一致性缺陷，像物体凭空出现或消失、形变；交互合理性缺陷，像没接触却自己动了，或者该掉下去的东西悬在半空。

这份标注数据规模不小，4.49万个视频被覆盖，产出3.04万条缺陷标注。团队拿这些标注训练了一个视频语言模型当裁判，名字叫embodied video reward model，中文叫具身视频奖励模型，专门给新生成的视频打分，看它在三个维度上有没有穿帮。

embodied video reward model（具身视频奖励模型）是一个经过人工标注数据微调的视觉语言模型，输入一段生成的视频，输出它在机器人本体、物体一致性、交互合理性三方面出现缺陷的概率，分数越低，画面越可信。

这个裁判靠不靠谱？团队在4893段没见过的测试视频上做了验证，机器人本体缺陷识别准确率96.69%，物体一致性缺陷79.24%，交互合理性缺陷83.08%，平均准确率86.33%。这组数字说明，AI裁判虽不完美，人类标注员那套一眼看出穿帮的判断逻辑，它确实学到了。

裁判有了，下一步是让生成模型照着裁判的分数自我修正，用的是强化学习，具体技术叫DiffusionNFT。每条动作条件，模型生成一组候选视频，裁判逐个打分，分数高的候选对应的生成路径被强化，分数低的被弱化，如此反复迭代，模型生成不穿帮画面的倾向会越来越强。

这套办法用下来，效果相当扎实。AgiBot基准测试上，物体一致性缺陷率从31.88%降到3.12%，交互合理性缺陷率从48.12%降到6.25%。更关键的是，改进没有拿动作跟随能力去换，衡量动作跟随精度的nDTW指标没掉，反倒从0.8711升到了0.8831。

好比一个演员，什么角色都能一秒入戏，可有点用力过猛，剧情需不需要都演得完美，后来被导演反复纠正，也就是裁判模型的反馈，学会了该哭就哭该笑就笑，演技更贴剧本，同时台词功底也就是动作跟随能力还没退步。缺了这个纠偏过程，模型会一直停在为了画面好看而撒谎的阶段，永远学不会诚实呈现失败。

世界模型学会说真话，机器人策略评估才靠谱

视频好看、动作跟得准，其实还不算终点。这套系统真正的价值，要看它能不能准确反映机器人策略的真实水平。

团队设计了一个挺扎实的验证实验。他们在RoboTwin 2.0仿真环境里挑了三个双臂操作任务，让四种不同的视觉语言动作策略，也就是控制机器人怎么动的AI模型，分别去执行，世界模型按这些策略给出的动作轨迹预测结果视频，再由人工标注判断预测视频里任务成没成功，最后拿这个结果和仿真器里的真实成功率作对比。

结果很直观。对照组Ctrl-World的预测整体系统性偏高，真实成功率和预测成功率的平均误差达到12.92个百分点，而且偏差方向很一致，都是往更成功的方向偏，这就是典型的幻觉，失败被预测成了成功。DreamTrue把这个误差压到7.08个百分点，几乎只有对照组的一半，偏差方向也几乎没有系统性倾向，只有0.42个百分点的轻微正偏。

换个更直观的说法：对照组每做10次失败的抓取预测，平均会把其中1到2次错判成成功；DreamTrue把这个误判率压到对照组的一半左右，相当于识破了更多假装成功的戏码。

这说明一件很关键的事：会说真话的世界模型，才有资格当机器人策略的模拟考官。可以想象，模拟考试的监考老师要是总手下留情，把答错的题悄悄批成对的，这场模拟考试就彻底没意义了，学生拿着虚高的分数进真实考场，照样翻车。DreamTrue做的，就是把这个手下留情的监考老师，训练成铁面无私、不偏不倚的真考官。

跨机器人、跨场景，这套模型见过没见过的世界都能预测

除了前面两个核心创新，DreamTrue还有个特点：它不是只针对某一种机器人训练的专用模型，而是一个跨机器人本体、跨数据集的统一模型。

训练用了 AgiBotWorld-Beta、DROID、RoboMIND 2.0、RoboTwin 2.0 四个数据集，覆盖五种机械臂类型，筛选后数据总量为2232小时。同一套参数下，这个统一模型在真实世界和仿真环境里都能针对不同机械臂本体给出合理预测。

泛化能力方面，团队测了两种训练中没出现过的情况。一种是把没在训练数据里出现过的 WidowX250 机械臂放进 RoboTwin 仿真环境；另一种是把团队自己采集的 Piper 机械臂录像，放到训练数据里完全没出现过的真实场景中。结果是没有针对性微调，模型同样能给出合理的预测画面。

这一点很关键。模型如果只会死记硬背见过的机器人和场景，实用价值就有限，每换一台新机器人就得重训一遍，成本极高。DreamTrue 的迁移能力说明，它底层学到的是更通用的“物理世界怎么运作”的规律，而不只是某台机械臂的运动轨迹。就像一个真正会开车的人，换一辆没开过的车，稍微适应一下也能上路，而不是只会开自己那辆练习车。

写在后面

读完论文，触动我的不是技术细节，而是它解决问题的思路带着一种“不走寻常路”的巧劲。

没有新数据，就去造假数据：把成功轨迹改造成失败轨迹。这个做法相当于主动制造反例来补训练数据的缺口，而不是干等真实世界的失败案例慢慢积累。

没有标准答案怎么评估？换评估维度。既然没有“正确答案视频”可比对，那就换个判断角度，不看结果对不对，而看画面本身合不合常理。这一转向绕开了“没有真值就没法监督”这个看似无解的死结，找到了一条侧路。

幻觉的根子，论文单独拎出来讲了：机器人世界模型跟大语言模型瞎编答案，说到底是一回事——训练数据分布有偏，模型学的是“顺着期待来”，不是“照着事实说”。语言模型那边，语料里“答得自信满满”比“老实说不知道”多得多，于是爱编；机器人世界模型这边，数据里成功案例远多于失败案例，于是总让任务显得成了。解法也通着：两类问题都得另加一套“讲真话”的激励，指望模型靠海量数据自己悟出诚实有多重要，不现实。

没解决的问题也很明确。论文自己承认，整个框架的动作表示、视频生成、裁判打分都发生在图像空间，一旦出现遮挡或者视角受限，模型照样可能生成看起来合理、实际上物理错误的画面。这套“说真话”的机制建立在“能看见”的前提之上，连看都看不清楚，再诚实的模型也没法凭空变出真相。

一个连看都看不清的诚实模型，和一个看得清但会撒谎的模型，哪个更危险？

Q&A

Q1：DreamTrue是什么？

A：DreamTrue 由中科院自动化所和阿里高德联合团队提出，是一个多视角、跨机器人本体的机器人世界模型。它能预测动作执行之后会发生什么，核心目标有两个：动作跟随更准，物体交互预测更贴合物理规律。

Q2：DreamTrue怎么解决世界模型“幻觉”问题的？

A：团队的做法分两步。先做反事实后训练，把成功的动作轨迹改成可能失败的轨迹，让训练覆盖的范围更广；再训一个具身视频奖励模型，按人工标注的穿帮画面给生成视频打分，用强化学习引导模型少做不合理预测。交互缺陷率因此从48.12%降到6.25%。

Q3：DreamTrue取得了哪些具体成绩？

A：DreamTrue 在 AgiBot 基准上的动作跟随指标 nDTW 达到0.8772，在所有对比方法中最高；并在2026年 AgiBot World Challenge 世界模型赛道获得第一名。策略评估实验还证明它能更准确反映机器人真实成功率，误差仅为对照方法的一半左右。