WorldGuide：让视频生成边做边看，折纸教程不再错一步毁全程

折纸船的时候折错一步，会怎样？

要是你照着图文手册折，手册并不知道你折错了。它照旧告诉你下一步怎么做，压根不管你上一步对不对。结果常常是，折出来的东西越来越不像纸船，到后来你自己都说不清哪一步出了岔子。

眼下大多数视频生成模型做“教程类”任务，碰上的就是这种局面。

给一张初始图片，再给一句“一步步教我做蛋炒饭”，它就会顺着这句话一口气生成一整段视频，中途根本不回头看一眼自己生成的画面对不对。哪一步生成错了，后头的内容就全在错误的基础上接着往下走，模型也不清楚什么时候该停。论文里把这叫开环生成，整个生成过程像设定好终点和路线的自动导航，中途不看路况。

**穆罕默德·本·扎耶德人工智能大学的这篇论文，要解决的正是这个问题。**

新系统取名WorldGuide。它的核心想法不复杂：模型一边生成，一边盯着自己生成的东西，再据此决定下一步做什么、什么时候该停。

难点究竟在哪

在WorldGuide之前，其实已有团队试着给视频生成加上“反馈”。

ORCA、CollabVR、NovaPlan等几个工作就是如此。它们的办法是拿一个视觉语言模型当规划者，负责看图说话、决定下一步动作，再交给一个训练好之后固定不变的视频生成器执行。

视觉语言模型：能同时理解图像和文本的人工智能模型，可以看懂一张图片并用语言描述它，或者根据图片和文字指令做出判断。

这个设计听着合理，规划归规划，执行归执行，各干各的专业活。问题就出在“固定不变”四个字上。规划者说“把纸对角线再折一次”，可执行器从没专门学过怎么把这句话精确落到视频画面里，它只是被动接指令，然后尽力生成。规划再准，执行跟不上也白搭。论文里把这个叫规划和执行之间的鸿沟，一个正确的计划照样可能因为执行失败而落空。

另有一个叫SPIRAL的工作换了个思路，用额外训练的评判模型打分，告诉生成器生成得好不好。可这个评判信号是间接的，并没有直接教会执行器把某个具体动作做对。

论文作者的想法很直接：执行既然是整条链条里最容易掉链子的一环，那就把执行者也拉进训练，让它和规划者学同一批数据，确保规划者说出的每个动作，执行者都真的学过该怎么做。

好比餐厅里点菜员和厨师从没一起培训过，点菜员说“加九成辣”，厨师根本不知道九成辣该放多少辣椒，只能凭感觉。要是两人出自同一套培训体系，对“九成辣”有共同的理解，也有练过的手感，这道菜才可能真做对。不这么做，再精确的点单语言也只是一串落不了地的文字。

WorldGuide如何运作

WorldGuide有两个核心模块，一个叫ContextPlanner（情境规划器），一个叫Executor（执行器）。

整个过程是个循环：给定一张初始图片和一个任务目标，比如“做一个纸飞机”，规划器先看一眼当前画面，决定下一步做什么动作，比如“把纸对折一次”。这句话转成一段嵌入向量交给执行器，执行器再结合这个动作描述和当前画面，生成一小段对应的视频。

嵌入向量：把一段文字或一张图片转换成一串数字，这串数字能被模型理解和计算，相当于机器看懂语言和图像的方式。

这一小段视频生成完，规划器会再看一眼刚生成的画面，判断这一步是否真的完成了，然后决定下一步做什么，或者判定整个任务已经做完，输出一个“任务完成”的信号，循环就此停下。

两个模块不是凭空设计的，分别从Qwen2.5-VL-7B和HunyuanVideo-1.5这两个已有模型初始化而来，再用同一批演示数据训练。

Qwen2.5-VL-7B：一个70亿参数规模的视觉语言模型，能同时理解图片和文字。

HunyuanVideo-1.5：一个83亿参数的视频扩散模型，能根据文字描述生成视频片段。

有意思的是训练顺序。作者先单独训练规划器，训好后把它冻结，参数不再更新，再用这个冻结的规划器给执行器的训练提供动作的嵌入表示。

为什么要这样？规划器和执行器一起训练的话，执行器的损失函数会反过来影响规划器的参数。规划器为了让生成更容易，可能悄悄改掉自己输出的语言表达，不再是人能读懂的清晰指令，而变成某种只有执行器能解码的“暗号”。论文作者把这叫作保持语言层面的接口。

打个比方，两个人搭伙，一个写菜谱，一个照着做。写菜谱的要是图省事，把“少许盐”改成只有这个厨师看得懂的代号，旁人翻这份菜谱就一头雾水，真出了岔子也分不清是菜谱的问题还是掌勺的问题。论文把这种约束叫保持语言层面的接口。接口不变，意味着任何时候都能把规划器吐出来的那句话单独拎出来检查，或者换成人工写好的标准答案去测执行器的本事，这也是论文专门拿来做实验的技巧。

记忆这一块又怎么处理？长程任务躲不开一个现实麻烦：视频生成得越久，每一步都把此前所有画面塞给模型当参考，计算量就炸了。

WorldGuide从YUME和FramePack这两个已有工作里借了思路，搭出一套分层记忆压缩机制。说白了，离当下越近的画面，留的细节越多、分辨率越高；离当下越远的，压得越粗。最近几帧几乎按原始分辨率保留，稍远一些的用更粗的网格表示，再久远的只留下一个很模糊、带轮廓性质的概括。

靠这套机制，不管视频生成到多长，记忆占用的token数量都有上限，大约不超过8个满分辨率帧的等价开销。

这跟人脑记事挺像。昨天中午吃了什么，你记得；上周大概涮了顿火锅，你也记得；三个月前某一天具体吃了什么，就说不上了，只剩“那阵子好像在吃减肥餐”的模糊印象。真要大脑把过去每一天每一餐都按昨天的清晰度存下来，这颗脑子早撑爆了。分层压缩记忆的意义，就是用递减的精度换可持续运行的能力。代价是久远的细节确实会丢，论文后面也坦承了这一点。

实验证明这套记忆机制管用：在WorldGuide自己的测试集上，任务成功率提升5.77%；换到另一个叫Video-CraftBench的测试集，提升幅度更大，达到17.91%。

数据集从哪来？要训练这样一套系统，最头疼的是找不到合适的训练数据。

现有教程类视频数据集，像COIN、YouCook2、CrossTask这些，毛病各不一样：有的只标了大致步骤区间，有的没有明确的任务目标描述，还有的压根没说这任务什么时候算完成。

作者索性自己动手，做了个新数据集WorldGuide Bench：约5.9万段视频，覆盖245个具体任务，分布在27个大类里，折纸、做饭、搭积木、打结、组装家具都算。他们用Gemini 2.5 Flash去筛网上的教程视频，只留被判定为“完整清晰的分步教程”的，最后大约只有44%的视频过了筛。

Gemini 2.5 Flash：谷歌推出的多模态大模型，能同时处理文字、图片和视频，在这里负责给视频打分和做标注。

过了筛的视频还要再拆成一个个原子动作，每个动作标好开始和结束时间，目标时长控制在1到5秒之间，超过5秒的继续切成更细的步骤。最后一步被标记为任务完成。

自动标注靠不靠谱？作者请了三位人工标注员，从245个任务里各抽一段视频，总共检查了3168个标注的动作步骤。结果，动作描述准确率约83%，任务标签准确率83.7%，动作顺序准确率81.6%。这数字不算完美，可对一个完全自动化生成的大规模数据集来说，已经相当可靠了。

实验结果说明了什么？论文把WorldGuide拉去和一大堆现有视频生成模型对比，MiniMax-H3、HunyuanVideo-1.5、Cosmos-Predict2.5、LTX-2.5等十几个都在列，还有三个同样走“规划加执行”路线的模型Bernini、PhysAgent、TempAct。

下面这组数据看着挺扎心。在WorldGuide Bench测试集上，那些不走闭环路线的模型直接拿到了标准答案一样的参考动作序列，相当于考前先给了答案；WorldGuide则完全靠自己判断下一步干什么。即便局面这么不公平，WorldGuide的任务成功率还是达到33.33%，高过拿到参考动作的MiniMax-H3的29.90%。

任务成功率：衡量生成的视频最终是不是真的完成了任务目标，由大模型Gemini充当裁判来打分判断。

换到另一个测试集Video-CraftBench，这次所有模型公平竞争，统一只给初始图片和任务目标，谁都看不到参考答案。WorldGuide拿到47.69%的任务成功率，MiniMax-H3只有32.73%，差距进一步拉大。

更能说明问题的是消融实验：把系统某个部件拿掉，看成绩掉多少。闭环循环一撤，换成一次性生成完整动作序列再执行的开环模式，任务成功率从33.33%直接掉到11.71%，几乎腰斩再腰斩。

再把规划器看到的视觉反馈拿掉，只让它凭之前请求过的动作文字判断下一步，任务成功率从33.33%掉到14.72%。

关掉记忆模块之后，任务成功率由33.33%降至27.56%。

这组数字指向一点：规划器只凭"我之前说了什么"并不够，还得亲眼确认"实际发生了什么"。好比指挥别人装修，若只对着自己发出的指令清单估进度，从不到现场看，就无从知道墙刷对了颜色还是刷错了，或者工人没刷完就转去做别的。指令不会撒谎，可它也不会告诉你执行得如何；只有看到结果，才判断得出下一步是该催返工还是继续推进。不去看，错误就悄悄累积，等到交房才发现，已经来不及。

论文另做了一组更细的拆解实验，把规划与执行的误差分开考察。将WorldGuide自训的规划器替换成人工写好的标准答案动作序列，执行器与记忆模块不动，任务成功率还能再涨5.49个百分点。规划这一环确实仍有提升余地；不过这也说明，规划器即便不完美，只要执行器够可靠、记忆机制够稳，整个系统照样能跑出不错的成绩。

有意思的是，WorldGuide并非在所有视觉质量指标上都排第一。运动流畅度、动态程度这类纯画面质量维度上，一些专为视觉效果优化的模型分数更高。论文作者对此也直言不讳：WorldGuide看重的是任务完不完成，而非画面好不好看，两者之间存在取舍。这让人想到一个实际问题：厨师摆盘不算最精致，但确实按正确顺序把所有食材下锅炒熟了，这盘菜算不算合格？论文的答案很明确，任务完成比视觉精美更重要。

论文还组织了一场人类评审：四位评审员为九个模型在十八个任务场景下生成的视频打分，满分五分。WorldGuide得2.750分居首，MiniMax-H3以2.542分列第二，LTX-2.5以2.472分排第三。这一排名与大模型自动打分的结果吻合，相当于给整套评测体系补了一道人工背书。

这套系统还有哪些问题没解决

论文作者自己就列了几处尚未搞定的地方。

规划器有时过早判定任务完成，或者反复做同一个动作。执行器有时即使拿到了正确指令，也没能把动作真正落地，生成的画面出现几何形状扭曲或物体外观变化。每段生成的视频都会成为下一步决策的依据，某一步出错，错误就可能被带进后面所有步骤，而现有系统还无法主动识别"这一步其实没做对，需要重新来一次"。

另外，规划器与执行器目前分开训练，缺少一个统一的、针对任务完成本身的联合优化目标。记忆压缩机制压住了计算开销，可老旧画面细节被压掉之后，后续步骤若正好要用到这些细节，系统就找不回来了。

作者在论文中提出，未来可以尝试的方向有两个：让规划器和执行器联合优化；设计更有选择性的记忆保留策略，在控制计算开销的同时尽量保住真正重要的信息。

Q&A

Q1：WorldGuide是什么？

A：WorldGuide是穆罕默德·本·扎耶德人工智能大学提出的一套视频生成系统。给定一张初始图片和一个任务目标，它一边生成教程视频，一边判断下一步该做什么动作，还能自行识别任务是否完成，无需事先给定完整的动作脚本。

Q2：WorldGuide和普通的视频生成模型有什么区别？

A：普通视频生成模型是开环的，拿到指令后一口气生成到底，中途不检查是否出错，也不知道该在哪里停。WorldGuide是闭环的，规划模块实时看着已经生成的画面来决定下一步动作，并能主动判断任务何时完成。官方测试显示，这种方式比开环模式的任务成功率高21.62个百分点。

Q3：WorldGuide Bench是什么？

A：WorldGuide Bench是论文作者自己构建的训练和测试数据集，包含约5.9万段视频，覆盖245个具体任务和27个大类。每段视频都被拆解成带时间标注的原子动作，并明确标出任务完成的时刻，用于训练和评估闭环视频生成系统。