世界模型和图像视频生成注意事项:先分清你在让它猜哪一层

内容创作

把世界模型和图像视频生成混在一起谈,最容易白花额度和返工。这篇给一份逐条对照的判断清单:哪些活能交给生成模型,哪些活得先想清楚物理与因果。

搜到「世界模型」的人,多半是在做视频或图像生成时被一句话绕住了:模型到底懂不懂画面里发生了什么。实际用下来,分不清这两件事,提示词就会写偏、抽卡次数翻倍、成品一放到长镜头里就露馅。这篇不讲概念史,只给一条条能对照的判断标准和动作,帮你在动手前把活分对。

搜到「世界模型」的人,大多是被一句话绕住的:这模型到底懂不懂画面里发生了什么。实际用下来,分不清世界模型和图像视频生成这两件事,代价很直接——提示词写偏、抽卡次数翻倍、成品放到长镜头里就露馅。这篇不讲概念史,只给能逐条对照的判断标准和动作。

先说结论:世界模型要的是「下一秒会发生什么」的推演,图像视频生成要的是「这一帧、这几秒长什么样」。验收标准根本不是一套。动手前把活分对,比事后修图省事得多。

先分清你在让它猜哪一层

判断方法很土但好用:把需求写成一句话,看它落点在哪。写成「我想知道杯子被碰倒后会怎么滚」,那是状态推演,归世界模型;写成「我要一段杯子被碰倒的画面,三秒,竖屏」,那是像素和镜头,归生成模型。同一句话里两种意图都有,就拆成两次做。

世界模型
关心状态怎么演化,验收看预测是否自洽、能不能支撑决策
图像视频生成
关心画面长什么样,验收看构图、主体、镜头内是否连贯
用错层的症状
拿生成模型问物体滚多远才合理,抽十次给十种答案

反过来也一样。把世界模型拿去做产品图会失望得很彻底——它对材质、文字、构图没有出图工具那种稳定度。你要的是一张能上架的图,就别指望它在因果上给你惊喜;你要的是一套可信的推演,就别拿像素漂亮当验收。

物理感这件事,别指望它自己懂

长镜头里最容易崩的不是大动作,是持续接触:手扶着杯子、脚踩在地面、雨往下落。短片段看着没事,拉长就开始漂——上一秒手在杯壁上,下一秒穿进去了。这事儿麻烦在它不报错,你只能靠眼睛抓。

可执行的做法是把镜头切短,一个镜头只交代一个动作,跨镜头的连贯交给剪辑,别让模型一次扛完。反例很具体:一段人物从椅子起身的镜头,提示词里同时写了「起身、走向窗边、回头」,大概率会在中间某一帧腿和椅子糊成一团。拆成三个镜头分别生成,再接起来,返工量反而小。

  • 一个镜头只写一个主动作,动作之间用剪辑切
  • 涉及接触的部位(手、脚、支撑面)在提示词里单独点一句,别让它自由发挥
  • 镜头时长宁短勿长,超过几秒的连续动作先拆再拼
  • 纯抽象、纯装饰的画面不用管这套,物理对不对无所谓

提示词和输入素材怎么写才不白抽

提示词写不好,多半不是词穷,是没交代清楚三件事:给谁看、多长、不能出现什么。把这三样写进开头,比后面堆十个形容词有用。主体、动作、镜头各占一句,别全塞进同一句里,模型读串行的句子比读从句稳。

图生视频还有一层:输入的图决定了起点,提示词只该描述「从这张图开始怎么动」。很多人在这里写重了——图里已经有的东西又描述一遍,两边打架,抽出来的东西就飘。抽卡前定一个能验收的最低标准,比如主体不糊、动作不断、没有多余肢体,过不了就改提示词,别接着抽。

  1. 写清三件事给谁看、多长、不能出现什么,放在提示词最前面
  2. 拆成三句主体一句、动作一句、镜头一句,验证方法是读一遍,看有没有一句在同时讲两件事
  3. 图生视频只写变化描述从这张图开始的运动方向与幅度,验证方法是对照原图,看提示词有没有重复图里已有的内容
  4. 定最低标准再抽先写下三条验收线,过不了就改词,别用次数堆

要提醒的是,提示词模板在这类任务上只能保底,不能保证一次成型。各家工具的用法和输入要求差别不小,到 /ai-nav/category/ai-video 看具体工具的说明,比照着一个万能模板硬套靠谱。

验收和花销,动手前就该有数

验收清单就三条:主体一致性、动作连贯性、镜头内物理可信度。三条过两条再用,别一条不过就整段重抽——重抽是最贵的动作,不是最省事的动作。

验收项看什么不过怎么办
主体一致性同一角色跨帧的脸、衣着、比例有没有变回退到图生视频,锁住起点图
动作连贯性主动作有没有断、有没有多出肢体把镜头拆短,一个镜头一个动作
物理可信度接触部位有没有穿模、飘移在提示词里点名接触关系,缩短时长
画面可用性构图、文字、边缘是否合格换工具或换素材,别在提示词上死磕

花销的大头不在生成那几下,在返工那几次。按「一条成品平均要抽几次」来估,比单看单价靠谱得多。各家计价口径不一样,按张、按秒、按步的差别会被返工次数放大,到 /official-api 看模型资料,到 /price-watch 核对当下的数字和变动,别用记忆里的数做预算。

什么情况下不适用这套:一次性的草稿、内部沟通用的示意片,不必过这份清单,快比准重要。对外交付、要进长片、要复用的素材,才值得按上面的流程走一遍。

先分清你让它猜的是状态还是像素,再决定要不要为这一次生成较真。
下一步把手上的需求按「推演 / 画面」分一遍,再去对工具和价格,能少走不少弯路

常见问题

世界模型是不是就是更强的视频生成模型?

不是一回事。视频生成模型的产出是画面,世界模型的重点是对状态变化的预测能力。前者你验收看画质和连贯,后者你验收看预测准不准。混着谈最常见的后果是拿画面效果去评价预测能力,或者反过来。

图像生成要不要也按物理那套来要求?

单张图基本不用。静图没有时间轴,物理感主要落在光影、透视和接触点上,比如影子和脚是否对得上。真正需要物理约束的是连续镜头,图像生成只作为起点素材时,把透视和比例写清楚就够了。

怎么判断一条成品该重抽还是该改提示词?

看问题是不是每次都出现在同一处。同一处反复崩,多半是提示词或输入素材的问题,改文字;每次崩的地方都不一样,先缩短镜头、减少动作,还不行再考虑换工具。继续盲抽只会把额度烧完。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。