团队要选技术路线时,常见的卡点是:两家厂商都写着「能生成可交互的视频」,一个叫图像视频生成,一个叫世界模型,报价单和演示视频看起来差不多,但你不知道哪个能接进自己的产品。这篇不堆名词,按「它到底在解决什么问题」把两者摆在一起对照,给出选型时要问的几组问题、以及判断失效的边界情况。
先把两者要解决的问题分开看
这两个东西经常被放在一起聊,但如果不先把「要解决什么问题」拆开,后面所有对比都会糊成一团。图像视频生成面对的是交付物问题:输入一句话或一张草图,输出一张图、一段片子,评价它好不好,看的是人眼和观感。世界模型面对的是表征问题:让系统内部对周围环境有一套能用的理解,知道什么东西在哪、动了之后会变成什么样。同一个模型可能两边都沾,但出发点不同,做的事情就不同。
| 对比维度 | 图像视频生成 | 世界模型 |
|---|---|---|
| 要交付的东西 | 像素成品,给人看 | 内部表征,给下游模块用 |
| 好坏怎么判断 | 观感、一致性、可控性 | 预测准不准、决策有没有变好 |
| 输出形式 | 图像、视频帧序列 | 可以是像素,也可以是状态、隐变量、概率分布 |
| 典型下游 | 投放、剪辑、展示、素材库 | 规划、控制、仿真、策略训练 |
最省事的判断方法只有一句话:问「下游要拿这个输出做什么」。如果答案是直接投放——发出去、给人看、进素材库,那你要的就是生成能力;如果答案是接着做决策与控制——喂给规划器、控制器、机器人策略,那你要的其实是表征能力。这个问法不需要懂模型结构,问一遍业务的下一步动作就能分清楚。到「站内工具目录与指南中心」里对照一下自己项目的下游链路,通常比纠结模型名字更有用。
- 第一步:写下下游动作用一句话写清楚这个输出接下来被谁用、用来干嘛。写不出来,说明需求还没定,先别选型。
- 第二步:看评价口径如果验收标准是「看起来像不像、好不好看」,偏生成;如果是「预测下一步偏差多大、控制任务成功率有没有提升」,偏世界模型。
- 第三步:检查是否闭环输出会不会反过来影响系统自己的下一步行为。会,就是闭环场景,对表征的要求完全不同。
- 第四步:确认交付边界输出是最终交付还是中间产物。中间产物通常还要接别的模块,接口形式比画面质量更关键。
也要说清楚不适用的情况。不是所有做决策的系统都必须上世界模型,规则明确、状态空间很小的场景,用传统控制或查表反而更稳;反过来,如果团队当下只要一份能拿出去讲的材料,把生成模型包装成「世界模型」也能撑一阵,但要提前知道这个包装的边界在哪。判断标准不是哪个词更高级,而是你的下游到底要像素还是要状态。缺哪个,到站内相应的资料页去核对当时的模型清单和能力说明,别靠名字猜。
输入输出契约:谁接受什么、吐什么
先别急着聊模型强不强,先看你手里有什么、要交什么。视频生成这条链路,输入端基本是自然语言提示、参考图、首尾帧这几样,输出端是一段按时长和分辨率交付的成片。世界模型那条链路不一样,它的输入里通常还有「动作」和「时间步」,输出是对下一个状态的预测。
| 对比项 | 视频生成 | 世界模型 |
|---|---|---|
| 主要输入 | 文本提示、参考图、首尾帧 | 当前观测、动作指令、时间步 |
| 输出形态 | 固定时长、固定分辨率的成片 | 对下一状态的预测,可含图像也可不含 |
| 可控抓手 | 镜头、风格、时长、首尾衔接 | 动作序列与状态转移是否对得上 |
| 核心指标 | 出片率与镜头是否可控 | 预测与真实环境的偏差会不会累积 |
这个差异落到工程上,就是两条完全不同的验收标准。做视频生成,你关心的是这一批里能用的有几条、镜头运动听不听话、改一版要多久;做世界模型,你关心的是预测一步准不准、连着预测很多步之后误差是收敛还是发散。前者可以人工挑一条能看的交差,后者挑不出来,偏差会一直传下去。
- 看输入接口:能不能喂进一帧当前画面加一条动作指令,而不是只给一段文字
- 看输出定义:吐的是给人看的成片,还是喂给下游决策的下一状态
- 看时间维度:有没有显式的时间步概念,还是一段固定时长的视频
- 看误差处理:预测错了是重生成,还是要在状态里累积下去
- 看验收人:是内容团队审片,还是策略或仿真环节拿去做闭环
- 先盘点你有哪些输入通道把系统实际能提供的信号列出来:文字、图片、可以是视频流吗,有没有控制量或动作这一类带方向性的输入。列不出来就说明缺一路。
- 再确认输出要交给谁如果下游是人看片、剪辑、投放,那多半是视频生成路线;如果下游是另一个程序拿去做判断或规划,才需要状态预测这种输出形态。
- 用能不能提供动作做分水岭你的系统能不能稳定地给出「动作」这一路输入。给不了,基本就用不上世界模型那一层,硬套只会让接口对不上、评测也没有意义。
一致性与物理合理性,不是一回事
这两件事经常被混着说,其实是两个层级的指标。视频生成的一致性,主要管的是「看着顺不顺」:相邻帧之间别闪、主体别突然糊掉或者多长一只手、镜头运动别跳。观感过关,基本就有人愿意买单。世界模型要在这之上多扛一个指标——长时间推演之后,画面里的状态还自洽吗?
- 一致性
- 帧与帧之间的稳定度,重点是画面观感,短片段里最容易达标
- 物理合理性
- 状态与状态之间的自洽度,重点是长时间后还讲不讲道理,比如物体不凭空穿墙、遮挡关系不乱、物体被挡住后不会消失
- 误差累积
- 每步小偏差被下一步当成新的输入,越往后越偏,短片看不出、长序列才暴露
一个常见的误判是拿演示片段下结论。演示通常剪得短、机位稳、场景简单,这几条恰好都在帮一致性打掩护,也顺便把物理问题藏起来了。物体在这一秒没穿模,不代表推演一百步之后还不穿。判断时要问的是:它是在「演一段」还是在「维持一个世界」。
| 考察角度 | 视频生成看什么 | 世界模型还要多看什么 |
|---|---|---|
| 时长 | 短片里不闪、主体不变形即可 | 推演越长越要稳,误差不能滚雪球 |
| 交互 | 一般是生成完再看,过程不可改 | 支持逐步生成、边生成边受输入影响 |
| 状态 | 画面好看就行,前后不必严格对应 | 物体位置、遮挡、空间关系要前后自洽 |
| 失败样子 | 糊、闪、变形、镜头乱跳 | 穿墙、瞬移、遮挡关系翻转、物体凭空消失 |
- 先看时长上限问清楚一次能推多久、能不能接着往下续。只给短片的,先按视频生成看,别急着当世界模型。
- 再看能不能交互式逐步生成能不能一边生成一边加输入、改动作,下一帧会不会受上一帧和外部指令共同影响。只能一次性出完整段的,通常不具备这个能力。
- 最后才看画质画质是加分项不是判定项。前两条过不了,画质再高也只是好看的短片。
- 核对站内记录具体每家的时长、交互能力这类数字会变,直接到 模型资料库(/models) 看当时的记录,别用记忆里的印象下结论。
评测口径不同,榜单不能混着看
看到一个新榜单,先别急着比较谁强谁弱,第一件事是确认它测的是哪一类。测视频生成的榜单,本质是在给画面打分;测世界模型的榜单,本质是在看任务能不能做成。这两类口径不一样,数字放在一起比没有意义。
| 评估维度 | 视频生成偏重 | 世界模型偏重 |
|---|---|---|
| 主要判断方式 | 主观与美学评估、人工偏好打分 | 任务指标,成功与否有客观判据 |
| 典型硬指标 | 出片速度、时长、分辨率 | 给定环境里的任务成功率 |
| 动态相关指标 | 画面连贯性、运动自然度 | 预测误差随步长的变化 |
| 可比性前提 | 测试集与评分口径一致 | 环境、任务定义、步长设定一致 |
所以看到一个榜单,先确认它落在哪一栏。如果它排的是画质、观感、出片效率,那它属于视频生成那一类;如果它排的是在某个环境里把任务做成的比例,或者随预测步长拉长误差怎么走,那它属于世界模型那一类。分类判断只解决读法问题,不解决谁更值得用,具体选型还要看你的场景。
- 先看榜单说明里的评测目标,是打分还是判成败
- 再看测试对象:是给定提示词出片,还是给定环境做决策
- 然后看指标单位:主观评分、秒数、概率,还是误差数值
- 最后看它有没有跨类别混排,混排的结论基本不能直接引用
- 拿不准就先去站内榜单归类页对齐,再去看对应指标文
想自己核对归类,可以到 /benchmarks 和 /benchmarks/registry 看榜单是按什么维度登记的,再到 /video-understanding-benchmark-metrics 这类指标文里对齐读法。这样做的价值在于:你能在同一口径下横向比较,而不是被一张混着两类指标的图带偏。
成本结构长在哪一段
聊成本别一上来就问「一次多少钱」,那个数字只在两家报价单里长得像。视频生成的账基本按次或按秒走,钱主要烧在单次生成上 —— 出一版不满意、参数没调对、抽卡抽废了,重抽就是重新付一遍。所以真正决定预算的不是标价,是「你打算重抽几次」。
世界模型类能力是另一种结构:按调用次数加推演步数计费,步数越多越贵,而且推演不是白跑的,背后还要算上仿真环境的运行开销。这意味着它的成本曲线是跟「你想让它想多深」绑在一起的,不是跟「你让它画几张」绑在一起的。
| 对比维度 | 视频/图像生成 | 世界模型类能力 |
|---|---|---|
| 计费锚点 | 按次或按秒 | 调用次数 + 推演步数 |
| 成本大头 | 单次生成本身 | 步数与仿真环境运行 |
| 失败代价 | 重抽即重复付费 | 步数拉长即持续叠加 |
| 省钱方向 | 减少无效重抽 | 控制推演深度与调用频次 |
- 别只抄单次报价:先估「跑到可交付状态要几次」,通常生成类要乘 3 到 10 次不等的重试系数
- 推演类先问清步数是不是阶梯计价,有没有步数上限,上限之外怎么算
- 把仿真环境的运行开销单独列一行,它不一定出现在那张报价单上
- 问清楚失败或中断的调用算不算钱,这决定了你的重试策略
- 两家口径对不上时,以你实际要走的调用路径为准,别拿 A 的单价套 B 的流程
- 先定交付验收线把「什么样算能用」写死:时长、清晰度、动作连贯度各几条硬指标。验收线越模糊,重抽次数越不可控。
- 回放你的真实重试率拿过去一周的实际任务算一下平均几次才过。没有数据就先按保守上限估,别按理想值做预算。
- 跑一次小样对口径用同一段需求分别打一次生成类和推演类,记下实际扣费条目,到站内 /official-api 与 /official-api/providers/openai 这类页面对一眼各家口径的差异。
- 算单位可交付成本总花费 ÷ 可交付条数,才是能横向比的那个数。单次报价相同的两家,这个数字可能差好几倍。
按场景选:什么活该用哪一类
选哪一类,先别看模型名字,先看交付物是什么。交付物是给人看的成品——广告片、短视频、产品演示,那基本就是图像视频生成的地盘,链路短,中间环节少,可控点集中在提示词、参考图和首尾帧上,改一版就是重跑一次。交付物是决策能力——让智能体在虚拟环境里练操作、做机器人或游戏的策略预演,那要看的指标就完全变了,重点不在画面好不好看,而在环境能不能接进去、动作反馈对不对得上。
| 场景类型 | 先看哪一类 | 主要成本在哪 | 判断不适用的情况 |
|---|---|---|---|
| 广告片/短视频/产品演示 | 图像视频生成 | 提示词与参考图的调试轮次、镜头一致性 | 需要模型对环境变化做出因果反应时 |
| 机器人操作训练、策略预演 | 世界模型方向 | 环境对接与动作空间适配的工程量 | 只是要一段有镜头感的成片时 |
| 素材+决策的混合任务 | 两类分工用,别混在一个模型上 | 两套链路的联调成本 | 预算或人力只够养一套链路时 |
| 纯概念验证、内部沟通 | 图像视频生成 | 出片速度 | 需要可复现的决策日志时 |
- 先写清交付物用一句话描述最终要交的东西:是一段给客户看的视频,还是一个能持续做决策的策略。写不出来就先别选模型。
- 再数可控点图像视频生成的可控点通常落在提示词、参考图、镜头描述上;世界模型方向的可控点在环境接口、动作定义、奖励或反馈规则上。数一遍你能实际调哪几个。
- 估对接成本世界模型方向绕不开环境对接:虚拟环境怎么接、动作怎么传、反馈怎么回。把这块的工程量单独列出来问清楚,不要只听生成效果。
- 混合场景先拆开如果是先用视频生成做素材、再用世界模型做决策,就按两条链路分别选型、分别验收,不要指望一个模型两头都干好。
边界提醒很实在:只是要一段有镜头感的视频时,引入世界模型通常只会增加工程量。环境对接、动作空间、反馈回路这些东西在纯出片任务里用不上,却会实实在在占掉时间和人力。反过来,要让智能体反复练操作,用视频生成凑数也撑不住,因为缺的是可交互的环境和一致的因果反馈,不是画面。
- 判断口诀:看成品选视频生成,看决策选世界模型方向。
- 混合场景分两条链路选型,各自验收,别求一个模型通吃。
- 世界模型方向必问一句:环境对接要谁来做、大概多少工作量。
- 纯出片任务里,凡是让你先搭环境再出片的方案,都先打个问号。
- 拿不准时,去站内模型资料库和评测页面看当时的对比,别凭印象选。
对接前该问的六个问题
这一节不聊概念,直接给你一份对接前要问清楚的清单。下面六个问题,问完基本能判断对方是「一次性出片的生成模型」还是「可交互的世界模型」。每个答案都别只听口头描述,要到站内页面把参数形态、计费口径、授权条款逐项对上。
| 问什么 | 听什么算合格 | 去哪核对 |
|---|---|---|
| 输出形态 | 明确说清是固定成片还是可连续交互 | 到 /ai-nav/category/ai-video 看接入方式说明 |
| 输入信号 | 说明接口收不收动作、控制量或状态回传 | 到 /official-api 看请求字段 |
| 单次上限 | 给出单次时长或步数上限以及超出后的处理 | 到 /official-api 看限流与计费说明 |
| 镜头控制 | 说明能控到哪一级,是无、是整段还是逐帧 | 到 /ai-nav/category/ai-video 看能力标注 |
| 重试排队 | 说明失败是否重试、排队是否重复扣 | 到 /official-api 看错误码与计费口径 |
| 授权范围 | 白纸黑字写明是否含商用 | 到 /official-api 看服务条款 |
- 先问输出是成片还是可交互让对方用一句话回答:一次调用返回的是完整视频,还是返回一个能被后续请求继续影响的状态。如果只能返回成片、不接受后续输入,那就是生成模型思路;如果能带状态接着调,才是世界模型思路。回答含糊的,让它给一个最小可跑示例。
- 再问输入侧收什么信号确认请求里能不能带动作、控制量、相机参数或上一帧状态。重点不是「能不能传图」,而是传进去之后会不会改变后续演化。让对方列清楚字段名和取值范围,别接受「支持多种输入」这种没信息量的回答。
- 接着问单次上限和超限规则单次调用对应多少时长或多少步,超了是截断、报错还是按段续费,这些必须在接入前问明。不要自己假设,让它写进接口说明。
- 然后问镜头控制粒度能不能指定镜头、运镜、视角,控制到整段、分镜还是逐帧,粒度不同直接决定你能做剪辑还是只能当素材源。问清最小可控单元。
- 最后问失败重试、排队和授权失败重试是否重复计费、排队期间是否占用额度、商用授权是否覆盖你的使用场景,这三条落到书面条款再签。
- 对方只给演示视频、不给接口字段说明的,先当成不可对接处理
- 把「支持交互」拆成:请求能否带状态、状态能否影响后续输出、状态能否被外部读取
- 计费口径问清是按次、按时长还是按步,混合计费的要问清哪部分叠加
- 镜头控制问清是自然语言描述还是结构化参数,后者才可稳定复现
- 授权问清是否含二次分发、是否含商用素材训练,别只看能不能生成
三个最常见的误读
聊世界模型和图像视频生成区别时,最容易出问题的不是概念本身,而是三个想当然的误读。这三个误读不会让你立刻报错,但会让你在选型、迁移和验收上一步步走偏。下面把每个误读拆开,给出可操作的判断办法。
误读一:把「连贯」当成「懂了物理」
画面连贯、长视频不崩,说明的是生成器在观感层面维持住了前后一致,这属于输出质量。而是否掌握规律,要看你能不能对画面里的关键变量做干预,并且结果按预期变化。只靠看片,这两件事分不开。
- 连贯看的是「不出戏」:物体不闪烁、镜头不跳、风格不漂移,靠肉眼就能判断;
- 规律看的是「可干预」:改一个条件,输出跟着变,而且换一组条件还能复现;
- 验证套路是控制变量:同一提示词只改一个物理量,观察结果是否定向变化;
- 再看反事实:把现实里不成立的设定喂进去,看它是照单全收还是给出合理反应;
- 如果只能看不能改,那它更接近视频生成工具,而不是世界模型。
什么情况下不适用:如果你要的只是短片段素材、广告空镜、风格化转场,那连贯本身就够用,不必强求可干预。硬套规律验证反而增加成本。想确认某类模型在干预测试上的表现,可以到 /tools 找对照与记录,别只看演示片。
误读二:把世界模型当「更高级的视频生成工具」
两者不是同一档位的替代关系。视频生成工具的评价核心是画面好不好看、像不像、稳不稳;世界模型的评价核心是任务成效——拿它去做预测、规划、控制,能不能把任务做对。好看是副产品,不是靶子。
| 对比项 | 图像视频生成 | 世界模型 |
|---|---|---|
| 主要目标 | 产出可用的画面内容 | 支撑预测、决策或控制 |
| 验收方式 | 人看、主观打分、风格一致性 | 接到下游任务里看任务指标 |
| 失败表现 | 画面崩坏、跳变、不连贯 | 预测偏差累积、干预无效 |
| 调参方向 | 提示词、风格、时长、分辨率 | 状态表示、动作接口、时序一致性 |
| 不适合用在 | 要求因果推断的场景 | 只想快速出素材的场景 |
判断方法很简单:先问「这个产物最终交给谁用」。如果最终是给人看的,按画面标准评;如果最终是给另一个系统做输入,就得按任务成效评。分不清这一点,就会拿审美标准去验收一个决策组件,或者反过来。
误读三:接口长得像就能直接换
参数名接近不代表语义一致。同名参数在两个体系里可能一个按秒、一个按帧,一个从 0 开始、一个从 1 开始,一个默认开启、一个默认关闭。迁移时最常踩的坑不是报错,而是默认值不同导致结果悄悄跑偏,你还不一定发现。
- 先做参数对照表把源接口和目标接口的每个参数列出来,标注含义、单位、取值范围、默认值。同名不同义的单独标红。
- 锁死默认值第一次调用时把所有关键参数显式写全,不要依赖对方默认值。跑通后再逐项放回默认,观察差异。
- 用最小样例验证构造一个输入简单、结果可预期的样例,两边各跑一次,对比输出的结构和量级是否对得上。
- 检查边界行为空输入、超长输入、异常数值各试一次,看两边是报错、截断还是静默修正,这决定了出错时的排查方向。
- 记录迁移差异把踩过的差异写成清单留给下一个人,避免每次换接口都重新试一遍。
什么情况下不适用:如果你只是把两个接口当黑盒各跑各的、不做结果对比,那这套对照确实显得多余。但一旦要做 A/B 替换或者混合调用,参数语义不一致会直接污染对比结论。
连贯是观感,规律要能被干预验证;接口像不像不重要,语义对不对才决定迁移成败。
常见问题
世界模型是不是就是更强的视频生成模型?
不是同一类目标。视频生成的交付物是可播放的画面,评价看观感、时长和可控性;世界模型更强调对环境状态的内部表征与逐步预测,画面只是它的一种输出形式。判断标准是下游要不要拿输出去做决策或控制,如果只是投放成片,用视频生成更省事。
做短视频业务有必要上世界模型吗?
多数情况没必要。短视频要的是成片率、风格稳定和出片速度,这些在图像视频生成这一侧更成熟,控制手段也集中在提示词、参考图和镜头描述上。只有当你的产品需要让系统预判「下一步会发生什么」并据此调整行为时,世界模型那套能力才进入考虑范围。
两类能力可以放进同一条流水线吗?
可以,但要分清各自的位置。常见做法是用视频生成产出素材或预览,再由另一层做状态推演与决策,中间通过结构化接口传状态而不是传完整视频,能省掉大量转码与对齐成本。真要串起来,先把输入输出契约写清楚,再谈效果。
选型时最先该确认哪一件事?
先确认下游消费的是画面还是状态。这一条定下来,评测口径、接口形态、计费方式基本就跟着定了。反过来从「哪个效果好」入手,很容易把两类模型的榜单混着看,得出没法落地的结论。站内 /benchmarks 与 /models 可以帮你按类别找资料。
怎么判断一个演示是不是靠剪辑撑起来的?
看它给不给连续时长与中间状态。愿意开放逐步生成、允许你指定动作或视角的,通常底层有状态推演;只放一段剪好的成片、不给交互入口的,很难判断是模型能力还是后期拼接。对接时直接问接口能不能分步调用,比看演示片有用。