你大概遇到过这种情况：同一段提示词，文生视频出来的东西跟你想的完全不是一回事，而拿一张图去生视频，主体又崩了。问题往往不在提示词写得好不好，而在这两类任务底层跑的根本不是同一套机制。这篇按技术爱好者能看懂的方式，把两种生成方式的数据流、控制点和失败模式拆开讲，顺便告诉你什么情况下这套解释并不适用。
你大概遇到过这种情况：同一段提示词，文生视频出来的东西跟你想的完全不是一回事，而拿一张图去生视频，主体又崩了。问题往往不在提示词写得好不好，而在这两类任务底层跑的根本不是同一套机制。前者要从零决定画面长什么样，后者只需要在一张已有画面上往外推。
这篇按技术爱好者能看懂的方式，把两种生成方式的数据流、控制点和失败模式拆开讲，顺便告诉你什么情况下这套解释并不适用。先对齐几个底层词，再看后面的流程会顺很多。
两类任务其实是同一套骨架：先看共同的部分
无论文生还是图生，主流方案都沿用扩散思路：从一团噪声出发，逐步去噪还原成目标。区别只在于还原的目标是「时间加空间」的张量，比单张图多了一个维度。这个多出来的维度，就是后面所有差异的来源。
- 扩散
- 从噪声逐步去噪，多步迭代还原出内容，步数影响细节和耗时
- 潜空间
- 先把画面前压到低维表示，再在里面生成，省算力，像素空间直接做代价高
- 交叉注意力
- 让文本条件在每一步去噪里持续参与，而不是只在开头生效一次
- 时间一致性
- 相邻帧之间主体、光线、背景不跳变的程度，是视频独有的难点
时间维度的处理是真正的分水岭。有的做法把每一帧当批次独立处理，最后再拼接，这种在连续运动上容易出现闪烁；有的用三维结构同时建模空间和时间，运动更连贯，但对算力和训练数据的要求也更高。你先去 模型底层概念随手对照（/ai-dict/category/tech） 把这几个词对齐，再看下文会更顺。
文生视频：文本怎么变成第一帧和后续每一帧
文本先经编码器压成条件向量，这个向量不直接决定画面，而是通过交叉注意力在每一步去噪里持续施加影响。所以提示词不是一次性指令，更像每一步都在旁边提醒的备注，这也是为什么改动一个词，成片可能整体走样。
第一帧没有实物参考，模型必须从零决定构图、比例、光线和主体外观，所以同一句话多次生成差异大是常态，不是故障。理解了这一点，你就不会把随机性当成产品缺陷。
- 主体漂移：人物或物体的外观在镜头推进中慢慢变样，多与缺少锚定有关
- 物理规律崩坏：手部结构、液体流动、碰撞反应不合理，训练数据里这类样本本就稀少
- 镜头运动不符：描述的是缓慢推近，成片却在摇晃或原地不动，提示词对机位控制力有限
- 风格跳变：开头写实、中途变插画，风格条件没有得到全程约束
判断适不适用：如果你要的是精确可控的构图和人物一致性，纯文生视频通常不是好选择，得换思路。反过来，如果你需要的是一个全新场景、全新机位，文生视频的自由度才是它的价值。
图生视频：一张图当锚点，控制点怎么变
输入图一般先编码进潜空间，作为起始状态或强条件注入，去噪过程从这个锚点往外推。因为首帧固定，主体外观的稳定性天然比文生视频好，代价是运动自由度受限于这张图提供的视角与遮挡信息。
| 维度 | 文生视频 | 图生视频 |
|---|---|---|
| 首帧来源 | 模型生成，无参考 | 输入图，已固定 |
| 主体一致性 | 弱，容易漂移 | 强，但有上限 |
| 镜头自由度 | 高，可凭空设计机位 | 低，受原图视角约束 |
| 主要难点 | 从零决定构图与主体 | 从静图推断哪些部分会动 |
| 适合的场景 | 全新概念、氛围短片 | 让已有画面动起来、产品展示 |
关键难点在于：模型得从静态图里推断哪些部分会动、往哪个方向动，这部分靠提示词和运动先验共同约束。一张正面人像，让它转头是合理的；让它绕到背后，模型没有足够信息，只能靠猜，猜出来往往就崩了。
判断适不适用：想要多镜头切换、大幅改变机位，图生视频就力不从心，它擅长的是让已有画面活起来。如果你手上已经有满意的主视觉，图生视频是更省事的起点。
同样的输入为什么两次结果不一样
随机种子、采样步数、引导强度这几个参数任一变，轨迹就不同，这是扩散采样本身的特性，不是谁在偷工减料。所以对比产品时，单次结果说明不了太多，得多跑几次看稳定性。
不同产品在时间一致性上投入的工程也不同。有的做后处理补帧或时序平滑，表现会更稳，但不代表底层原理变了，只是把问题在输出端修了一遍。分辨率与时长是另一组变量：时长拉长后，模型需要维持的状态更多，漂移概率上升。
- 固定变量同一提示词、同一张图，跑三到五次，先看波动范围再看平均值
- 逐项改参数每次只动一个参数，比如只调步数或只调引导强度，才知道是谁在起作用
- 记录失败类型把崩坏归到主体、物理、镜头、风格四类里，方便后续对症下药
- 横向核对规格到 视频生成与剪辑（/ai-nav/category/ai-video） 按当时的目录逐个核对分辨率与时长口径，别记死某一家的数字
搞懂原理之后，怎么落到选型上
先问清楚你要的是「凭空造一个场景」还是「让手上这张图动起来」，这一条基本就决定了入口。需要人物、产品外观一致时，图生视频加参考图是更稳的起点；需要全新构图和镜头语言时，才回文生视频。
- 拿到需求先分类：造场景还是活化素材，分类错了后面全白费
- 要一致性就上参考图，别指望纯文本把主体钉住
- 要镜头语言就接受随机性，多跑几版再筛
- 下单前把时长与分辨率上限问清楚，按 买 AI 视频之前要问的 4 件事（/ai-video-buying-checklist） 走一遍清单
- 要接接口的话，先去 视频生成 API 怎么计价与选型（/official-api/providers/kling） 看当期的计费口径，别拿旧记忆做预算
还有一点要提醒：这里讲的是原理层面的共性，具体某个产品怎么实现、效果如何，各家差别很大。判断标准可以复用，数字必须现查，拿几个月前的记忆做决策很容易踩坑。
下一步想按自己的用途挑工具，可以到站内的视频生成目录里按场景筛一遍，再对照官方 API 页面看计费口径。→常见问题
文生视频和图生视频用的是不是完全不同的模型？
多数情况下不是。常见做法是同一套视频生成骨干，通过不同的条件注入方式来区分任务：文生视频把文本向量作为条件，图生视频额外把输入图编码后作为起始状态或强条件。也有厂商为两类任务分别微调出不同权重，但对使用者来说，理解控制点的差别比追究权重是否共用更有用。
为什么图生视频里主体还是会长歪、变形？
输入图只锁住了起始那一帧的外观，后续帧要靠模型自己维持。一旦运动幅度超过模型能推断的范围，或者提示词描述的动作与图里视角冲突，主体就可能在几帧之后逐渐漂移。缩短时长、减小动作幅度、把机位描述写得更贴近原图视角，通常能缓解。
理解这些原理对我实际出片有什么帮助？
最直接的帮助是少走弯路：知道文生视频首帧不可控，你就不会指望靠反复抽卡稳定拿到同一个角色；知道图生视频的运动受限于输入视角，你就不会硬要它做环绕大镜头。原理不解决具体参数问题，但能让你在失败时判断是该改提示词还是该换生成方式。
