image-to-video怎么用?图生视频的输入要求与运镜控制

内容创作

讲清图生视频喂什么图、写什么描述、怎么控运镜,并给出选型与返工排查顺序。

手里有一张满意的主图,想让它动起来,结果传上去不是糊成一片就是镜头乱飞。问题多半不在模型,而在图片本身不达标、描述写成了画面复述、运镜没写清。这篇按「先看输入、再写动作、最后管镜头」的顺序讲一遍,附一份选型对照和出错后的排查步骤,也写明哪些素材不适合走这条路。

手里有一张满意的主图,想让它动起来,结果传上去不是糊成一片就是镜头乱飞。这种情况多半不是模型不行,而是图片本身没过关、描述写成了画面复述、运镜又没交代清楚。按「先看输入、再写动作、最后管镜头」的顺序走一遍,返工次数能降不少。

下面按喂什么图、怎么写动作、怎么控运镜、怎么选平台、崩了怎么查五段讲,每段都给能直接照做的判断标准和动作。需要对照各家参数和当时的数字,一律去站内页面核对,别凭印象。

一、先看输入:这张图能不能喂

图生视频的第一步不是选平台,是审图。同一句提示词,喂一张主体清晰、背景干净的主图,和喂一张糊图或元素堆满的图,出来的东西完全两回事。审图这事花两分钟,比后面重抽五轮都值。

  • 主体清晰不糊:放大到实际画幅看边缘,主体轮廓发虚的先别传
  • 主体占比别太小:主体在画面里占比过小,模型会去动背景而不是动你要的东西
  • 边缘干净:主体周围没有杂乱元素、没有半截别人的手或腿伸进来
  • 画幅比例和目标视频一致:不一致时平台多半裁切或补边,动起来的构图和你想的不一样

这几类素材别硬上

  • 带水印或大段文字的主图,文字动起来会扭曲变形,很难修
  • 多人挤在一起、主体分不清的合影,模型不知道该让谁动
  • 商品细节密度过高的图,比如花纹密集的织物,一动就糊成一片
  • 人脸占比过小却要求五官动作的图,脸太小模型给不出细节

二、动作描述怎么写才不打架

很多人写提示词像在复述画面:把图里有什么又描述了一遍,再顺手加上四五个动作。模型读到这种描述会挑一个做,或者全做乱。动作描述的原则是「一句话一个主要动作」,其余交给镜头那一段。

写法问题改成
转身、挥手、走过来、镜头拉近写一句四个动作抢资源,出鬼影或只动一个只留一个主体动作,镜头另起一句
画面变大、画面慢慢靠近这是描述画面变化,不是描述机位镜头缓慢推近主体
很自然地动起来模型不知道幅度和方向轻微、缓慢、持续向某方向
把图里内容又写一遍占掉描述预算还容易打架只写图里没有的:动作和节奏

节奏词比形容词有用。慢、轻微、持续这类词能约束幅度,而「很自然」基本没信息量。想加时长或分辨率要求,先到 /official-api 对照目标平台当时支持的档位再写,写超了要么被截断要么直接失败。

主体动作和镜头动作分开写

一段写「谁做什么」,另一段写「机位怎么走」。混在一句里,模型很难判断这个动作是人物做还是镜头做,容易出一条主体和镜头互相打架的片子。分开写还有个好处:镜头那段可以单独替换,方便做选型实测。

三、运镜控制:推拉摇移怎么落到提示词里

运镜控制的关键是站在机位视角说话。写「镜头缓慢推近主体」,而不是「画面变大」。前者模型理解成相机在动,后者理解成图像被缩放,出来的东西不是一回事。

运镜类型提示词示例适用场景
推近镜头缓慢推近主体强调细节、制造压迫感
拉远镜头缓慢拉远露出环境交代场景、收尾
左右平移镜头从左向右缓慢平移展示横向空间、扫描式呈现
环绕镜头绕主体缓慢环绕产品展示、立体感
  • 一次只指定一个镜头运动,多个运动叠在一起时只有少数平台能稳定执行
  • 要多镜头效果就分段生成再剪,别指望一次出完整分镜
  • 分段手法和拼接工具看 /ai-nav/category/ai-video-edit
  • 同一段镜头描述换不同平台跑,差异更容易判断,适合拿来做选型实测
运镜写的是相机怎么走,不是画面怎么变。分不清这两件事,控运镜就无从谈起。

四、选型:什么情况选谁

选型按需求挑,不按名气挑。先想清楚自己最在意什么:是首尾帧一致,还是镜头时长,还是出片速度。这三件事往往不能同时占全,得排个优先级。

你最在意的去看什么去哪核对
首尾帧一致是否支持首帧锁定或首尾帧指定/ai-nav/category/ai-video 与各家 /official-api/providers
长镜头单次生成的时长上限同上,参数页对齐
快速出片排队和生成速度/tools/speed-test 量个基线
成本可控按次还是按时长计费/price-watch 看当时数字

小团队先别包年。拿两到三个真实素材各跑一轮,比参数页更说明问题。速度和排队的基线可以用 /tools/speed-test 量一次,心里有数再决定充值档位。

五、效果不对时的排查顺序

效果崩了别乱改。按变量逐个换,每次只动一个,才能定位到底是图的问题、词的问题还是平台的问题。顺序错了,改十轮也说不清是谁的锅。

  1. 第一步:换图不换提示词同一句提示词换一张构图更好的主图,看结果是否变好。变好说明问题出在输入而不是描述。
  2. 第二步:换提示词不换图把动作砍到只剩一个,看是否变稳。变稳说明之前是描述过载,不是图不行。
  3. 第三步:换平台不换素材同一张图、同一句词跑第二家。若只有一家崩,就不用再改自己的素材,问题在平台侧。跑测方法和口径参考 /tools/verify#probes。
  4. 第四步:记录在同一行把图、提示词、平台记在同一行里。返工时能一眼看出哪个变量变过,避免重复试错。
下一步手上有素材的话,先去 /tools/speed-test 量一轮基线速度,再拿两三家平台跑同一张图同一句词,把差异记下来。这样选型不用猜,后面复查也有据可依。

常见问题

图生视频和文生视频我该用哪个?

有满意的主图、要求画面内容可控就用图生视频,它把「长什么样」交给图,把「怎么动」交给描述;没有可用素材、或需要模型自己编构图时才用文生视频。两者不是替代关系,实际做片子常常是文生图定稿,再图生视频让它动。

为什么同样的提示词换一家效果差很多?

各家对镜头语言的理解、时长上限和首帧保持能力都不一样,同一个词在一家是轻微推近,在另一家可能变成大幅变焦。判断办法是固定图和一动词,只换平台跑一组对照,而不是凭一次结果下结论。

想控制镜头走位,写中文还是英文?

多数平台两种都收,但镜头术语用英文关键词往往更稳定,因为训练语料里这类描述以英文为主。稳妥做法是主体动作写中文写清楚,镜头那句用简短英文短语补充;别把整段都翻成英文,容易丢掉你想保留的细节。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。