对白驱动短剧 · 锁角色模式
一种与「AI视频+旁白+MG卡+字幕」相反的短剧打法:靠角色对白 + 音效讲故事,不生成旁白、不加字幕、不放背景音乐,并通过参考图锁定角色脸防跳脸。
何时用
- 用户明确要"去旁白化 / 锁角色 / 分镜对白驱动"
- 要求格式:
[起始-结束] [景别] [运镜] [画面描述] 角色A[动作]说:"[台词]"。角色B[动作]。 - 硬约束:❌ 旁白 ❌ 字幕 ❌ 配乐 ✅ 仅角色对白 + 音效
工作流(顺序)
1. 分镜脚本
读剧情源,按用户格式写 markdown 分镜,作为视频 prompt 与对白 TTS 的驱动依据。
- 区分角色声音习惯(男主短句干脆 / 女主带痞气 / 温柔女作语音条)
- 用动作、沉默、停顿代替解释性台词("此时无声胜有声")
- 用"然后/之后"描述先后顺序,避免动作同步生硬
2. 锁角色(防跳脸)
ImageGen生成每角色 9:16 写实参考图(prompt 开头要不同,否则同名文件互相覆盖),生成后mv改名为ziri-ref.png/xiaotang-ref.png/wanqing-ref.png- 视频用
VideoGen图生视频(image=参考图),同一参考图驱动该角色所有镜头 → 脸一致 - 空镜/手机特写用文生视频(
aspect_ratio:"9:16") - ⚠ 本账号
submit_video(ChatCut 原生生成)需 Pro 套餐,未订阅时改走VideoGen本地生成 +upload-media.mjs上传
3. 对白(分角色 TTS)
submit_voice(doubao 引擎,支持 emotion+performancePrompt):
- 男主 → xiaotian(小天·年轻男声)
- 女主 → liuchang(流畅女声·带表演提示做痞气/危险笑意)
- 温柔女 → xiaohe(小何·作微信语音条)
- 每句独立成 asset(不要合并),便于在时间线精确卡到角色开口的镜头
- 对话写双引号 + 说话人;短句、停顿、口语化,打破"完美完整句"
4. 音效
- 通用音效先
browse_library category:"sound-effects",用返回的library:sound:<id>(免 credits):键盘keyboard-typing-loop、提示phone-notification-ping、发送sent-message-ping、转场*-whoosh - 库里没有的定制音效(关门 / 手机震动 / 喝水 / 环境底噪)用
submit_sound生成 - 严禁用
submit_music生成背景音乐
5. 组装(edit_item,严格无字幕)
- 建轨:V1 视频;A2/A3/A4 分角色对白(role
anchor);A1 音效(rolefollower,自动压低);A5 放环境底噪(与 A1 的键盘 loop 分层,避免同轨重叠) - V1 放视频(
fit:"cover",2:3 来源左右裁 ~17.6%,脸居中不受影响) - 对白按真实 TTS 时长错开放,确保同角色轨不重叠、两人口播不打架
- 音效:
{type:"audio", assetId:"library:sound:<id>", fromFrame:<帧>};定制音效用其 assetId - 不调
edit_captions(禁字幕)、不调submit_music(禁配乐)
6. 导出
submit_export 1080p H.264 30fps → track_export 轮询 → curl 下载 S3 URL → ffprobe 校验 1080×1920/H.264/30fps/时长/AAC
关键坑(必看)
- 原子回滚:edit_item 任一项校验失败整批不提交。常见失败:
- 同轨音频重叠 → 按真实 TTS 时长错开对白;背景音(环境+键盘loop)分轨
durationInFrames超过素材真实时长 → 用 ffprobe 查真实时长,环境底噪仅 8s- library 音效 loop 过长(键盘 15.5s)盖住后续瞬时音效 → 对其
durationInFrames截断 - VideoGen 图生视频带
image时不要传aspect_ratio(比例继承参考图 2:3);文生视频才传9:16 - ImageGen 文件名碰撞:多条 prompt 开头相同 → 后写覆盖前写,让开头不同或生成后改名
- MG 卡根元素必须用
<div style={rootStyle}>,不用<AbsoluteFill>(校验失败)——本模式通常用不到 MG 卡 - 所有 ChatCut /
VideoGen/ImageGen工具经DeferExecuteTool调用(直接调报 "not found in agent cli") - 上传脚本
upload-media.mjs:一次最多 4 个文件,--token(create_session 获取, ~30min 有效) +--endpoint+--ffmpeg/--ffprobe(指向 @ffmpeg-installer / @ffprobe-installer 的 win32-x64 二进制)
与"旁白模式"的区别
旁白模式(本系列前 3 集):AI 视频 + 擎苍旁白(anchor) + 配乐(follower) + serif-band 字幕 + 4 张 MG 章节卡,视频 playbackRate 慢放铺满旁白时长。
本模式:无旁白、无字幕、无配乐、无 MG 卡,靠分角色对白 + 音效 + 锁脸角色视频驱动。