Virtual Singer MV Production Pipeline
概述
给定四个输入（音乐音频、歌词文本、视频脚本/分镜、虚拟歌手三视图参考图），
自动生成完整的场景化音乐视频（MV）。流水线覆盖音频分析、场景生成、角色生成/
动画、合成剪辑、最终输出全流程，无需任何外部第三方工具。
前置条件
在开始前，验证所有依赖是否可用：
# 检查 FFmpeg
ffmpeg -version
# 检查 Python librosa
python -c "import librosa; print(librosa.__version__)"
如果缺少 FFmpeg：Windows 执行 winget install ffmpeg，macOS 执行 brew install ffmpeg。
如果缺少 librosa：在 Python venv 中执行 pip install librosa soundfile。
依赖技能
以下技能必须已安装（WorkBuddy 技能市场中可获取）：
| 技能 | 作用 |
|---|---|
| remotion-video-toolkit | 程序化视频合成、字幕叠加、时间轴组装 |
| openai-whisper-api | 音频转写，用于歌词与音频时间对齐 |
| nano-banana-pro | 高质量角色图像生成与精修 |
| media-downloader | 素材视频下载，补充场景画面 |
内置工具
| 工具 | 作用 |
|---|---|
| ImageGen | 从三视图生成角色图像、场景概念图 |
| VideoGen | 文生视频、图生视频，用于场景背景和角色动态 |
| 3D 模型与视频特效 (buddy-cloud.py) | 从参考图生成 3D 模型、视频特效模板动画 |
流水线总览
输入 → 音频分析 → 场景生成 + 角色生成
→ 角色动画（3种模式）→ 合成剪辑 → 最终 MV
不要在未经用户确认的情况下执行所有步骤。每个阶段先展示计划，用户确认后再继续。
Step 1: 音频分析
目标：提取 BPM、节拍时间戳、歌词与音频时间对齐。
-
使用
openai-whisper-api技能转写提供的音频文件。
- 如果音频以器乐为主，Whisper 可能无法产生有意义的歌词。
此时跳过 Whisper，仅使用用户提供的歌词文本。 -
运行
scripts/analyze_audio.py <音频文件路径> <输出JSON路径>提取：
- BPM（每分钟节拍数）
- 节拍时间戳数组（秒）
- 总时长 -
将歌词对齐到节拍网格，创建歌词时间轴 JSON：
json [ {"start": 0.0, "end": 5.2, "text": "第一行歌词"}, {"start": 5.2, "end": 10.5, "text": "第二行歌词"} ] -
解析用户的视频脚本/分镜，将每个场景映射到目标时间范围。
输出：lyrics_timeline.json 和 scene_timeline.json
Step 2: 场景视频生成
目标：为脚本中描述的每个场景生成视频片段。
-
对脚本中的每个场景：
- 如果用户提供了概念图，使用VideoGen图生视频。
- 如果只有文本描述，使用VideoGen文生视频。
- 默认参数：seconds匹配场景时长，resolution: 1080P，aspect_ratio: 16:9。
- 保存为scene_<N>_<timestamp>.mp4。 -
可选使用
media-downloader技能搜索补充素材视频
（如"城市夜景"、"海浪"等），作为备用或 B-roll。 -
对于需要虚拟歌手出现的场景，生成纯背景视频（角色稍后合成）。
输出：一组场景视频文件。
Step 3: 虚拟角色生成
目标：从三视图参考图生成虚拟歌手角色的多角度/多表情图像。
-
使用
ImageGen以三视图为输入，生成角色不同表情和姿势：
- 正面站立
- 侧身（3/4 视角）
- 手势（挥手、持麦克风等）
- 不同表情（严肃、微笑、感动） -
使用
nano-banana-pro技能对选定的角色图像进行高质量精修和 4K 放大。 -
对于角色需要在特定背景中的场景，使用
ImageGen图生图模式
将角色合成到该场景中。
输出：outputs/ 目录中的角色图像资源。
Step 4: 虚拟角色动画（选择模式）
目标：为虚拟歌手出现的视频片段制作角色动画。
根据创意需求选择一种或组合多种模式。
模式 A：AI 动态视频（VideoGen 图生视频）
使用角色图像通过 VideoGen 生成动态视频片段。
角色会有自然的微动作（呼吸、头发飘动、轻微转身），但不支持唇形同步。
- Prompt 示例：「虚拟歌手站在舞台上，微风轻拂，柔和灯光，轻微身体摇摆，电影质感，流畅运动」
- 设置
seconds匹配所需片段时长。
最适合：自然、写实的角色呈现。
模式 B：风格化动画（video-fx 模板）
使用 3D 模型与视频特效 技能的 video-fx 命令对角色图像应用动画模板：
echo -n "<token>" | python3 <SKILL_DIR>/scripts/buddy-cloud.py video-fx \
--template animelive --image <character_image_url> --token-stdin
可选模板：
- animelive — 动漫风格角色动画
- cartoonlive — 卡通风格角色动画
- 3dfigure — 3D 手办风格
- fuzzy — 毛绒角色风格
最适合：风格化、艺术感。
模式 C：3D 模型（图生 3D）
从三视图参考生成虚拟歌手的 3D 模型：
echo -n "<token>" | python3 <SKILL_DIR>/scripts/buddy-cloud.py 3d \
--image-url <reference_image_url> --enable-pbr --token-stdin
多视角输入：
echo -n "<token>" | python3 <SKILL_DIR>/scripts/buddy-cloud.py 3d \
--multi-view '[{"ViewType":"front","ViewImageUrl":"..."},
{"ViewType":"back","ViewImageUrl":"..."},
{"ViewType":"left","ViewImageUrl":"..."}]' --token-stdin
生成后创建 viewer.html 进行本地预览，然后在 MV 中使用旋转 3D 模型镜头。
最适合：高端、产品展示风格镜头。
Step 5: 视频合成
目标：将所有视频片段、角色动画、音频、字幕合成为最终 MV。
-
加载
remotion-video-toolkit技能，创建 Remotion 项目：
- 按scene_timeline.json将场景片段放置到时间轴
- 在指定时刻叠加角色动画片段
- 按lyrics_timeline.json添加歌词字幕
- 使用原始音乐音频作为唯一音轨 -
Remotion 合成参数：
- 分辨率：1920x1080（或用户指定）
- 帧率：30 FPS
- 音频：原始音乐文件 -
渲染合成项目，生成最终 MV 文件。
Step 6: 输出
-
将最终渲染的 MV 保存为
virtual_singer_mv_<timestamp>.mp4，
存放在工作区 outputs 目录。 -
使用
present_files向用户展示结果。 -
仅在用户明确要求时清理中间文件。
错误处理
- 如果 VideoGen 对某个场景失败，回退为该片段使用 ImageGen 生成的静态图片。
- 如果 3D 模型生成失败，回退为模式 A 或 B。
- 如果 Remotion 渲染失败，回退为 FFmpeg 拼接组装：
bash
# 创建拼接列表
for f in scene_*.mp4; do echo "file '$f'" >> concat_list.txt; done
ffmpeg -f concat -safe 0 -i concat_list.txt -i audio.mp3 \
-c:v libx264 -c:a aac -shortest final_mv.mp4
质量准则
- 最终输出始终使用 1080P 或更高，除非用户另有要求。
- 宽高比默认 16:9；如果需要竖屏/短视频格式则使用 9:16。
- 角色图像应在多次生成中保持一致性——使用描述角色关键视觉特征的相同 prompt 前缀。
- 字幕字体：使用清晰的无衬线字体，白色配深色描边以保证可读性。
