Wan2.2 视频生成

Overview

Wan2.2 是阿里巴巴团队开发的开源大规模视频生成模型，采用 MoE（Mixture-of-Experts）架构。

核心创新：
- MoE 架构：27B 总参数，每步仅激活 14B，推理成本不变
- 电影级画质：精确控制光照、构图、对比度、色调
- 复杂运动生成：训练数据大幅增加（图像 +65.6%，视频 +83.2%）
- 消费级可行：5B 模型可在 RTX 4090（24GB）上运行

系统要求

快速安装

# 克隆仓库
git clone https://github.com/Wan-Video/Wan2.2.git
cd Wan2.2

# 安装依赖（需要 torch >= 2.4.0）
pip install -r requirements.txt

# 语音合成功能（S2V）
pip install -r requirements_s2v.txt

> 如果 flash_attn 安装失败，建议先安装其他包，最后单独安装 flash_attn。

模型下载

# HuggingFace 下载
huggingface-cli download Wan-AI/Wan2.2-T2V-A14B --local-dir ./Wan2.2-T2V-A14B
huggingface-cli download Wan-AI/Wan2.2-TI2V-5B --local-dir ./Wan2.2-TI2V-5B

# ModelScope 下载（国内推荐）
modelscope download Wan-AI/Wan2.2-T2V-A14B --local_dir ./Wan2.2-T2V-A14B

使用方法

1. 文本生成视频（T2V）

# 单卡推理（需要 --offload_model 降显存）
python generate.py --task t2v-A14B --size 1280*720 \
    --ckpt_dir ./Wan2.2-T2V-A14B \
    --offload_model True --convert_model_dtype \
    --prompt "Two anthropomorphic cats in comfy boxing gear..."

# 多卡推理（8 卡）
torchrun --nproc_per_node=8 generate.py --task t2v-A14B \
    --size 1280*720 --ckpt_dir ./Wan2.2-T2V-A14B \
    --dit_fsdp --t5_fsdp --ulysses_size 8 \
    --prompt "描述文字..."

2. 图像生成视频（I2V）

torchrun --nproc_per_node=8 generate.py --task i2v-A14B \
    --size 1280*720 --ckpt_dir ./Wan2.2-I2V-A14B \
    --image examples/i2v_input.JPG \
    --dit_fsdp --t5_fsdp --ulysses_size 8 \
    --prompt "描述这张图片如何动起来..."

3. 消费级显卡方案（TI2V-5B）

# 纯文本模式（RTX 4090 24GB 可运行）
python generate.py --task ti2v-5B --size 1280*704 \
    --ckpt_dir ./Wan2.2-TI2V-5B \
    --offload_model True --convert_model_dtype --t5_cpu \
    --prompt "描述文字..."

# 图像+文本模式
python generate.py --task ti2v-5B --size 1280*704 \
    --ckpt_dir ./Wan2.2-TI2V-5B \
    --offload_model True --convert_model_dtype --t5_cpu \
    --image examples/i2v_input.JPG \
    --prompt "描述..."

4. 语音驱动视频（S2V）

python generate.py --task s2v-14B --size 1024*704 \
    --ckpt_dir ./Wan2.2-S2V-14B/ \
    --offload_model True --convert_model_dtype \
    --prompt "描述..." \
    --image "examples/i2v_input.JPG" \
    --audio "examples/talk.wav"

5. 角色动画（Animate）

# 预处理：提取姿态数据
python ./wan/modules/animate/preprocess/preprocess_data.py \
    --ckpt_path ./Wan2.2-Animate-14B/process_checkpoint \
    --video_path ./examples/video.mp4 \
    --refer_path ./examples/image.jpeg \
    --save_path ./results \
    --resolution_area 1280 720 --retarget_flag --use_flux

# 推理：生成角色动画
python generate.py --task animate-14B \
    --ckpt_dir ./Wan2.2-Animate-14B/ \
    --src_root_path ./results/ --refert_num 1

6. Prompt 扩展（推荐）

# 使用 Dashscope API 自动扩展提示词
DASH_API_KEY=your_key torchrun --nproc_per_node=8 generate.py \
    --task t2v-A14B --size 1280*720 --ckpt_dir ./Wan2.2-T2V-A14B \
    --dit_fsdp --t5_fsdp --ulysses_size 8 \
    --prompt "简短描述" --use_prompt_extend \
    --prompt_extend_method 'dashscope' --prompt_extend_target_lang 'zh'

功能一览

模型下载链接

关键知识点

• MoE 推理：27B 参数仅激活 14B，推理效率与单模型相当
• 高压缩 VAE：16×16×4 压缩比，支持 720P@24fps
• 消费级友好：TI2V-5B 可在单张 RTX 4090 运行
• 多 GPU 加速：FSDP + DeepSpeed Ulysses 支持 8 卡并行
• Diffusers 集成：T2V/I2V/TI2V/Animate 已支持 Diffusers Pipeline
• ComfyUI：已支持

Resources

• 仓库：https://github.com/Wan-Video/Wan2.2
• 模型：https://huggingface.co/Wan-AI