关键帧翻译
框架第一部分使用适配过的扩散模型生成关键帧，并对这些关键帧施加层次化跨帧约束，以强制形状、纹理和颜色上的连贯性。
RERENDER A VIDEO
AI TOOL PROFILE工具资料零样本文本引导的视频到视频翻译框架
价格官网未标价
平台Web
归类翻译与语言
收录2026-10-10
复核2026-10-10
编辑评分
4.3 / 5
★★★★☆
RERENDER A VIDEO编辑总结
RERENDER A VIDEO 是杨帅、周翊帆、刘子纬与 Chen Change Loy 提出的零样本文本引导视频到视频翻译框架，发表于 SIGGRAPH Asia 2023 Conference Proceedings。它不需要重新训练或优化，就把预训练图像扩散模型适配到视频领域，靠关键帧翻译与全视频翻译两部分，配合层次化跨帧约束，在形状、纹理、颜色上维持时序一致性。它兼容 LoRA、ControlNet 等已有图像扩散技术。官网该页面未给出可直接上手的产品界面或价格说明。
RERENDER A VIDEO是什么？
RERENDER A VIDEO 是一套零样本文本引导的视频到视频翻译框架，作者为 Shuai Yang、Yifan Zhou、Ziwei Liu 与 Chen Change Loy，论文发表于 ACM SIGGRAPH Asia 2023 Conference Proceedings。它面向需要把预训练图像扩散模型迁移到视频生成与编辑场景的研究者和开发者。
该框架由两部分组成：第一部分用适配过的扩散模型生成关键帧，并施加层次化跨帧约束，在形状、纹理和颜色上强制连贯；第二部分用时序感知的 patch matching 与 frame blending 把关键帧传播到其他帧。这种适配与已有图像扩散技术兼容，例如用 LoRA 定制特定主体、用 ControlNet 引入额外空间引导。涉及其基线图像模型为 Stable Diffusion。
对研究者而言，它提供了一套研究时序一致性约束的对照框架；对开发者而言，它可作为在已有图像扩散模型上加装视频能力的适配层；对普通用户而言，并未显示可直接使用的产品形态，上手门槛取决于对其代码与依赖模型的部署。
RERENDER A VIDEO核心功能
全视频翻译
框架第二部分通过时序感知的 patch matching 与 frame blending，把已生成的关键帧传播到其余帧，从而在整段视频上完成翻译。
层次化跨帧约束
用光流施加稠密跨帧约束，上一帧作为当前帧的低层参考，首帧作为锚点约束渲染过程以防止偏离初始外观。
跨帧注意力
在扩散采样过程中提供全局风格一致性，属于层次化跨帧约束里用于全局风格层面的那一项。
形状感知融合
shape-aware cross-frame latent fusion 在扩散采样早期阶段生效，用于约束帧与帧之间的形状一致性。
像素感知融合
pixel-aware cross-frame latent fusion 在扩散采样中期阶段生效，用于约束帧与帧之间的纹理一致性。
颜色自适应调整
color-aware adaptive latent adjustment 在扩散采样后期阶段生效，用于约束帧与帧之间的颜色一致性。
兼容已有技术
该适配过程无需重新训练或优化，并能与已有图像扩散技术配合，例如用 LoRA 定制特定主体、用 ControlNet 引入额外空间引导。
RERENDER A VIDEO适合谁用？
视频生成研究者
推荐论文给出了关键帧翻译、全视频翻译与四级时序一致性约束的完整设计，并与四种零样本方法做了对比。
图像扩散模型开发者
推荐该框架可直接架在已有图像扩散模型之上。
追求开箱即用的剪辑者
不推荐未提供产品化界面或价格说明，普通用户难以直接上手使用。
关注 Stable Diffusion 视频化的人
有条件展示其适配后的视频模型对比。
RERENDER A VIDEO优点和缺点
优点
- 无需重新训练或优化即可完成图像模型到视频的适配
- 在形状、纹理和颜色三个层面分别施加跨帧约束
- 兼容 LoRA 与 ControlNet 等已有图像扩散技术
- 论文发表于 SIGGRAPH Asia 2023 Conference Proceedings
- 关键帧传播采用时序感知的 patch matching 与 frame blending
缺点
- 官网未给出可安装的产品形态或使用入口
- 额度或授权方式说明
- 官网未列出可量化的评测分数或指标
- 作为研究框架，落地需自行准备依赖的图像扩散模型
RERENDER A VIDEO常见问题
这个工具要花钱吗？＋
官网未提及任何价格、费率或授权费用的说明，只提供了论文、代码与视频入口，因此无法从官网判断其收费方式。需要了解授权与使用条件，建议查阅论文页面与代码仓库的说明。
它的核心能力是什么？＋
它是一套零样本文本引导的视频到视频翻译框架，由关键帧翻译与全视频翻译两部分组成：前者用适配后的扩散模型生成关键帧并施加层次化跨帧约束，后者用时序感知的 patch matching 与 frame blending 把关键帧传播到其余帧。
它和其他零样本视频翻译方法比怎么样？＋
比较了四种零样本方法：vid2vid-zero、FateZero、Pix2Video、Text2Video-Zero。文中称 FateZero 能重建输入帧但无法按提示调整，vid2vid-zero 与 Pix2Video 过度修改输入帧导致明显形状失真与帧间不连续，并称本方法在输出质量、内容与提示匹配、时序一致性上均表现出明显优势。
它用的是什么图像模型做基础？＋
右侧为本方法适配后的视频模型。这说明其基线是预训练的图像扩散模型，再通过该框架适配到视频领域。
能在国内直接使用吗？＋
只提供了论文、代码与视频的入口，未提及任何地区限制、可用性或部署方式说明，因此无法从官网判断国内是否可用。是否需要额外配置取决于其代码与所依赖模型的实际获取条件。
它可以和 LoRA、ControlNet 一起用吗？＋
可以。允许框架利用这些技术，例如用 LoRA 定制某个特定主体，以及用 ControlNet 引入额外的空间引导。
RERENDER A VIDEO竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| RERENDER A VIDEO本工具 | 4.3 | 未标价 | 关键帧翻译；全视频翻译；层次化跨帧约束；跨帧注意力 | Web |
| vid2vid-zero本工具 | — | 未标价 | 导致明显形状失真与帧间不连续。 | — |
| FateZero本工具 | — | 未标价 | 但无法调整以匹配提示，且局部纹理缺乏连贯性。 | — |
| Pix2Video本工具 | — | 未标价 | 导致明显形状失真与帧间不连续。 | — |
| Text2Video-Zero本工具 | — | 未标价 | 作为四种零样本文本引导视频翻译方法之一被列为对比对象。 | — |
只给出与四种零样本方法的对比结论：若需要既重建输入帧又按提示调整，FateZero 在调整环节不达标；若担心输入帧被过度改动导致形状失真和帧间不连续，vid2vid-zero 与 Pix2Video 存在这类问题；若在意局部纹理连贯性，FateZero 逐帧质量高但纹理不连贯。本文方法被描述为在输出质量、内容与提示匹配、时序一致性上均优于上述方法，因此选择时可把这些失效场景作为对照判断点。
