文字生成视频
仅凭一段文字提示词合成任意风格的视频片段。官网示例提示词为「The late afternoon sun peeking through the window of a New York City loft」，是「能说出口的，就能看到」。
价格官网未标价
平台—
归类大模型与开发平台
收录2023-02-01
复核2023-02-01
编辑评分
4.3 / 5
★★★★☆
Gen-2编辑总结
Gen-2 是 Runway Research 于 2023 年 2 月推出的多模态视频生成系统，前身是 GEN 1。它支持文字生成视频、文字加图片生成视频、图片生成视频等八种模式，覆盖从纯文本驱动到蒙版局部风格化的完整工作流。用户研究显示，Gen-2 在图像到图像与视频到视频转换上分别有 73.53% 和 88.24% 的偏好度优于 Stable Diffusion 1.5 与 Text2Live。明显短板是官网未公开具体价格、免费额度与生成时长上限，选择前需要先在官网确认付费与授权细节。
Gen-2是什么？
Gen-2 是 Runway Research 推出的多模态 AI 系统，可以根据文字、图片或视频片段生成全新的视频。它面向影视创作者、广告制作人和希望摆脱传统拍摄流程的内容团队，定位是推动影视创作的新形式。
Gen-2 基于 GEN 1 的技术积累，在视频生成质量和一致性上做了提升。包括八种工作模式，包括文字生成视频、文字加图片生成视频、图片生成视频、风格迁移、故事板、蒙版、渲染和定制化，覆盖从零素材生成到已有素材风格化的完整链路。
对于普通创作者，可以直接用文字提示词生成片段，或者上传一张图片让它动起来；对于有素材的团队，可以用风格迁移、蒙版和渲染把实拍或未贴图的三维渲染统一成目标风格；开发者则可以通过定制化模式针对特定需求微调模型，以获得更高保真的结果。
Gen-2核心功能
文字加图片生成视频
以一张驱动图像配合一段文字提示词生成视频，用图片锁定构图和主体，用文字控制动作与氛围。官网示例为「A low angle shot of a man walking down a street, illuminated by the neon signs of the bars around him」。
图片生成视频
只给一张驱动图像即可生成视频，官网将其归为 Variations Mode（变化模式），适合把静态插画、概念图或产品图快速转成动态镜头。
视频风格迁移
把任意一张图片或一段提示词的风格应用到源视频的每一帧上，让实拍素材整体变成目标画风，适合统一广告片、MV 或短剧的视觉调性。
故事板转动画
把分镜草图、mockup 转成完整风格化并带动画的渲染结果，让前期故事板直接变成可看的动态预览，缩短从草图到成片的验证周期。
蒙版局部风格化
只对视频中的指定区域施加风格化，其余部分保持原样不变，适合保留人物原貌只改背景，或只给某一物体换材质的精细操作。
渲染图拟真化
把没有贴图的三维渲染输出转成写实结果，通过输入一张参考图或一段提示词来指定材质与光照，让白模快速获得可交付的质感。
模型定制化
官网提供 Customization 模式，可以针对特定需求定制模型，以获得更高保真的结果，适合有稳定风格要求、需要批量产出的团队。
Gen-2值不值得用？
当你的任务是用文字或单张图片快速产出视频概念片、动态分镜或风格化预览时，Gen-2 值得优先考虑——它在图像到图像和视频到视频转换上分别有 73.53% 和 88.24% 的偏好度领先 Stable Diffusion 1.5 与 Text2Live，八种模式基本覆盖了从零素材到已有素材的全流程。但如果你的项目需要明确的成本预算，或者需要把商用授权范围写进合同，需要先在官网确认定价与授权细节再决定，官网目前未公开这些信息。
建议选它的情况
- 需要用文字提示词快速试出视频概念方向的导演与创意人员
- 手上有实拍或白模素材、希望统一成特定画风的后期团队
- 要把故事板草图转成动态预览、加速前期沟通的制片方
不建议选它的情况
- 预算需要提前锁定、无法接受定价不透明的项目
- 要求生成时长与分辨率有明确上限承诺的交付场景
Gen-2使用建议
入门先把路子走对
- 从文字生成视频入手先用 Mode 01 文字生成视频跑通一条完整链路，熟悉提示词对风格和构图的影响，再叠加图片或视频输入。
- 提示词写清镜头语言官网示例提示词包含「Top-down-drone-shot」「low angle shot」这类机位描述，把景别和机位写进提示词比只写画面内容更能控制结果。
- 已有素材先用风格迁移手上有实拍素材时直接走 Mode 04，把参考图或提示词的风格套到每一帧上，比从零生成再拼接更省时间。
- 在 Runway 内试用提供 Try Gen-2 in Runway 入口，先在这个入口做小样本测试，确认输出质量再决定是否投入正式项目。
进阶省时间也省钱
- 文字加图片锁构图需要精确控制主体位置时用 Mode 02，用驱动图固定构图，再用文字只描述动作和光线，避免纯文字生成时画面漂移。
- 蒙版只改该改的地方人物形象不能变、只想换背景时用 Mode 06，对指定区域施加风格化，其余帧保持原样，省去逐帧抠像。
- 白模先渲染再合成三维流程里先出无贴图渲染，再用 Mode 07 加参考图生成写实材质，比在三维软件里反复调材质更快看到效果。
- 固定风格走定制化如果一类项目要反复产出同一风格，用 Mode 08 针对该风格定制模型，比每次重新调提示词的保真度更高、返工更少。
Gen-2适合谁用？
影视概念设计团队
推荐需要把剧本文字快速转成可看的动态概念片，文字生成视频和故事板模式能压缩从文字到画面的验证周期。
广告与 MV 后期
推荐手上有实拍素材，想统一成特定画风或给局部换材质，风格迁移与蒙版模式可以直接作用在已有素材上。
三维动画工作室
推荐白模渲染阶段用渲染模式加参考图生成写实输出，能在正式渲染前先确认材质与光照方向。
预算固定的商业项目
有条件需要提前锁定成本或把授权范围写进合同的项目，要先确认计费方式再决定。
需要明确时长上限的交付
有条件未说明单次生成的时长与分辨率上限，对交付规格有硬性要求的项目存在不确定性。
Gen-2优点和缺点
优点
- 用户研究中图像到图像转换有 73.53% 的偏好度优于 Stable Diffusion 1.5
- 视频到视频转换有 88.24% 的偏好度优于 Text2Live
- 提供文字、文字加图片、图片三种输入方式，覆盖不同素材条件
- 八种模式覆盖风格迁移、故事板、蒙版、渲染与定制化完整链路
- 支持针对特定需求定制模型以提升保真度
缺点
- 未说明生成内容的商用授权范围
- 未提及支持的语言与地域可用性
Gen-2关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 图像到图像转换偏好度 | 73.53% | 基于用户研究，Gen-2 结果优于 Stable Diffusion 1.5 |
| 视频到视频转换偏好度 | 88.24% | 基于用户研究，Gen-2 结果优于 Text2Live |
| 工作模式数量 | 8 | 官网列出 Mode 01 至 Mode 08 |
| 发布时间 | Feb 2023 | 官网署名 Anastasis Germanidis，日期 Feb 2023 |
Gen-2常见问题
Gen-2 主要能做什么？＋
它是一个多模态视频生成系统，可以用文字、图片或视频片段生成全新视频。包括八种模式：文字生成视频、文字加图片生成视频、图片生成视频、风格迁移、故事板、蒙版、渲染和定制化。
当前主力能力是哪几种模式？＋
用 Mode 01 到 Mode 08 编号呈现全部能力，其中文字生成视频、文字加图片生成视频、图片生成视频是三种主要输入方式，后续五种模式面向已有素材的风格化与精细化处理。
Gen-2 和 Stable Diffusion 1.5 比怎么样？＋
引用用户研究结果，Gen-2 在图像到图像转换上有 73.53% 的偏好度优于 Stable Diffusion 1.5。需要注意的是这是官方自行开展的偏好度调研，测试条件与样本量官网未说明。
Gen-2 和 Text2Live 比怎么样？＋
引用用户研究结果，Gen-2 在视频到视频转换上有 88.24% 的偏好度优于 Text2Live。同一组数据中图像到图像的对手是 Stable Diffusion 1.5，两组对比分别对应不同的任务类型。
Gen-2 是什么时候发布的？＋
署名为 Anastasis Germanidis，日期为 Feb 2023，即 2023 年 2 月发布。Gen-2 基于 GEN 1 的技术积累，官方将其定位为推动影视创作新形式的又一步。
怎么试用 Gen-2？＋
提供 Try Gen-2 in Runway 入口，点击后进入 Runway 主站使用。Gen-2 本身是 Runway Research 发布的研究项目页面，实际生成操作在 Runway 平台内完成。
Gen-2竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Gen-2本工具 | 4.3 | 未标价 | 文字生成视频；文字加图片生成视频；图片生成视频；视频风格迁移 | — |
| Search Civitai | — | 未标价 | Civitai 是一个 AI 艺术搜索引擎, 帮助你发现最佳的 Stable Diffusion | — |
| dreamlook ai | — | 未标价 | 提供高效、便捷的 Stable Diffusion 模型训练与图像生成服务 | Web |
| StableLM | — | 未标价 | StableLM 是由 Stable Diffusion 背后的团队 Stability AI 最 | — |
| GPT Clone | — | 未标价 | 定制 Stable Diffusion 模型的 GPT 克隆，提供稳定可靠的 API 接口 | — |
| WhiteRabbitNeo-7B-v1.5a | — | 未标价 | WhiteRabbitNeo-7B-v1.5a 是一个预训练的大型语言模型，可用于多种自 | — |
