Runway实时视频模型：单会话GPU从8块降到4块
Runway公布技术论文，首次披露Runway Characters实时视频对话产品的推理系统。论文显示，通过缓存管理、计算流程及GPU通信优化，运行单个实时会话所需H100 GPU从8块降至4块，单次生成时间从240.9毫秒缩短至147.4毫秒，实现每秒24帧的实时视频生成。
北京时间11月6日消息，AI视频生成公司Runway公布了一篇技术论文，首次详细披露其实时视频对话产品Runway Characters背后的推理系统。该系统能把一张静态图片变成可实时交流的AI虚拟角色，核心是一款约570亿参数（57B）的视频生成模型。靠一系列底层优化，Runway把运行单个会话所需的H100 GPU从8块减到4块，实现每秒24帧的实时视频生成。
和传统AI视频生成工具不同，Runway Characters不用等一整段视频生成完毕，它能根据对话内容实时生成虚拟角色的面部表情、嘴唇动作和头部运动。真实人物照片也好，卡通形象、虚构角色也罢，给一张参考图片就能生成可交互的数字角色。
论文介绍，Runway用的是自回归视频扩散Transformer模型，参数规模约57B，生成视频分辨率704×1088，帧率24fps。也就是说，系统每隔166.7毫秒就得完成一组四帧画面的生成，而且整段对话期间要一直保持这个速度。这给GPU算力带来了极高要求：按论文测算，单个实时视频会话需要约2.24 PFLOP/s的有效算力，超过一块英伟达H100 GPU的密集FP8理论峰值。
语言模型可以同时处理大量用户请求，Runway的视频系统却不一样，每位用户都要单独提供实时生成服务。单个会话已经吃掉大量GPU资源，再加第二个会话，计算耗时几乎翻倍，所以传统批处理那套提升效率的办法行不通。
为压低计算成本，Runway对模型推理过程做了多项优化。论文显示，Runway Characters最初支持一个实时会话需要8块H100 GPU。用4块H100做初始测试时，每次视频生成步骤要240.9毫秒，达不到24fps的实时要求。
经过对缓存管理、计算流程以及GPU之间数据通信的优化，Runway最终把单次生成时间压到159.3毫秒，速度提升1.51倍，具备持续24.5fps的生成能力。再引入计算与通信融合技术后，单步耗时进一步降到147.4毫秒，整体提速1.63倍。
关键改进之一出在模型的缓存管理上。Runway发现，原有推理系统约29%的GPU时间花在反复处理已存储的缓存数据上，真正执行注意力计算的时间只占约6%。
研究团队因此重新设计了缓存机制：把一部分重复计算提前到新数据写入时完成，同时引入环形缓存结构，减少不必要的数据复制。优化后，每个生成步骤的缓存维护时间从69.7毫秒降到6.2毫秒，降幅超过90%。
Runway还把GPU之间的数据通信与矩阵计算融合起来，让部分计算结果在后续计算继续执行的同时完成传输，等待时间进一步缩短。另外，一块GPU被专门用来把模型生成的潜在表示解码成最终视频画面，视频解码与后续画面生成得以并行，避免解码拖慢整个系统。
要注意的是，Runway披露的4块H100配置并非全部用于57B模型的Transformer计算：3块GPU负责主要视频模型推理，另1块负责视频解码和音频相关处理。
实际体验方面，论文还披露了视频生成与语音交互之间的延迟。Runway统计了12个实时会话中的51次对话轮次，从用户说完话到浏览器里出现AI角色声音，中位等待时间为2.13秒。
其中语音智能体处理约占1.42秒，Runway自己的视频生成管线约占0.49秒，向浏览器传输数据还需约190毫秒。也就是说，AI角色虽然已经能以24fps持续生成视频，但用户说完一句话到角色开口回应，仍要等约2秒。
Runway同时公布了系统在真实生产环境中的运行表现。七周监测期内，对于持续至少1秒的会话，99.5%的会话平均帧率超过23.5fps。
团队也遇到过技术故障。2026年8月，一项新的GPU计算融合技术上线后，因后续软件升级及不同长度输入触发额外缓冲区分配，出现显存不足问题。Runway随后回滚相关功能，修复后于10月8日重新启用。
论文数据显示，重新启用后的15天里，平均帧率不高于24fps的会话占比降到0.7%，此前五周每周这一比例为7%至23%。
推理优化会不会影响画质？Runway用包含53个视频片段的测试集做了评估，未发现唇形同步质量下降超出重复运行正常波动的范围。不过研究团队也指出，这并不意味着不同配置生成的视频在所有质量指标上完全等价。
除H100外，Runway还测试了英伟达新一代B200 GPU。在3块B200上，模型单步推理时间为154.3毫秒。但部分针对H100开发的优化无法直接迁移到B200，可见更先进的GPU并不代表所有推理环节都能自动获得性能提升。
Runway之前已经推出过Characters产品，能把一张静态图片变成可实时交互的AI角色。该产品还向开发者开放接口，数字人、虚拟助手、客户服务等场景都能用。
这篇论文的价值，在于说明大规模视频生成模型经过系统级优化后，可以满足实时交互的需求。对AI视频行业来说，比拼的重点正从画质和时长，往低延迟生成、算力利用效率以及实际服务成本上延伸。
不过论文眼下公开的内容，集中在单会话推理效率和运行稳定性上，想据此直接推算大规模商业部署的总成本，还不够。
