苹果开源两大视频生成模型!单卡延迟36毫秒,技术秘籍还能给别家模型提速

资讯 腾讯网 作者:智东西 全文 3595 字 · 约 9 分钟读完 分类英伟达开源视频生成芯片

智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月18日消息,今天,苹果开源面向实时交互的视频生成模型FastFrames系列,包含13亿参数的FastFrames-S和140亿参数的FastFrames-L。两款模型面向视频生成研究人员和交互应用开发者,主打低延迟480P视频生成。据苹果公布

所属频道 算力与芯片开源生态视频图像生成

智东西(公众号:zhidxcom)
编译 | 孙小雯
编辑 | 程茜

智东西11月18日消息,今天,苹果开源面向实时交互的视频生成模型FastFrames系列,包含13亿参数的140亿参数的低延迟480P视频生成。

据苹果公布的测试,约7.6倍。后者的10.6倍;使用8张B200后,延迟进一步降至45毫秒。

▲苹果公布的生成质量与延迟对比(图源:苹果)

为了检验这套加速方法是否可推及其他模型,苹果另外选择了两款外部模型进行优化。其中,蚂蚁灵波团队的原版的16倍。斯坦福大学等团队的原版的22倍。

针对FastFrames系列,两款模型实现提速的训练方法不同。S版选择冻结Wan2.1-14B进行

从案例效果来看,两款模型生成的画面都有较细腻的质感和丰富的光影。不过,S版的部分案例中存在文字乱码、提示词理解偏差、画面不够稳定的情况。以官方给出的女孩拉小提琴案例为例,S版的细节处理较粗糙,琴弓明显偏离琴弦,女孩的面部也随着琴弓来回移动出现变形。相比之下,L版在人物面部和演奏动作上的表现更稳定。

▲

▲

目前,开发者可从

GitHub
https://github.com/apple-aiml-research/ml-fastframes

Hugging Face
FastFrames-S:https://huggingface.co/apple/FastFrames-S
FastFrames-L:https://huggingface.co/apple/FastFrames-L

技术报告地址:
https://apple-aiml-research.github.io/ml-fastframes/

一、沙滩写字、羊驼跳舞,S版瑕疵偏多,L版生成更细腻

苹果在官方项目页公开了22组文生视频对比,展示FastFrames-S、FastFrames-L及对应对照模型的输出,覆盖文字生成、动物动作和人物场景等任务。

在文字生成案例中,提示词要求镜头从空中下降到黑沙滩,海浪泡沫在沙面形成“STAY CURIOUS”字样,并在海水流动时保持文字清晰可读。S版生成的文字出现乱码,L版生成的文字准确清晰,后者在光照、阴影和构图方面也更精致。

▲FastFrames-S生成的海浪文字视频(图源:苹果)

▲FastFrames-L生成的海浪文字视频(图源:苹果)

在动物动作案例中,提示词要求一只穿彩色睡衣的羊驼在舞台上跳舞,腿部和尾巴随动作摆动。这组视频可用于对照两款模型对动物动作、服装和身体关系的处理,两款模型对“跳舞”指令的理解不同,S版把羊驼做成双腿站立的拟人形象,让它挥动前肢、左右摆身,舞蹈动作更明显,L版保留了羊驼四足着地的体态,毛发和睡衣纹理更清楚,但动作主要是抬起前腿、原地踏步,幅度较小。

▲FastFrames-S生成的羊驼跳舞视频(图源:苹果)

▲FastFrames-L生成的羊驼跳舞视频(图源:苹果)

在人物场景案例中,提示词要求咖啡馆中的女子缓慢搅拌咖啡,随后看向窗外微笑,镜头先靠近面部、再拉远,呈现咖啡蒸汽、室内灯光和窗外雨景。S版和L版都理解了需求,但S版生成画面人物发质纹理还原不够细腻,整体光感也不够自然,L版则更加符合真实场景中的光学环境。

▲FastFrames-S生成的咖啡馆人物视频(图源:苹果)

▲FastFrames-L生成的咖啡馆人物视频(图源:苹果)

二 、苹果将加速方法用于其他模型,提速后最高可达原版22倍

除了展示S、L两款新模型的生成效果,苹果还将FastFrames的加速方法用于其他团队已有的模型,检验镜头控制和物理交互场景中的响应效果。测试对象分别为蚂蚁灵波团队的世界模型

首先,苹果用LingBot 1.3B测试加速效果。屏幕左右并排运行原版与加速版,两边同时接收相同的键盘输入。操作者先在巨石阵中前进、转动视角,随后切换到石砌走廊,持续按住前进键。加速版更快地更新画面,镜头随操作连续向前移动。

▲LingBot 1.3B加速前后的巨石阵导航对比,左为原版,右为加速版(图源:苹果)

▲LingBot 1.3B加速前后的走廊导航对比,左为原版,右为加速版(图源:苹果)

苹果透露,LingBot 1.3B的生成延迟从原版最快官方配置的842毫秒降至52毫秒,响应速度约为此前的16倍。两项配置分别使用2张、8张B200 GPU。

接着,苹果用RealWonder测试加速效果,物体响应速度提升明显。操作者拖动水面上的灯笼,系统接着生成灯笼移动、水面变化的画面。苹果为RealWonder加入更快的画面解码和缓存修正网络,并优化计算执行方式,将生成延迟从原版单张B200上的1141毫秒,降至加速版8张B200上的51毫秒,速度约为原版的22倍。

▲RealWonder加速前后的灯笼拖拽对比,左为原版,右为加速版(图源:苹果)

三、更换解码器、修正缓存、优化GPU计算,苹果三招降低延迟

为了降低生成延迟,苹果对S、L两款模型进行了三项优化:用轻量解码器更快地输出画面、用小网络减少更新历史信息时的重复计算、调整GPU的计算安排。

优化之前,苹果先分析了S版基础模型Causal Forcing++生成视频的耗时。在单张B200上,Causal Forcing++每生成一组画面约需272毫秒,其中两步去噪耗时83.2毫秒,缓存更新耗时41.6毫秒,画面解码耗时147毫秒。解码和缓存更新合计占这一组画面生成总耗时的约69%。

▲Causal Forcing++生成流程及耗时(图源:苹果)

第一项优化针对最耗时的画面解码。原有

团队随后增加处理层,设计出

第二项优化针对缓存更新。为了让后续画面接得上,模型需要保存前面已经生成的内容。原流程每生成一组画面,都要额外运行一次完整的生成网络,整理这组画面的缓存信息。

苹果改为复用最后一步去噪已经算出的缓存,再用小网络修正,省去了额外运行完整生成网络的开销。S版缓存更新耗时从41.6毫秒降至约2毫秒,L版降至约6毫秒,速度分别约为原流程的20倍、12倍。

第三项优化是让GPU承担更多并行计算。逐步生成视频时,每次新增的画面内容较少,GPU算力可能用不满。苹果将历史缓存分段,同时计算各段,再合并结果。在L版模型上,将缓存分成5段,使单次生成网络计算的延迟降低约13%。

苹果还提前算好重复使用的位置编码、提示词等信息,并合并部分原本分开的运算。经过这些调整,S版单次去噪网络计算耗时从41.6毫秒降至16.4毫秒,L版从89.2毫秒降至75.6毫秒。

在8卡配置下,苹果把画面内容分配给不同GPU,共同完成生成网络的计算。S、L两版的单次去噪网络计算耗时进一步降至5.8毫秒、20.3毫秒。

▲FastFrames-S优化后的生成流程及耗时(图源:苹果)

四、1万条真实视频进行对抗训练,L版对Wan2.1-14B进行蒸馏

在训练方法上,两款模型的训练分工不同。S版已有能用两步去噪生成画面的基础模型,因此重点训练更快的画面输出和缓存处理模块。L版则需要先将Wan2.1-14B训练成两步生成器,再加入配套模块。

训练S版解码器时,苹果保持Causal Forcing++生成器的权重不变,让原生成器和

随后,苹果加入1万条真实视频进行

完成训练和运行优化后,S版生成速度约为基础模型的7.6倍。在评估画面质量及内容是否符合提示词的

L版首先要改变Wan2.1-14B的生成方式,让它能够参考前面的画面,继续生成后续内容。苹果先用Wan2.1通过48步采样生成示范,记录噪声逐渐变成画面的过程,再使用256张B200训练教师模型,供后续蒸馏学习。

团队选取第1700次参数更新的教师模型,使用128张B200进行

接着,苹果以S版解码器权重为起点,使用64张B200进行50万次参数更新,让L版解码器学习还原画面,再使用8张B200进行对抗训练。L版缓存修正网络使用64张B200,进行14.25万次参数更新。

完成训练和运行优化后,L版的单卡速度约为同规模模型

结语:实时交互三大难,苹果发力低延迟,加速方案可复用

实时交互视频模型需要翻越三座大山:用户输入操作后,画面能否及时更新;连续改变指令时,模型能否准确执行,并保持人物和场景一致;长时间运行、同时服务多名用户时,算力成本能否支撑。

苹果此次着力缩短画面生成的等待时间。FastFrames通过改造画面解码、缓存更新和GPU计算,让已有视频模型更快输出画面,并在LingBot和RealWonder上验证了加速效果。对于交互应用开发者,这套方法提供了可复用的加速方案;对于用户,更及时的画面反馈有助于连续调整镜头、动作和场景,减少等待与反复重做。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 黄仁勋卸任后英伟达开源策略生变?SemiAnalysis下调AI资本开支预测

    11月17日,半导体研究机构SemiAnalysis表示,如果英伟达(NVDA.US)无法再支持开源生态系统,因为那是黄仁勋的主要目标,那是否意味着开源生态系统将崩塌?如今,随着英伟达的衰落,开源看起来要弱得多。Anthropic看起来更有可能获得完全垄断或双头垄断。这对Anthropic下周的IPO来说是个非常好的兆

    来源 腾讯网
  2. 英伟达已停止向中国供应H200人工智能芯片

    【TechWeb】11月18日消息,据外媒报道,当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在接受媒体采访时表示,英伟达已不再向中国供应用于人工智能系统的H200芯片。 她表示,英伟达在中国市场的业务约占公司总业务量的10%,主要涉及游戏、汽车和工作站业务。“我们此前曾表示,只有获得出口许可证的H200芯片

    来源 AI 行业观察
  3. 瑞芯微RK3668:2027Q1出工程样品,6nm制程

    IT之家 11 月 18 日消息,根据开源硬件制造商 Radxa(瑞莎)分享的文档,瑞芯微计划于 2027 年第 1 季度交付下代通用处理器 RK3668 的样品。 RK3668 将采用 6nm 制程工艺,CPU 集成 6 个 Arm Cortex-A725、2 个 Arm Cortex-A520,搭配 Arm Mal

    来源 AI 行业观察
  4. 英伟达Q3日赚7亿美元,国产算力芯片与半导体设备集体走强

    11月18日,半导体产业低开高走,算力芯片再度领涨。截至发稿,寒武纪大涨超5%,海光信息、长川科技涨超3%,华海清科、华峰测控涨超2%,中微公司、北方华创、拓荆科技等相继回稳。ETF方面,半导体设备ETF招商(561980)拉升翻红,标的指数涨超1.5%。数据显示,该ETF跟踪半导,寒武纪+海光信息占比16%,对半导体

    来源 腾讯网
  5. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
  6. 英伟达临时CEO首秀:开源AI战略与Hugging Face收购不变

    英伟达创始人兼CEO黄仁勋突然离职后,公司临时CEO首次公开表态,重申开源AI战略保持完整,并确认仍计划收购AI模型托管平台Hugging Face。分析认为,作为“卖铲人”的英伟达与开源生态利益高度绑定;不过,黄仁勋离场带来的战略连续性问题,以及收购可能面临的反垄断审查,仍是外界关注的焦点。

    来源 AI 科技快讯
  7. 黄仁勋离任后英伟达首场全员大会:克雷斯承诺全面加薪

    黄仁勋离任后,英伟达召开首场全员大会。临时CEO科莱特·克雷斯承诺全面加薪并扩大股权激励,以安抚动荡中的员工情绪。这场会议既是对人心的紧急止血,也折射出这家AI芯片巨头在领导层更迭期面临的治理与人才双重考验。

    来源 AI 科技快讯
  8. 谷歌趁英伟达换帅窗口接单:TPU 长期供应谈判已启动

    财联社11月17日讯(编辑 马兰)英伟达过去一直是人工智能行业的定海神针,但随着黄仁勋的离开,这家尚未确定未来首席执行官人选的芯片巨头可能将失去自己在行业中的主导地位,而从中获益最多的公司将是谷歌。知名IT分析师郭明錤最新表示,由于英伟达继任CEO的不确定,谷歌将与主要客户讨论2028年以后的长期TPU供应计划。来..

    来源 腾讯网
  9. 英伟达投资组合飙至650亿美元,黄仁勋离场引创投圈疑虑

    英伟达的私人投资组合价值在过去九个月内近乎翻了三倍,达到约650亿美元,主要得益于CEO黄仁勋激进的交易策略以及投资组合公司估值的持续攀升。然而,随着黄仁勋的离场,市场对英伟达未来投资交易的走向产生疑虑,这家AI芯片巨头能否延续创投狂飙成为行业焦点。

    来源 AI 科技快讯
  10. 黄仁勋辞任英伟达CEO:国产GPU放量,寒武纪净赚37亿

    华人科技商业界领袖、执掌英伟达33年、推动其成为全球市值第一大公司的黄仁勋,因突发事件辞去了总裁、首席执行官及董事职务。 在英伟达官方网站,黄仁勋已被移除管理层序列,和克里斯·马拉科夫斯基一同被放到了“创始人”一栏中。甚至在X平台上,他的蓝V认证、CEO头衔也都消失了。 由黄仁勋把控这家全球AI算力霸主的时代,已经在实

    来源 AI 行业观察
  11. Claude三天完成AMD MI355X适配,CUDA壁垒被撬动?

    人工智能硬件与底层软件生态的竞争格局正在迎来一次深度的结构性松动。近日,业内传出重磅消息,Anthropic旗下的Claude Mythos仅用时3天,且在几乎无需人工干预的情况下,成功完成了对AMD MI355X芯片近100% 的底层内核代码编写。 这一突破性进展直接将原本需要数十名资深工程师耗时

    来源 AI 开发者社区
  12. 英伟达非上市持股增至655亿美元:AI创投格局会怎么变?

    人工智能芯片巨头英伟达的投资版图再次引发行业震动。根据 TechCrunch 的最新报道,英伟达最新披露的数据显示,其对非上市初创公司的持股价值已经暴增至65.5亿美元(约合当前人民币数百亿元),较今年1月报告的22亿美元实现了大幅增长。这一资产的膨胀,既得益于公司近期的大规模新投资,也包含了现有投

    来源 AI 开发者社区
  13. 英伟达投资组合升至650亿美元:黄仁勋退出角色引关注

    英伟达的私人投资组合价值在过去九个月内近乎翻了三倍,达到约650亿美元,主要得益于CEO黄仁勋激进的交易策略以及投资组合公司估值的持续攀升。然而,随着黄仁勋的离场,市场对英伟达未来投资交易的走向产生疑虑,这家AI芯片巨头能否延续创投狂飙成为行业焦点。

    来源 AI 行业观察
  14. 英伟达非上市持股增至655亿美元:投资加码,AI创投格局将生变?

    英伟达投资版图再受关注。最新披露数据显示,其持有非上市初创公司股权价值已增至65.5亿美元,较1月报告的22亿美元大幅攀升。增长既来自近期大规模新投资,也源于现有投资组合企业估值显著上升。报道称,其前九个月股权投资规模逆势激增,显示这家AI芯片巨头正加速扩张投资布局。

    来源 AI 产业速递
  15. Claude用3天完成AMD MI355X底层适配,CUDA生态生变

    AI硬件与底层软件生态竞争格局出现结构性松动。Anthropic旗下Claude Mythos仅用3天、几乎无需人工干预,完成AMD MI355X芯片近100%底层内核代码编写,把原本需数十名资深工程师6至12个月的适配周期压缩至72小时。实测显示,移植后模型性能表现突出,或显著改变芯片适配效率与生态竞争态势。

    来源 AI 产业速递
  16. 英伟达触底、空头逼近极值:AI抛售是转折还是轧空前奏?

    AI交易遭遇技术面与资金面的双重压力,英伟达及半导体板块估值大幅回落,但极端空头仓位与机械性抛售也为轧空创造条件。与此同时,AI资本回流支撑美元,低AI敞口的欧洲股市则成为全球资金寻求多元化配置的新方向。

    来源 华尔街见闻
  17. 黄仁勋松口愿回归CEO:英伟达董事会仍称未考虑

    黄仁勋声明称,若董事会认为他回归符合公司、股东和员工的最佳利益,他愿意重新出任CEO。声明传出后,早盘曾跌近2%的标普和早盘曾跌超2%的纳指一度收窄过半跌幅,早盘曾跌超3%的半导体指数一度仅跌0.1%。

    来源 华尔街见闻
  18. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  19. AMD完成收购Taalas:芯片将并入加速器路线图

    IT之家 11 月 18 日消息,AMD 当地时间昨日宣布完成对专用 AI 推理芯片开发商 Taalas 的收购。这家初创企业带来了差异化的技术和世界一流的工程专业知识。AMD 表示此举将进一步加强其全栈 AI 产品组合和长期推理路线图。AMD 计划将 Taalas 的技术整合到其加速器路线图中,结合 Instinct

    来源 腾讯网
  20. 英伟达扩大芯片供应链合作,数十亿美元支持矽品精密扩产

    日前,英伟达宣布扩大与台积电、矽品精密、景硕科技、三星电机、安靠科技、富士康等供应链企业的合作,以扩大基板、先进封装、晶圆和合同制造的产能。其中,英伟达将通过数十亿美元资金支持矽品精密在中国台湾扩大先进封装产能,相关产能计划于2029年年中前增加。此外,景硕科技计划将其桃园幼狮厂专供英伟达的先进ABF封装基板产能扩大至

    来源 AI 行业观察
  21. 英伟达占数据中心芯片76%营收,博通10%排第二

    2025年第四季度,全球数据中心算力芯片市场的数据刚出来,英伟达一家就拿走了76%的营收。这是什么概念?把排在它后面所有竞争对手的营收加一块,再乘以三,都没英伟达一家多。更有意思的是排在第二位的玩家。很多人以为能跟英伟达掰手腕的,好歹得是个老牌显卡厂商,结果第二名是博通,占了10%的份额。熟悉芯片行业的人都知道,博通压

    来源 AI 行业观察
向下滚动自动加载更多