Agnes开源287亿参数MoE音视频模型：5秒视频30秒生成

AI 生成的视频画面越来越接近真实，可背后烧掉的算力一点不便宜。动作复杂、镜头连贯、细节丰富的片段，都得靠大量计算堆出来。真要进入批量生产的环节，一遍遍生成、修改、重试的支出会不断叠加，创作者和视频平台都绕不开这笔账。

针对推理效率，Agnes 开源了音视频生成模型 Agnes-Video-2.0-MoE。一张 H200 GPU 上，大约 30 秒能出 5 秒视频；推理速度比稠密（Dense）模型快约 20%，比同类 MoE 模型快 2 倍以上。

思路说起来不复杂：先把 Dense 模型改成 MoE，把容量撑大，再用专家剪枝把真正要算的部分压小。视频生成想上规模，这条路算是把成本降下来的一种尝试。

（MoE 模型案例）

已有 Dense 模型的 MoE 化改造

场景越复杂、动作越细腻、时序关系越讲究，模型需要的学习和表达容量就越大。可单纯把原模型做大，每次生成视频的计算量往往也跟着涨。Agnes 没走这条路，而是从现成模型下手，用 MoE 改造去找另一种可能：容量扩大，计算规模还能压住。

MoE 就是混合专家架构。里面的“专家”，可以看成模型内部若干个备选处理网络。路由机制负责把待处理的信息分派给不同专家，模型容量做大的同时，实际计算规模不至于失控。

Agnes 这项研究拿约 153 亿参数的 DaVinci-MagiHuman 预训练音视频生成模型当底子。这是个 Dense 模型。改造之前，模型里相关的计算模块各自只有一个网络，分配过来的信息就由它处理。

大部分结构被保留下来，40 层网络中间那 32 层里，部分计算模块各自扩成含三个专家网络的模块。三个专家参数各自独立，训练中能形成不一样的处事方式，场景、运动规律、时序关系也就有了更大的学习空间。信息进来时，路由机制只从三个专家里挑一个参与计算。打个比方，一家诊所原本只有一位全科医生，现在换成三位各有所长的专科医生，诊所整体的“潜力”就上去了。

对比一下：改造后每次计算实际调用的激活参数量，跟改造前约 153 亿还是同一水平，总参数量则来到约 287 亿。

（MoE 模型案例）

已有 Dense 模型要做架构转换、后续还要继续优化，这条路子能当参考。

打算做视频创作工具和平台的团队，可以照 Agnes 的办法来：拿已经训练好的网络建立专家，原有模型基础留着，靠训练适配完成改造，不必从零训一套新模型。往后专家分工和路由机制再优化下去，类似的 MoE 改造还有潜力撑起更长、更复杂、更多样的视频生成。

Agnes 技术人员给的一组性能数据，把这条思路的价值摆得很直白：照此路线做出来的 Agnes-Video-2.0-MoE，单张 H200 GPU 上只要约 30 秒就能生成一段 5 秒视频；跟 Dense 模型比，推理速度提升约 20%，跟同类 MoE 视频模型比，快两倍以上。

不过光靠 MoE 改造到不了这个效果。改造之后，每个专家还是跟原来的网络一样大，路由选择本身也要额外开销。Agnes 接下来要做的是用 EENP 精简专家内部的计算，让生成质量、计算效率和推理成本之间取得更好的平衡。

用“剪枝”继续削减计算开销

EENP，说的是弹性专家神经元剪枝方法。

“剪枝”这个词借的是修剪树枝的比方。放到专家网络上，就是做一次精简：看内部神经元对模型输出贡献多大，重要的留下，贡献小的拿掉，实际参与运算的网络就缩了。

麻烦在于，音视频模型要同时处理画面、声音和文字。这几类信息的数量和特征差得很远，视频信息往往比音频和文字多得多。混在一处判断处理，声音和文字的需求容易被盖过去。好比一场投票，某个群体人数占绝对多数，结果差不多只反映这个群体的意见。

EENP 的做法是，先分别评估专家内部计算通道对视频、音频、文字处理的贡献，再统一尺度、按权重把结果合起来，据此决定保留哪些通道。被删掉的通道和相关参数会从网络结构里真正移除，专家内部的矩阵运算规模也就跟着缩小。

（MoE 模型案例）

再进一步，Agnes 对视频生成中不同去噪步骤的计算安排做了调整。

去噪是生成画面最吃算力的环节。视频生成要经过多轮去噪，画面才一点点成形。在剪枝基础上，Agnes 给出 Quality 和 Fast 两种计算配置：Quality 保留更多重要计算通道，看重生成质量；Fast 从这些通道里挑贡献较高的一部分，用更少的计算加快处理。按事先评估，模型在更关键的去噪步骤用 Quality，其余步骤用 Fast。整个生成过程的开销就这么降下来了。

而且两种配置共用一份权重，不用分别准备或加载两套模型，不同步骤之间就能切换计算规模。推理提效多了一个手段，开发者调整计算安排时也多了灵活选择的余地。

论文：https://github.com/AgnesAI-Labs/CROWN-Audio-Video-Diffusion

开源链接：https://huggingface.co/Agnes-AI/Agnes-Video-2.0-MoE

从底层提升 AI 视频生产力

MoE 管的是容量扩展和按需调用，EENP 接着管专家内部怎么把计算量压下来。两招配合，优化路径就连成了一条线。视频生成的表现因此有了不小的起色。

实验数据显示，EENP 采用"60%剪枝"配置时，模型平均激活参数规模落到约 117 亿，去噪耗时从没有剪枝的 26.83 秒压到 20.92 秒，少了大约 22%。跟原来的 Dense 模型比，去噪时间也砍掉了约 13%。

效率上去了，质量却要打个折扣。

在覆盖人物表现、可控性、物理合理性等维度的 VBench-2.0 评测里，剪枝后模型的得分大约是未剪枝 MoE 的 92.4%。对照案例显示，女性说话这类低运动场景下，中等程度剪枝后，人物身份和构图还算稳；换成手持工具操作的高运动场景，剪枝一深，手部、工具边缘这些细节就更容易垮掉。

所以开发者调推理配置时，得看内容类型来定。但话说回来，Agnes 这轮探索在保住较高生成质量的前提下，让视频创作跑得更快了。

对需要持续产出视频的工具和平台来说，这已经算得上值得期待的结果。视频生成正走进广告、电商和内容制作流程，计算效率会直接影响服务的供给能力，以及长期用下去的成本。单次生成省下的时间，放到批量任务里会一点点累起来；硬件和任务条件差不多时，处理时间缩短，同一套算力就能接更多需求、干更多活。

换句话说，Agnes 给视频模型做的 MoE 改造，换来的是实打实的生产力。Agnes-Video-2.0-MoE 开源之后，创作者都有机会沾到这个光。

瞄准"性价比"的 Agnes

Agnes-Video-2.0-MoE 的开源，其实不是一次孤立动作。

Agnes 近期还拿下另一项成果：Artificial Analysis 视频综合榜上，其视频模型 Agnes Video 2.5 挤进全球前十。这两件事，都呼应了这家 AI 公司官网首页的那句话："让世界级 AI 属于每一个人"。

底层技术上，MoE 模型蹚出了一条压低推理开销的路；回头看过去的模型产品，性价比一直是 Agnes 身上显眼的标签。

拿 Agnes Video 2.5 来说，720p 视频的 API 基础价格是每秒 0.025 美元，1080p 默认配置下的 API 参考价格为每分钟 2.4 美元，反复试镜头时压力小了不少。

另外，Agnes 旗下的视频创作平台 Pavo 直接摆出一个低门槛入口。平台每天送 200 积分，能拿来体验 Agnes Video 2.5；平台上的 Agnes Video 2.5 Flash 还能免费用，创作者验证思路时不用有负担。

把这些拢到一块看，Agnes 技术上有依据，视频质量上有成绩，创作成本上也有诚意。

最后一点尤其关键。AI 创作者眼里，"性价比"就是刚需。头部 AI 视频工具或平台，常靠免费积分或者主动降价来拉人。Agnes 自己的情况，也说明创作者对性价比有多渴求。

把 API 接入和 Pavo 平台内部使用情况合起来算，Agnes 视频模型日均调用生成时长已经到 560 万秒，约合 1556 小时。抖音视频平台上，Pavo 相关话题量超过 3 亿。

道理不难懂。好作品要反复磨，可每次视频生成的费用、抽卡带来的精神消耗，都会给创作热情泼冷水。高性价比的平台，能把人们的创作负担大幅卸下来。

这么看，Agnes 的这些探索，说到底是在拓宽 AI 创作的边界。市场需要更多类似的尝试，AI 创作也该更自由一些。