是石科技发布多模态模型服务:视频生成端到端提速2.48倍
提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法
允中 发自 凹非寺 量子位 | 公众号QbitAI
在AI视频生成里,推理变快和画质变差,有时会一起出现。
计算步骤砍掉一些,出片时间能缩短,可误差也会一步步攒起来;把完整计算过程全保留,质量是稳住了,算力和显存的开销却跟着上去。
视频生成一旦从单次体验走向批量生产,要回答的就不只是模型能不能出片,还得看质量、推理时延和资源成本这三者怎么摆平。
是石科技针对这个需求正式推出新品「多模态模型服务」,优化的重点落在视频生成推理加速、缓存与显存管理、多模态Token压缩,以及素材理解与生成链路的衔接上。
其中:
- 基于历史缓存残差的自适应加速技术,负责把视频生成过程中的冗余计算减下来;
- 资源使用则借助SGLang的缓存管理机制来优化;
- 模态自适应Token压缩,压低多模态理解的开销;
- 基于全模态模型的Context Engine,把素材理解的结果转成视频生成模型能执行的结构化信息。
这几项技术各自作用在不同环节,指向的目标却是同一个:
在保证生成质量和服务稳定性的前提下,把多模态模型的推理效率与算力利用率提上去。
视频生成加速:减少冗余计算,同时控制误差累积
视频生成模型一般要经过多轮迭代计算,从初始信息一步步生成出视频内容。这个过程中,相邻计算步骤之间有信息可以复用。
每一步都做完整计算,推理开销会很高;可要是直接跳过某些步骤或者拿历史结果顶替,缓存误差又会在迭代中越积越多,最后拖累生成质量。
所以视频推理加速的要害,不在简单地少算几次,而在于判断哪些计算能安全复用、什么时候又得重新计算把误差压住。
是石科技用的是基于历史缓存残差的自适应加速技术,靠历史计算信息评估缓存复用的风险,再动态调整计算与刷新策略。
变化不大的计算部分,系统直接复用历史结果,省掉重复计算;误差风险高的关键部分,则触发重新计算与校准,让缓存误差别影响到后面的生成过程。动态刷新加上误差校准机制,系统在削减计算开销的同时,尽量维持视频生成轨迹的一致性。
△相同实验设置下,是石科技缓存复用方案相对Dense端到端加速的可视化样例


按发布方案展示的测试条件,相比Dense基线方案,该技术端到端平均加速2.48倍,生成质量保持不变。
这就意味着,推理加速不必再全靠减少生成步骤,更精细的计算复用策略同样能在效率与质量之间建立起动态平衡。
缓存与显存协同优化:提高单位算力的任务处理能力
视频生成的资源开销,不只来自计算量,推理过程中的显存占用也是一块。
多个视频任务并发执行时,缓存数据的存储、读取和更新都会牵动显存使用效率。单个任务就算加速了,如果缓存管理反而带来额外资源负担,整体任务处理能力照样可能被卡住。

所以,单任务推理加速和多任务资源利用,得放在一起协同优化。
是石科技把智能缓存决策接进了SGLang推理框架,靠缓存复用、分块处理、压缩和智能调度这几套机制,把重复计算和不必要的显存开销压了下来。
系统还加了风险感知机制,依据实际计算反馈动态调整缓存策略,在抬高复用效率的同时把误差风险管住。这一设计让优化范围从单次推理计算延伸到了资源管理层面。
对企业级视频生产来说,生成速度、显存占用和任务并发能力三者一起决定算力资源的实际产出。冗余计算和缓存开销降下来,更高并发和更灵活的任务部署就有了空间。
模态自适应Token压缩:降低音视频的理解开销
视频生成之外,多模态理解也绕不开计算效率。和文本比,视频、音频里的时序信息密度更高,模型处理连续视频帧、声音片段这类输入时得把它们转成大量Token,计算和存储负担随之上涨。但不同模态、不同片段的信息密度并不一样,有的Token装着关键语义,有的冗余度很高。
所有Token一视同仁地处理,容易白白多算;直接统一压缩,又可能把影响理解结果的重要信息弄丢。
是石科技给出的办法是基于模态自适应的免训练Token压缩,用基于AudioCLIP的模态感知技术辨认各模态里的有效信息,再据此调整Token的保留与压缩策略。核心思路就是按模态特征和信息价值分配计算资源,而不是对全部输入等比例处理。
这套方法不需要额外训练,减少冗余Token之后,多模态理解阶段的计算负担降了,关键语义信息也尽量留住。

在WorldSense评测中,该方法拿到1.33倍加速;在VideoMME、DailyOmni等多模态理解基准测试里,性能表现同样不错。多模态推理优化由此从视频生成端延伸到素材理解端,处理复杂视听输入多了一条更高效的路径。
基于全模态模型的Context Engine解决方案
推理效率之外,多模态视频创作还有个问题:理解结果怎么进入生成流程。实际业务里的视频生成请求,常常同时带着人物图片、参考视频、音频和文字要求,这些输入数据形式各异,还夹着人物身份、动作、声音、镜头与时间顺序等约束。
复杂素材加上自然语言指令直接丢给生成模型,素材之间的关联关系和执行要求未必能一致地表达出来。
是石科技为此搭了基于全模态模型的Context Engine解决方案,在多模态理解与视频生成之间建起结构化的信息衔接机制。系统先读懂输入素材和创作需求,提取人物、声音和相关约束,再组织成包含镜头、动作、对白等内容的结构化信息,交给后续视频生成模型执行。比如用户给了人物图片和参考音频,要求生成一段人物对白视频,系统得把人物信息、声音内容和镜头安排关联起来,而不只是产出一段文字提示词。
该方案通过素材绑定、结构化分镜、时轴校验及错误修正等机制,让不同模态的信息在生成流程中形成相对明确的对应关系。优化的重点,是把复杂的多模态输入变成更清晰、可校验、可执行的生成上下文。

服务层面,是石科技进一步搭起覆盖API接入、任务编排、模型路由、推理执行与结果交付的多模态推理架构,并借任务状态管理、并发控制、超时重试与恢复机制,支撑实际业务中的任务运行和交付。
从模型推理效率到完整生产链路
多模态模型进了生产环境,生成质量、推理时延、显存成本和任务稳定性就不再是各算各的指标。
视频生成端要管住冗余计算与误差累积,多模态理解端要减少无效Token处理,生成链路则得保证素材信息和创作约束有效传递下去。
这些优化能力,被是石科技放进了此次发布的多模态模型服务里,摆到同一条生产链路上统筹。
先是自适应缓存加速和显存资源管理,接着是模态感知Token压缩、基于全模态模型的Context Engine解决方案的结构化衔接,最后落到推理服务架构。优化所针对的对象,也由此从单个模型的计算过程,一步步扩到多模态任务的执行与交付环节。
AI视频要真正上规模,光把一次生成的等待时间压短还不够。关键在于算力给定之后,仍能不断跑出更多符合质量要求的生成任务。
从“能生成”迈向“好生产”,是石科技接下来会围绕多模态推理效率、资源利用和服务稳定性持续做技术优化,给AI视频从模型能力走到实际生产垫一层底。
*本文系量子位获授权刊载,观点仅为原作者所有。