是石科技发布多模态模型服务:视频生成端到端提速2.48倍

资讯 网易科技 作者:网易 全文 2894 字 · 约 8 分钟读完 配图 5 张

提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法

允中 发自 凹非寺 量子位 | 公众号QbitAI

在AI视频生成里,推理变快和画质变差,有时会一起出现。

计算步骤砍掉一些,出片时间能缩短,可误差也会一步步攒起来;把完整计算过程全保留,质量是稳住了,算力和显存的开销却跟着上去。

视频生成一旦从单次体验走向批量生产,要回答的就不只是模型能不能出片,还得看质量、推理时延和资源成本这三者怎么摆平。

是石科技针对这个需求正式推出新品「多模态模型服务」,优化的重点落在视频生成推理加速、缓存与显存管理、多模态Token压缩,以及素材理解与生成链路的衔接上。

其中:

  • 基于历史缓存残差的自适应加速技术,负责把视频生成过程中的冗余计算减下来;
  • 资源使用则借助SGLang的缓存管理机制来优化;
  • 模态自适应Token压缩,压低多模态理解的开销;
  • 基于全模态模型的Context Engine,把素材理解的结果转成视频生成模型能执行的结构化信息。

这几项技术各自作用在不同环节,指向的目标却是同一个:

在保证生成质量和服务稳定性的前提下,把多模态模型的推理效率与算力利用率提上去。

视频生成加速:减少冗余计算,同时控制误差累积

视频生成模型一般要经过多轮迭代计算,从初始信息一步步生成出视频内容。这个过程中,相邻计算步骤之间有信息可以复用。

每一步都做完整计算,推理开销会很高;可要是直接跳过某些步骤或者拿历史结果顶替,缓存误差又会在迭代中越积越多,最后拖累生成质量。

所以视频推理加速的要害,不在简单地少算几次,而在于判断哪些计算能安全复用、什么时候又得重新计算把误差压住。

是石科技用的是基于历史缓存残差的自适应加速技术,靠历史计算信息评估缓存复用的风险,再动态调整计算与刷新策略。

变化不大的计算部分,系统直接复用历史结果,省掉重复计算;误差风险高的关键部分,则触发重新计算与校准,让缓存误差别影响到后面的生成过程。动态刷新加上误差校准机制,系统在削减计算开销的同时,尽量维持视频生成轨迹的一致性。

△相同实验设置下,是石科技缓存复用方案相对Dense端到端加速的可视化样例

是石科技发布多模态模型服务:视频生成端到端提速2.48倍(配图 1)

是石科技发布多模态模型服务:视频生成端到端提速2.48倍(配图 2)

按发布方案展示的测试条件,相比Dense基线方案,该技术端到端平均加速2.48倍,生成质量保持不变。

这就意味着,推理加速不必再全靠减少生成步骤,更精细的计算复用策略同样能在效率与质量之间建立起动态平衡。

缓存与显存协同优化:提高单位算力的任务处理能力

视频生成的资源开销,不只来自计算量,推理过程中的显存占用也是一块。

多个视频任务并发执行时,缓存数据的存储、读取和更新都会牵动显存使用效率。单个任务就算加速了,如果缓存管理反而带来额外资源负担,整体任务处理能力照样可能被卡住。

是石科技发布多模态模型服务:视频生成端到端提速2.48倍(配图 3)

所以,单任务推理加速和多任务资源利用,得放在一起协同优化。

是石科技把智能缓存决策接进了SGLang推理框架,靠缓存复用、分块处理、压缩和智能调度这几套机制,把重复计算和不必要的显存开销压了下来。

系统还加了风险感知机制,依据实际计算反馈动态调整缓存策略,在抬高复用效率的同时把误差风险管住。这一设计让优化范围从单次推理计算延伸到了资源管理层面。

对企业级视频生产来说,生成速度、显存占用和任务并发能力三者一起决定算力资源的实际产出。冗余计算和缓存开销降下来,更高并发和更灵活的任务部署就有了空间。

模态自适应Token压缩:降低音视频的理解开销

视频生成之外,多模态理解也绕不开计算效率。和文本比,视频、音频里的时序信息密度更高,模型处理连续视频帧、声音片段这类输入时得把它们转成大量Token,计算和存储负担随之上涨。但不同模态、不同片段的信息密度并不一样,有的Token装着关键语义,有的冗余度很高。

所有Token一视同仁地处理,容易白白多算;直接统一压缩,又可能把影响理解结果的重要信息弄丢。

是石科技给出的办法是基于模态自适应的免训练Token压缩,用基于AudioCLIP的模态感知技术辨认各模态里的有效信息,再据此调整Token的保留与压缩策略。核心思路就是按模态特征和信息价值分配计算资源,而不是对全部输入等比例处理。

这套方法不需要额外训练,减少冗余Token之后,多模态理解阶段的计算负担降了,关键语义信息也尽量留住。

是石科技发布多模态模型服务:视频生成端到端提速2.48倍(配图 4)

在WorldSense评测中,该方法拿到1.33倍加速;在VideoMME、DailyOmni等多模态理解基准测试里,性能表现同样不错。多模态推理优化由此从视频生成端延伸到素材理解端,处理复杂视听输入多了一条更高效的路径。

基于全模态模型的Context Engine解决方案

推理效率之外,多模态视频创作还有个问题:理解结果怎么进入生成流程。实际业务里的视频生成请求,常常同时带着人物图片、参考视频、音频和文字要求,这些输入数据形式各异,还夹着人物身份、动作、声音、镜头与时间顺序等约束。

复杂素材加上自然语言指令直接丢给生成模型,素材之间的关联关系和执行要求未必能一致地表达出来。

是石科技为此搭了基于全模态模型的Context Engine解决方案,在多模态理解与视频生成之间建起结构化的信息衔接机制。系统先读懂输入素材和创作需求,提取人物、声音和相关约束,再组织成包含镜头、动作、对白等内容的结构化信息,交给后续视频生成模型执行。比如用户给了人物图片和参考音频,要求生成一段人物对白视频,系统得把人物信息、声音内容和镜头安排关联起来,而不只是产出一段文字提示词。

该方案通过素材绑定、结构化分镜、时轴校验及错误修正等机制,让不同模态的信息在生成流程中形成相对明确的对应关系。优化的重点,是把复杂的多模态输入变成更清晰、可校验、可执行的生成上下文。

是石科技发布多模态模型服务:视频生成端到端提速2.48倍(配图 5)

服务层面,是石科技进一步搭起覆盖API接入、任务编排、模型路由、推理执行与结果交付的多模态推理架构,并借任务状态管理、并发控制、超时重试与恢复机制,支撑实际业务中的任务运行和交付。

从模型推理效率到完整生产链路

多模态模型进了生产环境,生成质量、推理时延、显存成本和任务稳定性就不再是各算各的指标。

视频生成端要管住冗余计算与误差累积,多模态理解端要减少无效Token处理,生成链路则得保证素材信息和创作约束有效传递下去。

这些优化能力,被是石科技放进了此次发布的多模态模型服务里,摆到同一条生产链路上统筹。

先是自适应缓存加速和显存资源管理,接着是模态感知Token压缩、基于全模态模型的Context Engine解决方案的结构化衔接,最后落到推理服务架构。优化所针对的对象,也由此从单个模型的计算过程,一步步扩到多模态任务的执行与交付环节。

AI视频要真正上规模,光把一次生成的等待时间压短还不够。关键在于算力给定之后,仍能不断跑出更多符合质量要求的生成任务。

从“能生成”迈向“好生产”,是石科技接下来会围绕多模态推理效率、资源利用和服务稳定性持续做技术优化,给AI视频从模型能力走到实际生产垫一层底。

*本文系量子位获授权刊载,观点仅为原作者所有。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 聚合平台一键比价压低运价,网约车司机被迫接低价单

    11月13日,据中国新闻网报道,记者近期采访了济南、杭州及北京等多地的网约车司机,被迫接受低价订单是司机们集中反馈的问题。有司机观察到,按平均里程算,网约车司机赚的单价正一路走低,不接一口价就接不到单。

    来源 网易科技
  2. 韩国税务师考试榜一考生自首,承认用微型摄像头与 AI 作弊

    IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国 2026 年税务师资格考试的榜一考生承认,他使用了微型摄像头和生成式人工智能作弊。 据报道,第 63 届税务师考试第一名考生 A 某近日接受一名律师采访时,承认自己的作弊行为。 A 某表示,他在考试中利用微型摄像头拍摄考试题目,再将照片发给 AI

    来源 AI 行业观察
  3. 滴滴长春违规派单5起,拟被罚15万元

    长春市交通运输部门近期通报2026年第32期综合行政执法典型案例,5起案件均涉及无证网约车。据“长春交通运输执法”公众号消息,此次公布案例意在以案释法、警钟长鸣,提醒从业人员和网约车平台公司规范经营、严格遵守法律法规。

    来源 网易科技
  4. 苹果2026财年第四财季营收1145亿美元,新CEO特努斯为何仍不满意

    先看AI落地:苹果宣布Apple智能将进入中国市场,采用阿里通义千问大模型,11月4日启动测试,12月随iOS 27.3正式上线。紧接着,2026财年第四财季财报出炉,营收和每股盈利都高于市场预期,iPhone收入刷新同期季度纪录,为“史上最佳财年”收尾。

    来源 AI 行业观察
  5. 超级平台注意力争夺:76.6%青年婚恋观受社交媒体影响,算法该担何责

    睡前翻相亲攻略,顺手给一条婚恋视频点了赞,接下来恋爱甜宠、相亲避雷、彩礼纠纷一类内容便源源不断涌来。有的把浪漫期待抬高,有的把婚姻恐惧放大,平常的幸福反倒很少赢得喝彩。这些推送并不等于全部事实,只是注意力偏好的投射,年轻人衡量亲密关系的标尺,就这样被算法悄悄拨动。

    来源 网易科技
  6. FAA把AI拥堵建议扩大到全美空域,空管工会称未参与协商

    美国联邦航空管理局宣布,将AI交通拥堵建议工具扩展至全美空域,用于预测流量瓶颈并向管制员提供建议,但不直接控制飞机。航空公司欢迎效率提升,空管工会则批评未被纳入协商,担忧安全、透明度与工作负荷。本文分析AI空管落地的人机协同与治理挑战。

    来源 AI 科技快讯
  7. 双11战报出炉:AI贯穿全链条,服务消费成新增长点

    2026年“双11”大促已经收官。今年各家平台把促销规则做得更简单,并依据自身特点做了差异化安排。从收官战报看,平台之间的竞争边界不断外扩,AI正加快进入消费决策和商品供给环节;服务消费则冒头成为新的增长点,“囤服务”也成了本届大促的消费新趋势。

    来源 网易科技
  8. 硅谷预言中期选举失手:技术外推撞上政治现实

    以奥特曼、马斯克为代表的硅谷领袖长期以“预见未来”自我标榜,但2026年美国中期选举前的判断却与结果明显脱节。本文分析这种反差背后的原因:技术外推无法替代政治洞察,算法回音室和精英圈层让科技精英误读社会情绪。对AI行业而言,这不仅是预测失误,更是政治影响力叙事的警钟。

    来源 AI 科技快讯
  9. 韩国AI作弊考生成绩取消:政府启动全国资格考试排查

    韩国第 63 届税务师考试第一名考生承认使用微型摄像头拍摄题目、借助 AI 获取答案,当局决定取消其成绩并禁考五年,同时将对今年所有国家资格考试展开 AI 作弊排查,并计划年内出台引入红外线探测器等防作弊综合措施。#AI作弊# #韩国国家资格考试#

    来源 IT之家
向下滚动自动加载更多