是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降

资讯 量子位 全文 2916 字 · 约 8 分钟读完 配图 5 张 分类视频生成

AI视频生成中,推理速度提升与生成质量下降,可能同时发生。

所属频道 视频图像生成

是石科技近日推出多模态模型服务。

允中 发自 凹非寺

AI视频生成过程中,推理变快和画质变差有可能一起出现。

计算步骤少了,出片时间能缩短,可误差也会一步步攒起来;把完整计算过程全保留,画质稳住了,算力和显存的开销却跟着上去。

视频生成一旦从单次尝鲜走向批量生产,摆在面前的问题就不只是模型能不能出片,而是画质、推理时延和资源成本三者怎么摆平。

是石科技这次发布的新品叫「多模态模型服务」,优化重点落在几处:视频生成推理加速、缓存与显存管理、多模态Token压缩,以及素材理解与生成链路之间的衔接。

其中:

  • 其中,基于历史缓存残差的自适应加速技术,管的是视频生成里那些冗余计算;缓存管理机制借助SGLang来优化资源使用;模态自适应Token压缩则压低多模态理解的开销;基于全模态模型的Context Engine,把素材理解的结果转成视频生成模型能执行的结构化信息。

几项技术各管一段,指向的目标却一致:画质和服务稳定性不能丢,同时把多模态模型的推理效率、算力利用率提上去。

视频生成加速:砍掉冗余计算,同时压住误差累积

视频生成模型一般要跑多轮迭代,从最初的信息一点点算出视频内容。这个过程中,相邻的计算步骤之间有信息可以复用。

每一步都完整算一遍,推理开销会很高;可要是直接跳过某些步骤、或者拿历史结果顶替,缓存误差又会在迭代中越积越多,最后拖累画质。

所以视频推理加速的要害不在于少算几次,而在于分辨哪些计算能安全复用、什么时候必须重算来把误差压住。

是石科技用的是基于历史缓存残差的自适应加速技术:靠历史计算信息评估缓存复用的风险,再动态调整计算和刷新策略。

变化不大的计算部分,系统直接复用历史结果,省掉重复计算;误差风险高的关键部分,则触发重算和校准,让缓存误差少影响后面的生成。动态刷新加上误差校准,系统在砍计算开销的同时,尽量保住视频生成轨迹的一致性。

是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降(配图 1)△相同实验设置下,是石科技缓存复用方案相对Dense端到端加速的可视化样例
是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降(配图 2)

按发布方案给出的测试条件,对比Dense基线方案,这项技术做到端到端平均2.48倍加速,画质也保持住了。

换句话说,推理加速不必再靠砍生成步骤来实现,改用更细的计算复用策略,就能在效率和质量之间动态找平衡。

缓存与显存协同优化:让单位算力扛更多任务

视频生成的开销,一部分来自计算量,另一部分来自推理时的显存占用。

并发跑多个视频任务时,缓存数据怎么存、怎么读、怎么更新,都会左右显存的利用效率。哪怕单个任务已经跑得更快,只要缓存管理本身吃掉额外资源,整体能扛的任务量照样会被拖住。

是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降(配图 3)

所以单任务加速和多任务资源利用得放在一起调。是石科技的做法,是把智能缓存决策接进SGLang推理框架,靠缓存复用、分块处理、压缩和智能调度这几套机制,把重复计算和不必要的显存开销压下去。

系统还加了风险感知机制,依据实际计算反馈动态调整缓存策略,复用效率往上走,误差风险同时被控制住。优化的范围也因此从一次推理的计算,扩到了资源管理这一层。

对企业级视频生产来说,生成速度、显存占用和任务并发能力三者共同决定算力资源的实际产出。冗余计算和缓存开销降下来,更高并发、更灵活的任务部署才有腾挪空间。

模态自适应Token压缩:压低音视频的理解开销

视频生成之外,多模态理解同样卡在计算效率上。视频和音频的时序信息密度比文本高得多,模型处理连续视频帧、声音片段这类输入时,得把它们转成大量Token,计算和存储负担随之增加。可不同模态、不同片段的信息密度并不一样:有的Token带着关键语义,有的冗余度很高。

所有Token一视同仁地处理,容易白算;直接统一压缩,又可能把影响理解结果的重要信息弄丢。

是石科技给出的方案,是模态自适应的免训练Token压缩方法,借助基于AudioCLIP的模态感知技术分辨不同模态里的有效信息,再据此决定Token保留多少、压缩多少。核心思路一句话:按模态特征和信息价值分配计算资源,而不是对全部输入等比例处理。

这个方法不用额外训练,靠减少冗余Token来降低多模态理解阶段的计算负担,关键语义信息则尽量保住。

是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降(配图 4)

WorldSense评测里,该方法拿到1.33倍加速;VideoMME、DailyOmni等多个多模态理解基准测试中,性能表现同样不错。多模态推理优化由此从视频生成端延伸到素材理解端,处理复杂视听输入多了一条更高效的路径。

基于全模态模型的Context Engine解决方案

推理效率之外,多模态视频创作还有个问题:理解结果怎么进到生成流程里去。实际业务里的视频生成请求,往往人物图片、参考视频、音频、文字要求一起上。

这些输入形式各异,还夹着人物身份、动作、声音、镜头、时间顺序等约束。复杂素材和自然语言指令直接丢给生成模型,素材之间的关联和执行要求未必能表达得一致。

是石科技为此搭了基于全模态模型的Context Engine解决方案,在多模态理解与视频生成之间架起结构化的信息衔接机制。

系统先读懂输入素材和创作需求,把人物、声音及相关约束提取出来,再组织成含镜头、动作、对白等内容的结构化信息,交给后续视频生成模型执行。比如用户给了人物图片和参考音频,要求生成一段人物对白视频,系统得把人物信息、声音内容和镜头安排关联起来,而不只是吐出一段文字提示词。

素材绑定、结构化分镜、时轴校验、错误修正等机制一起作用,不同模态的信息在生成流程里能形成相对明确的对应关系。优化的重点,就是把复杂的多模态输入变成更清晰、可校验、可执行的生成上下文。

是石科技发布多模态模型服务:视频生成提速2.48倍,画质不降(配图 5)

服务层面,是石科技进一步搭起覆盖API接入、任务编排、模型路由、推理执行与结果交付的多模态推理架构,并借任务状态管理、并发控制、超时重试与恢复机制,支撑实际业务中的任务运行和交付。

从模型推理效率到完整生产链路

多模态模型一旦进入生产环境,生成质量、推理时延、显存成本与任务稳定性这几项指标就不再各自为政。

视频生成这一端,要把冗余计算和误差累积压下去;多模态理解这一端,得减少无效Token的处理量;生成链路则要确保素材信息与创作约束能顺利传递到位。

是石科技此次发布的多模态模型服务,正是把这些优化能力放到同一条生产链路里通盘考虑。

自适应缓存加速、显存资源管理,加上模态感知Token压缩、基于全模态模型的Context Engine解决方案的结构化衔接,再到推理服务架构,优化对象一步步从单个模型的计算过程,延伸到多模态任务的执行与交付环节。

AI视频要规模化落地,关键并不在于把单次生成的等待时间压短,而是在算力资源既定的前提下,持续完成更多符合质量要求的生成任务。

从“能生成”迈向“好生产”,是石科技后续将围绕多模态推理效率、资源利用与服务稳定性持续做技术优化,为AI视频从模型能力走向实际生产提供基础支撑。

*本文系量子位获授权刊载,观点仅为原作者所有。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果N50智能眼镜:2027年6月亮相,年底出货?

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  2. 曝苹果首款智能眼镜明年6月发布、年底出货

    【TechWeb】11月16日消息,据彭博社资深科技记者马克·古尔曼(Mark Gurman)2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会(WWDC)上正式发布,并预计在2027年年底之前开始出货。该产品内部代号为 N50。 报道称,N50 智能眼镜不具

    来源 AI 行业观察
  3. 苹果N50智能眼镜曝光:2027年6月WWDC发布,年底前出货

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  4. 黄仁勋辞职:周鸿祎谈创始人价值与美对华芯片分歧

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部封

    来源 AI 行业观察
  5. 周鸿祎:“黄仁勋下台”背后,美对华芯片政策的分歧才是关键

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  6. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  7. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  8. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  9. 微软78兆瓦数据中心遭抗议:16国行动与41项公投背后

    欧洲多地抗议与美国地方选举结果显示,数据中心扩张正遭遇越来越强的社会阻力。电价上涨、持续噪音、房价承压及就业收益有限,引发居民不满;与此同时,电网接入滞后、设备短缺和融资压力也令开发商面临成本与违约风险。尽管审批趋严,AI算力需求仍推动行业持续扩张。

    来源 华尔街见闻
  10. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  11. 黄仁勋辞职,周鸿祎:美国对华芯片政策分歧才是关键

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部.

    来源 腾讯网
  12. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  13. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率三项升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  14. Gartner:AI到2030年净增170万岗位,是危机还是转机?

    IT之家 11 月 15 日消息,人工智能可能引发的就业危机,或许并不像人们想象的那样。 商业与科技研究机构 Gartner 预测,2025 年至 2030 年间,AI 将在全球创造 1060 万个新工作岗位,同时导致 890 万个岗位消失。两者相抵,到 2030 年前,全球就业市场预计将因 AI 净增加约 170 万

    来源 AI 行业观察
  15. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  16. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  17. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  18. 为什么说Gemini才是目前最被低估的真神?

    有很多宣传自己多模态的模型,其实并没有听觉,比如GPT-6、Claude 5.5,你让他们听声音时,他们可能会回得有模有样,但实则把音频偷偷交给其他工具处理,模型本身听不见声音。

    来源 凤凰科技
向下滚动自动加载更多