是石科技发布多模态服务:视频生成提速2.48倍且画质无损

资讯 AI 应用前沿 全文 2973 字 · 约 8 分钟读完 配图 5 张 分类视频生成多模态

AI视频批量生产面临速度与质量的矛盾。是石科技新推出的多模态模型服务,通过自适应缓存加速、显存协同优化及Token压缩技术,在保持画质的前提下将推理速度提升2.48倍。同时引入Context Engine解决多素材结构化衔接难题,旨在降低企业级视频生成的算力成本并提高并发处理能力。

所属频道 模型发布视频图像生成

视频生成里那个“不可能三角”,眼下有了新解法。

做AI视频的人都清楚一个难处:求快,画质容易崩;求稳,算力和时间又贵得离谱。

文章配图

单次尝鲜的时候,等上几十秒甚至几分钟,大家还忍得住。可一旦进了批量生产,比如短剧制作、营销素材成批产出,这事就从“体验不好”变成“成本不可控”。砍掉计算步骤确实能让时间短下来,但误差会一层层累积,画面容易闪烁、变形;把完整计算过程保留下来倒是稳妥,代价是昂贵的显卡集群得长时间满负荷跑。

文章配图

质量、速度、成本之间怎么找平衡?是石科技新发布的「多模态模型服务」想给一个工程化的答案。他们没在模型参数上单纯堆量,而是把力气花在推理加速、缓存管理、Token压缩以及素材理解链路这几个常被忽略的“基础设施”环节。

文章配图

方案的核心逻辑很直白:不该算的不算,该存的存好,该压缩的压缩。官方测试数据显示,同等实验设置下,其端到端推理速度比传统Dense基线方案提升2.48倍,生成质量没有明显下降。

文章配图

不盲目跳步:自适应缓存加速

文章配图

视频生成模型一般走迭代式计算,从噪声一点点还原出清晰画面。这个过程中,相邻帧或相邻步骤之间往往存在大量重复、相似的信息。

传统加速办法,要么粗暴减少迭代步数,要么简单复用历史缓存。前者拿质量换速度,后者则要面对“误差累积”的风险——某一步复用了错误缓存,后面所有步骤就跟着错下去,视频于是出现诡异的扭曲或闪烁。

是石科技的做法是“动态判断”。他们引入一种基于历史缓存残差的自适应加速技术。说白了,系统在每一步计算时都会评估:眼下这份缓存结果靠不靠谱?

画面变化不大、历史残差显示复用风险低,系统就直接沿用之前的计算结果,省掉重复劳动;一旦检测到关键区域变化剧烈,或者误差风险偏高,系统马上触发重新计算和校准。这套机制好比一位经验丰富的剪辑师,清楚哪些镜头可以偷懒复用,哪些必须精修。

这种动态刷新策略避开了“一刀切”造成的质量损失。可视化样例里能看到,相比单纯的Dense端到端加速,该方案在保持人物面部细节、动作连贯性上更稳。2.48倍的提速不是靠削减必要计算换来的,而是精准剔除了冗余计算。

显存也是瓶颈:与SGLang结合的缓存管理

除了计算速度,显存占用是卡住并发能力的另一道坎。

多个视频生成任务同时跑起来时,缓存数据的存储、读取和更新会大量吃掉显存。管理不当的话,单个任务跑得再快,整体吞吐量也上不去——显存很快就被碎片化的缓存数据填满。

是石科技把智能缓存决策与SGLang推理框架做了深度结合。SGLang本身是高效的LLM推理引擎,擅长处理复杂调度。在此基础上,他们引入了分块处理、压缩及智能调度机制。

关键在于“风险感知”。系统不只盯着缓存命中率,也盯着缓存带来的显存压力。靠动态调整缓存策略,系统在提高复用效率的同时严格控制显存开销。这意味着同样的硬件资源下,能同时处理更多视频生成请求。

对企业用户来说,这比单纯的“单任务加速”更有意义。生产环境看重的是单位时间内的总产出(Throughput),而不只是单个视频的生成时间。降低冗余计算和缓存开销,直接换来更高的并发能力和更灵活的部署方案。

听懂音视频:免训练的Token压缩

视频生成不只是“画出来”,还得先“看懂”输入素材。

如今的多模态模型要处理图片、音频、视频片段和文字指令。视频和音频里含着高密度的时序信息。把每一帧、每一段音频都原封不动转成Token,计算量会爆炸式增长。可问题是,这些输入中有不少冗余信息——比如背景静止的画面、音频里的静音片段。

对所有Token一视同仁,既费算力又拖速度;统一压缩,又可能丢掉关键语义,比如人物口型的变化或背景音的细节。

是石科技提出一种基于模态自适应的免训练Token压缩方法。借助AudioCLIP等模态感知技术,系统能识别不同模态中的有效信息密度。信息量低的片段,大幅压缩Token数量;关键语义部分,则保留高精度表示。

这套方法不用额外训练模型,即插即用。在WorldSense评测中,该方法实现1.33倍加速。在VideoMME、DailyOmni等多模态理解基准测试中,性能表现也保持稳定。这说明,通过更聪明的数据预处理,可以在不损失理解能力的前提下,显著降低多模态理解的计算负担。

Context Engine:让素材“说人话”

速度和资源这两道坎迈过去之后,实际业务里还横着一个难题:怎么让模型真正读懂创作者那些复杂的意图?

真实的视频生成需求常常很绕。用户可能一次丢来一张人物照片、一段参考音频、几段参考视频,再配一段文字描述,要的是一段口型特定、动作特定的对白视频。这些素材彼此咬得很紧:人物身份得前后一致,口型得跟音频对得上,动作还得符合镜头逻辑。

这么一堆素材直接塞给生成模型,模型就容易顾此失彼——人物长相变了,口型对不上,或者镜头乱切。过去常见的办法是写一套极其复杂的Prompt,可门槛高不说,效果也不稳。

是石科技为此搭了一个Context Engine(上下文引擎),底座是全模态模型。它的任务,就是在看懂素材和生成视频这两步之间架起一座桥。

系统先把所有输入素材解析一遍,把人物身份、声音特征、动作约束、镜头语言这些信息提取成结构化的内容。接着再把这些内容组织成模型能执行的指令,比如明确的分镜脚本、时轴校验规则。

拿人物对白视频来说,Context Engine给出的不只是一段文字提示,它会把人物图片ID、音频时间戳、唇形同步参数绑到一块,拼成一个完整的执行上下文。后面的生成模型由此能看明白:第几秒、谁、说什么话、做什么动作。

素材绑定、分镜结构化、时轴校验加上错误修正,这套结构化衔接机制把多模态生成的不确定性压下去不少。AI视频生成也因此从“抽卡”变得可控、可校验。

从“能生成”到“好生产”

把这次发布的技术细节捋一遍,能看出来石科技盯的已经不只是单个模型的能力,而是整条生产链路。

以前大家比的是模型能不能画出逼真的手、能不能生成连贯的动作。应用落地之后,竞争焦点换了:在给定的算力预算下,谁能在批量产出合格视频这件事上更稳、更快。

这条链路上的每个环节,眼下都在被优化:

  • 理解端:靠Token压缩,把多模态输入的解析成本降下来;
  • 衔接端:靠Context Engine,把创作意图准确传到生成模型那里;
  • 生成端:靠自适应缓存加速,砍掉冗余计算,把推理速度提上去;
  • 资源端:靠与SGLang结合的缓存管理,把显存利用率和并发能力抬起来。

单拎出来看,这些技术可能都只是局部优化;凑到一起,就成了一套面向生产环境的解决方案。对视频制作公司、广告代理商或者内容平台来说,这意味着AI视频生成的边际成本正在快速往下走。

技术落地当然还有难关。不同风格视频里的泛化能力、极端复杂场景下的纠错机制,都得在实际业务里慢慢磨。但方向已经清楚了:AI视频的下半场,比的不是谁生成的视频更惊艳,而是谁能让视频生成变得像水电一样稳定、便宜、好用。

是石科技这次出手,就是朝这个方向走的一步。对行业而言,这不只是一款新产品的发布,更像一个信号:AI视频正从实验室走向流水线。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Gemini Decision 1发布:毫秒级批量判断,不闲聊

    谷歌推出首个专用决策模型Gemini Decision 1,主打“不生成文本,只做判断”。它能在150-250毫秒内,基于同一份多模态输入一次性回答上千道是非题或选择题,并输出置信度。这种跳过Token解码的架构,让它在模型路由、内容审核等需要快速二选一或多选一的场景中,比传统大模型更快且更便宜。

    来源 AI 应用前沿
  2. 人大快手团队论文:AI看视频为何分不清先后,EventLens给出解法

    你有没有遇到过这样的情况:给AI看一段切菜做饭的视频,问它"先放了油还是先放了菜",它答得支支吾吾,甚至把顺序说反了?这不是个段子。这是2026年多模态大模型普遍存在的问题。你可能觉得奇怪,现在的AI视频理解模型连考试都能考高分,怎么会连"先后顺序"这种小学生都懂的事都搞不清楚?答案藏在一个容易被忽略的事实里:...

    来源 腾讯网
  3. 中文在线:AI短剧+视频生成占Token消耗55%,IP生意水下更大?

    雪球越滚越大。《投资者网》蔡俊短剧,正以前所未有的膨胀速度,吸引市场目光。近期,中文在线(300364.SZ)在投资者交流会上的一则信息引发全网讨论:国内整体Token(词元)消耗里“AI短剧+视频生成”占 55%,成为第一大消耗场景。实际上,市场只看到各大平台IP生意的冰山一角,上线短剧是浮在水面上的终端,容易在互联

    来源 腾讯网
  4. 曝苹果首款智能眼镜明年6月发布、年底出货

    【TechWeb】11月16日消息,据彭博社资深科技记者马克·古尔曼(Mark Gurman)2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会(WWDC)上正式发布,并预计在2027年年底之前开始出货。该产品内部代号为 N50。 报道称,N50 智能眼镜不具

    来源 AI 行业观察
  5. 苹果N50智能眼镜:2027年6月亮相,年底出货?

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  6. 苹果N50智能眼镜曝光:2027年6月WWDC发布,年底前出货

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  7. 黄仁勋辞职:周鸿祎谈创始人价值与美对华芯片分歧

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部封

    来源 AI 行业观察
  8. 戴盟机器人触觉传感器出货数万片:广东灵巧手竞速具身智能落地

    南方财经记者 郑康喜 生活中,如果你用手拿一个水果,并不一定要用眼睛盯着,手指会自己寻找物体,控制力气。但机器人却极难学会这个动作,这也成为机器人进入真实场景的堵点之一。 难在力度控制。机器人走到水果前,能看见水果的颜色和类型,但较难控制力道,力道差一点,水果要么抓空,要么被捏烂。现有的多模态模型常常...

    来源 腾讯网
  9. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  10. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  11. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  12. 周鸿祎:“黄仁勋下台”背后,美对华芯片政策的分歧才是关键

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  13. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  14. 火山引擎领跑MaaS:上半年106.3亿市场暴涨889%

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618文 | 任雪芸封面来源 | 豆包AI 2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服

    来源 腾讯网
  15. 微软78兆瓦数据中心遭抗议:16国行动与41项公投背后

    欧洲多地抗议与美国地方选举结果显示,数据中心扩张正遭遇越来越强的社会阻力。电价上涨、持续噪音、房价承压及就业收益有限,引发居民不满;与此同时,电网接入滞后、设备短缺和融资压力也令开发商面临成本与违约风险。尽管审批趋严,AI算力需求仍推动行业持续扩张。

    来源 华尔街见闻
  16. 黄仁勋辞职,周鸿祎:美国对华芯片政策分歧才是关键

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部.

    来源 腾讯网
  17. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  18. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率三项升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  19. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  20. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
向下滚动自动加载更多