FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍

资讯 AI 行业观察 全文 4385 字 · 约 11 分钟读完 配图 8 张 分类智能体

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设...

所属频道 智能体与 Agent


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 1)



KDA、GDN、Mamba-2 这类线性注意力层和状态空间层,如今在开源大模型里越来越常见。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都走「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。


不过放到编程 Agent 这种多轮、长上下文的场景里,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,把混合架构模型的 KV 缓存和状态缓存管理重新做了一遍。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,这套方案的预填充(prefill)吞吐最高能到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降 88.4%。再挂上 512GiB 的 Mooncake CPU 缓存,收益照样明显,分布式存储和跨节点混合状态复用也已经支持。


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 2)


  • 论文标题为 FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference。

  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState

  • 代码:https://github.com/FutureMLS-Lab/FlashStates

  • 项目主页:https://FlashStates.ai


作者介绍


这项研究由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)和得克萨斯大学奥斯汀分校(UT Austin)三方合作完成。Chenxi Li(Together AI)与Weili Xu(UIUC)为共同第一作者,Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)参与署名,通讯作者是UT Austin的Chenfeng Xu。


Together AI创办于2022年6月,创始团队包括Flash Attention作者Tri Dao、斯坦福大模型研究中心主任Percy Liang、芝加哥大学副教授Ce Zhang以及苹果前高管Vipul Ved Prakash。参与合作的FutureMLS(Future Machine Learning & Systems Lab)来头也不小,它由悉尼大学计算机科学博士周中柱发起,是一家非营利研究实验室,方向集中在高效机器学习架构、后训练、训练与推理引擎以及智能体系统。


混合状态:缺一不可的两件套


纯Transformer的KV按token逐个存储,前缀截到任意位置都能复用。线性层走的是另一条路:它用固定大小的循环状态把整个前缀压成一个整体。这么做的优点是状态不随输入prompt变长而膨胀,缺点是单个状态块很占内存,并且没法回滚——拿到第10000个token处的状态,推不出第9000个token处的状态。


所以要想从位置p接着算下去,两样东西必须同时在手:一是完整前缀的注意力KV,二是恰好落在p处的循环检查点(recurrent checkpoint,下文简称检查点)。论文给这两者的组合起了个名字,叫「混合状态」。


Agent负载的每一轮请求都由「上一轮prompt + 上一轮输出 + 工具结果」拼成,最理想的复用点正是上一轮请求decode输出的终点。问题在于,这个位置往往不落在引擎预设的块边界上。


现有引擎的问题:三类未命中


团队拿GLM-5.3-Flash分别跑了vLLM和SGLang,对每个被重算的prompt token逐一追溯原因,最后归出三类本可避免的缓存未命中:检查点没存在需要的位置,叫放置未命中;KV还在、检查点却被驱逐,叫依赖未命中;缓存确实装不下,叫容量未命中。


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 3)

vLLM与SGLang的缓存未命中归因


vLLM的做法是只在prompt内每4,352 token的块边界存检查点,decode阶段一概不存。并发较低(8-16)时,放置未命中占其未缓存token的43%。SGLang支持更细的块边界,比如256 token,同样并发下放置问题基本消失,未命中压到5%以下;但约430个检查点挤在独立的状态池里,按LRU驱逐时经常把KV仍在的检查点踢掉,依赖未命中随之而来。


并发再往上走(32-64),几类问题开始叠加。vLLM的prompt末端检查点在请求进入解码后就被放回可驱逐队列,依赖未命中从40并发起快速攀升,64并发时占其未缓存token的42%。同样从40并发起,两个引擎都陷入「混合状态颠簸」(hybrid state thrashing),容量未命中叠在依赖未命中之上。


说白了,检查点间隔设得大,放置未命中就冒出来;设得小,依赖未命中又躲不开;并发一高,容量未命中再压上来。光靠调检查点密度,这条路走不通。


针对这些,FlashStates 拿出了自己的方案。


第一项是任意位置状态检查点,简称 ASC。


具体做法上,每个请求收尾时,FlashStates 会把它精确终点的状态抓下来。终点若落在某个 KV 块内部,整个末尾块就一并留下,全注意力 KV 和循环检查点都算在内,由系统统一管起来。至于预填充进行到一半的位置,团队另设了 PrefillExport 接口:kernel 照常计算,同时把指定位置的状态导出去,输出结果不受影响。KDA 和 GDN 的 kernel 都已做了适配。


第二项是给优化定目标。


有了 ASC,混合状态想放哪儿就能放哪儿。接下来的问题是:显存装不下时,该留哪些?论文用两个位置来衡量一个请求 r 浪费了多少(见下图)。一个是理想恢复点 ℓ(r)(*):请求的 prompt 跟此前处理过的所有内容最长能对上之处,缓存够大就能从这儿接着算。另一个是实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里混合状态还完整留着的最近位置。这两点之间的 token 只能重新预填充,耗时记为 C(ℓ(r)(π), ℓ(r)(*))。


于是优化目标就清楚了:GPU 内存 B 有限,要让每个请求的实际恢复点 ℓ(r)(π) 尽量逼近理想恢复点 ℓ(r)(*),也就是把所有请求重复预填充的时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*)) 压到最小。


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 4)


第三项是依赖感知的准入与驱逐。


团队照着经典的 GreedyDual-Size(GDS)算法搭了一套在线策略,给每个混合状态算优先级:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指驱逐之后相关请求要多花的那部分预填充时间,由前面那个代价模型估出来。驱逐以「一个检查点 + 只被它依赖的块」为单位,跟其他混合状态共享的前缀不算进释放量。两项的单位都是「每块的预填充时间」,直接相加即可,不用任何随负载调整的超参数。准入也走同一套优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才留得下来。


接下来看 GPU 缓存下的实验数据。


这轮实验跑在 B200 上,用的是 SemiAnalysis 公开的 Claude Code 轨迹。条件为 GLM-5.3-Flash、1M 上下文、48 会话:


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 5)


换成三个模型分别看,FlashStates 的预填充吞吐达到 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next);p90 TTFT 则各自下降 88.4%、77.1%、79.0%。


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 6)

上面这组数据反映的是多种混合架构模型在并发变化时的服务表现。


接下来把视线从 GPU 挪开,看 CPU 缓存以及跨引擎复用的情况。


真实生产里,GPU 装不下的缓存往往会被推到 CPU 内存甚至共享存储上。缓存给得足够大,FlashStates 还能赚到收益吗?论文给出的说法是:缓存变大能留下更多数据,可它变不出一个压根没被存过的检查点。


团队把 FlashStates 接进 Mooncake,当作 CPU 缓存层来用,为此做了三项工程层面的改动:

  • 第一项是请求一结束就异步写穿:请求收尾时,精确终点的新状态直接排队拷往 CPU,不用拖到 GPU 驱逐那一刻再搬;

  • 第二项是把两级缓存放到一起管:Mooncake 的元数据服务器被扩展,用来跟踪状态归属和共享 KV 引用,依赖感知的 GDS 策略也从 GPU 推到 GPU + CPU 两级缓存,那些还被别的状态依赖着的块不会遭到误删;

  • 第三项落在传输上:GPU 到 CPU 的拷贝做了优化,投机解码(MTP)相关的状态也做了压缩。


测试配置为 GLM-5.3-Flash NVFP4、1M 上下文,每个服务配两块 B200,开启 3 步 MTP,对照的是 vLLM + Mooncake(512GiB)和 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐上,比 vLLM + Mooncake 最多高出 41.4%,比 SGLang + HiCache 最多高出 36.2%;

  • 未缓存 prompt token 的中位数少了 68.7%–81.4%;

  • 跑到 80 会话时,p90 TTFT 约为原来的三分之一(7.18 秒,另外两边是 21.88 秒和 22.97 秒)。


FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍(配图 7)

下图是 512GiB CPU 缓存下的输入吞吐与解码速度,气泡面积代表 p90 TTFT,模型为 GLM-5.3-Flash NVFP4,会话数 32–80。


另外,只要前缀完全一致、张量并行(TP)各 rank 需要的对象都齐备,写入共享存储的状态就能被另一个引擎 worker 在后续轮次里接着用。预填充-解码(PD)分离这类分布式部署中「下一轮换另一个预填充引擎接手」的场景,因此有了实现的基础。


结语


FlashStates 想说的是:该在哪儿恢复,取决于「哪里能复用」,跟「KV 怎么分块」没关系。落到工程上,它已经接进 vLLM,三种混合架构都能覆盖,CPU 缓存和投机解码也兼容,跨引擎共享状态同样做了铺垫。混合架构越铺越开,Agent 的上下文越拉越长,推理系统里那套为纯 Transformer 写的缓存逻辑,就得照着混合状态重新做。开源推理引擎 SGLang 已经用上了 FlashStates 提出的成本感知状态淘汰策略,官方文档里也明确引用了这项工作。


参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters


图片


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  2. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  3. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  4. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  5. Uber Eats搜索管道重构:端到端延迟降50%

    优步重构了Uber Eats搜索管道的主要部分,使端到端搜索延迟降低了 50%。这些改进涵盖了检索、特征填充(feature hydration)、排序、广告、展示和基础设施等多个环节,同时优步还引入了智能体编码(agentic coding)工作流,以识别、基准测试并验证额外的优化方案。 这项工作始于对主要延迟指标的

    来源 AI 行业观察
  6. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 行业观察
  7. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  8. 个人智能体咋总掉线?9顶校发布126页「持续在线智能体」路线图

    新智元报道 个人智能体,正在迎来一场前所未有的密集爆发。在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动

    来源 腾讯网
  9. 企业AI从试点走向智能体:数据、流程与治理须重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 科技快讯
  10. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  11. 三星One UI 9.5曝光:系统级AI智能体将覆盖多数自带应用

    IT之家 11 月 15 日消息,据科技媒体 Sammobile 昨天报道,三星 One UI 9.5 系统将为高端 Galaxy 手机和平板电脑带来系统级 AI 智能体,进一步拓展 Galaxy AI 的能力。 IT之家从原报道获悉,三星已在设计 Personal Agent Core 功能,旨在将 AI 助手与系统

    来源 AI 行业观察
  12. 腾讯混元Hy4 flash发布:每百万Token输入0.5元,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。” 混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。 该模型总参数量为224B(其中64B

    来源 AI 行业观察
  13. 智能体帮你联络商家或保险公司,Meta 旗下 Muse 上线代打电话功能

    IT之家 11 月 14 日消息,Meta 旗下 AI 智能体 Muse 推出代打电话功能,开通高级付费订阅后,用户就能让 Muse 代自己联系美国商家。Meta 称,Muse 可以帮助用户处理各种烦琐事务,完成待办事项。 13 日凌晨,Meta 首席 AI 官汪滔在 X 上发文宣布:“Muse 能帮你打完所有不想亲自

    来源 AI 行业观察
  14. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  15. LG U+明年做AI Token业务:帮企业压低AI转型成本

    LG U+ 将自研 Agent 任务路径设计、智能路由与异构芯片组合三项技术用于 Token 优化,端侧模型体积缩至三分之一性能仍达云端 95% 以上,Token 生成速度翻倍。随着 LG U+ 入局,韩国三大运营商将全部进入 Token 经济。#AI Token# #LG U+#

    来源 IT之家
  16. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
向下滚动自动加载更多