FlashStates重构混合模型缓存:预填充吞吐达vLLM的3.14倍
混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设...
KDA、GDN、Mamba-2 这类线性注意力层和状态空间层,如今在开源大模型里越来越常见。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都走「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。
不过放到编程 Agent 这种多轮、长上下文的场景里,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,把混合架构模型的 KV 缓存和状态缓存管理重新做了一遍。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,这套方案的预填充(prefill)吞吐最高能到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降 88.4%。再挂上 512GiB 的 Mooncake CPU 缓存,收益照样明显,分布式存储和跨节点混合状态复用也已经支持。
-
论文标题为 FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference。
-
论文链接:https://www.alphaxiv.org/abs/2611.FlashState
-
代码:https://github.com/FutureMLS-Lab/FlashStates
-
项目主页:https://FlashStates.ai
作者介绍
这项研究由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)和得克萨斯大学奥斯汀分校(UT Austin)三方合作完成。Chenxi Li(Together AI)与Weili Xu(UIUC)为共同第一作者,Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)参与署名,通讯作者是UT Austin的Chenfeng Xu。
Together AI创办于2022年6月,创始团队包括Flash Attention作者Tri Dao、斯坦福大模型研究中心主任Percy Liang、芝加哥大学副教授Ce Zhang以及苹果前高管Vipul Ved Prakash。参与合作的FutureMLS(Future Machine Learning & Systems Lab)来头也不小,它由悉尼大学计算机科学博士周中柱发起,是一家非营利研究实验室,方向集中在高效机器学习架构、后训练、训练与推理引擎以及智能体系统。
混合状态:缺一不可的两件套
纯Transformer的KV按token逐个存储,前缀截到任意位置都能复用。线性层走的是另一条路:它用固定大小的循环状态把整个前缀压成一个整体。这么做的优点是状态不随输入prompt变长而膨胀,缺点是单个状态块很占内存,并且没法回滚——拿到第10000个token处的状态,推不出第9000个token处的状态。
所以要想从位置p接着算下去,两样东西必须同时在手:一是完整前缀的注意力KV,二是恰好落在p处的循环检查点(recurrent checkpoint,下文简称检查点)。论文给这两者的组合起了个名字,叫「混合状态」。
Agent负载的每一轮请求都由「上一轮prompt + 上一轮输出 + 工具结果」拼成,最理想的复用点正是上一轮请求decode输出的终点。问题在于,这个位置往往不落在引擎预设的块边界上。
现有引擎的问题:三类未命中
团队拿GLM-5.3-Flash分别跑了vLLM和SGLang,对每个被重算的prompt token逐一追溯原因,最后归出三类本可避免的缓存未命中:检查点没存在需要的位置,叫放置未命中;KV还在、检查点却被驱逐,叫依赖未命中;缓存确实装不下,叫容量未命中。
vLLM与SGLang的缓存未命中归因
vLLM的做法是只在prompt内每4,352 token的块边界存检查点,decode阶段一概不存。并发较低(8-16)时,放置未命中占其未缓存token的43%。SGLang支持更细的块边界,比如256 token,同样并发下放置问题基本消失,未命中压到5%以下;但约430个检查点挤在独立的状态池里,按LRU驱逐时经常把KV仍在的检查点踢掉,依赖未命中随之而来。
并发再往上走(32-64),几类问题开始叠加。vLLM的prompt末端检查点在请求进入解码后就被放回可驱逐队列,依赖未命中从40并发起快速攀升,64并发时占其未缓存token的42%。同样从40并发起,两个引擎都陷入「混合状态颠簸」(hybrid state thrashing),容量未命中叠在依赖未命中之上。
说白了,检查点间隔设得大,放置未命中就冒出来;设得小,依赖未命中又躲不开;并发一高,容量未命中再压上来。光靠调检查点密度,这条路走不通。
针对这些,FlashStates 拿出了自己的方案。
第一项是任意位置状态检查点,简称 ASC。
具体做法上,每个请求收尾时,FlashStates 会把它精确终点的状态抓下来。终点若落在某个 KV 块内部,整个末尾块就一并留下,全注意力 KV 和循环检查点都算在内,由系统统一管起来。至于预填充进行到一半的位置,团队另设了 PrefillExport 接口:kernel 照常计算,同时把指定位置的状态导出去,输出结果不受影响。KDA 和 GDN 的 kernel 都已做了适配。
第二项是给优化定目标。
有了 ASC,混合状态想放哪儿就能放哪儿。接下来的问题是:显存装不下时,该留哪些?论文用两个位置来衡量一个请求 r 浪费了多少(见下图)。一个是理想恢复点 ℓ(r)(*):请求的 prompt 跟此前处理过的所有内容最长能对上之处,缓存够大就能从这儿接着算。另一个是实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里混合状态还完整留着的最近位置。这两点之间的 token 只能重新预填充,耗时记为 C(ℓ(r)(π), ℓ(r)(*))。
于是优化目标就清楚了:GPU 内存 B 有限,要让每个请求的实际恢复点 ℓ(r)(π) 尽量逼近理想恢复点 ℓ(r)(*),也就是把所有请求重复预填充的时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*)) 压到最小。
第三项是依赖感知的准入与驱逐。
团队照着经典的 GreedyDual-Size(GDS)算法搭了一套在线策略,给每个混合状态算优先级:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指驱逐之后相关请求要多花的那部分预填充时间,由前面那个代价模型估出来。驱逐以「一个检查点 + 只被它依赖的块」为单位,跟其他混合状态共享的前缀不算进释放量。两项的单位都是「每块的预填充时间」,直接相加即可,不用任何随负载调整的超参数。准入也走同一套优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才留得下来。
接下来看 GPU 缓存下的实验数据。
这轮实验跑在 B200 上,用的是 SemiAnalysis 公开的 Claude Code 轨迹。条件为 GLM-5.3-Flash、1M 上下文、48 会话:
换成三个模型分别看,FlashStates 的预填充吞吐达到 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next);p90 TTFT 则各自下降 88.4%、77.1%、79.0%。
上面这组数据反映的是多种混合架构模型在并发变化时的服务表现。
接下来把视线从 GPU 挪开,看 CPU 缓存以及跨引擎复用的情况。
真实生产里,GPU 装不下的缓存往往会被推到 CPU 内存甚至共享存储上。缓存给得足够大,FlashStates 还能赚到收益吗?论文给出的说法是:缓存变大能留下更多数据,可它变不出一个压根没被存过的检查点。
团队把 FlashStates 接进 Mooncake,当作 CPU 缓存层来用,为此做了三项工程层面的改动:
-
第一项是请求一结束就异步写穿:请求收尾时,精确终点的新状态直接排队拷往 CPU,不用拖到 GPU 驱逐那一刻再搬;
-
第二项是把两级缓存放到一起管:Mooncake 的元数据服务器被扩展,用来跟踪状态归属和共享 KV 引用,依赖感知的 GDS 策略也从 GPU 推到 GPU + CPU 两级缓存,那些还被别的状态依赖着的块不会遭到误删;
-
第三项落在传输上:GPU 到 CPU 的拷贝做了优化,投机解码(MTP)相关的状态也做了压缩。
测试配置为 GLM-5.3-Flash NVFP4、1M 上下文,每个服务配两块 B200,开启 3 步 MTP,对照的是 vLLM + Mooncake(512GiB)和 SGLang + HiCache(511.5GiB 主机缓存):
-
输出吞吐上,比 vLLM + Mooncake 最多高出 41.4%,比 SGLang + HiCache 最多高出 36.2%;
-
未缓存 prompt token 的中位数少了 68.7%–81.4%;
-
跑到 80 会话时,p90 TTFT 约为原来的三分之一(7.18 秒,另外两边是 21.88 秒和 22.97 秒)。
下图是 512GiB CPU 缓存下的输入吞吐与解码速度,气泡面积代表 p90 TTFT,模型为 GLM-5.3-Flash NVFP4,会话数 32–80。
另外,只要前缀完全一致、张量并行(TP)各 rank 需要的对象都齐备,写入共享存储的状态就能被另一个引擎 worker 在后续轮次里接着用。预填充-解码(PD)分离这类分布式部署中「下一轮换另一个预填充引擎接手」的场景,因此有了实现的基础。
结语
FlashStates 想说的是:该在哪儿恢复,取决于「哪里能复用」,跟「KV 怎么分块」没关系。落到工程上,它已经接进 vLLM,三种混合架构都能覆盖,CPU 缓存和投机解码也兼容,跨引擎共享状态同样做了铺垫。混合架构越铺越开,Agent 的上下文越拉越长,推理系统里那套为纯 Transformer 写的缓存逻辑,就得照着混合状态重新做。开源推理引擎 SGLang 已经用上了 FlashStates 提出的成本感知状态淘汰策略,官方文档里也明确引用了这项工作。
参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters