FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍
混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存,内存,gpu,cpu,普通用户,agent,token,混合架构模型,flashstates

视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA
Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 这类线性注意力与状态空间层,眼下已是开源大模型里常见的部件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 走的都是「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。可放到编程 Agent 这种多轮、长上下文的负载里,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,把混合架构模型的 KV 与状态缓存管理重新做了一遍。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹,其预填充(prefill)吞吐最高做到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降了 88.4%。再挂上 512GiB 的 Mooncake CPU 缓存,收益照样明显,分布式存储与跨节点的混合状态复用也已支持。

- 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
- 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
- 代码:https://github.com/FutureMLS-Lab/FlashStates
- 项目主页:https://FlashStates.ai
作者介绍
这项工作由 Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)和得克萨斯大学奥斯汀分校(UT Austin)联手完成。Chenxi Li(Together AI)与 Weili Xu(UIUC)为共同第一作者,Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)也在作者之列,通讯作者是 Chenfeng Xu(UT Austin)。
Together AI 创立于 2022 年 6 月,联合创始人包括 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang,以及苹果前高管 Vipul Ved Prakash。FutureMLS(Future Machine Learning & Systems Lab)则是一家非营利研究实验室,由悉尼大学计算机科学博士周中柱创办,方向集中在高效机器学习架构、后训练、训练与推理引擎,还有智能体系统。
混合状态:缺一不可的两件套
纯 Transformer 的 KV 以 token 为单位存放,前缀截到哪个位置都能复用。线性层不一样,它拿一个固定大小的循环状态把整段前缀压进去,好处是状态不随输入 prompt 变长而膨胀,坏处是单个状态块很占内存,而且回不去:手里攥着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。
所以要接着位置 p 往下算,两样东西得同时在场:一是完整前缀的注意力 KV,二是正好落在 p 的循环检查点(recurrent checkpoint,下文简称检查点)。论文把这两者合起来叫「混合状态」。
Agent 负载每轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就在上一轮请求 decode 输出的终点,可这个位置往往踩不到引擎预设的块边界上。
现有引擎的问题:三类未命中
团队让 GLM-5.3-Flash 分别跑 vLLM 和 SGLang,逐个追溯被重算的 prompt token 是何原因,最后归出三类本可避免的缓存未命中:放置未命中(检查点没存在该在的位置)、依赖未命中(KV 还在,检查点却被驱逐了)、容量未命中(缓存实在装不下)。

vLLM 与 SGLang 的缓存未命中归因
vLLM 默认只在 prompt 内每 4,352 token 的块边界存检查点,decode 阶段一概不存。并发低(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 支持更细的块边界,比如 256 token,同样并发下放置问题基本消失,未命中压到 5% 以下;但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时常常把 KV 还在的检查点踢出去,依赖未命中就来了。
并发再往上走(32-64),问题开始叠加。vLLM 的 prompt 末端检查点一旦请求进入解码就被放回可驱逐队列,依赖未命中从 40 并发起快速攀升,64 并发时占其未缓存 token 的 42%。同样从 40 并发起,两个引擎都掉进「混合状态颠簸」(hybrid state thrashing),容量未命中叠在依赖未命中之上。
结论摆在这儿:检查点间隔大了出放置未命中,小了出依赖未命中,并发一高还要叠上容量未命中,光调检查点密度解决不了。
FlashStates 的设计
1. 任意位置状态检查点(ASC)。
FlashStates 在每个请求收尾时抓取其精确终点的状态;终点若落在 KV 块内部,整个末尾块就保留下来,全注意力 KV 和循环检查点一并纳入统一管理。至于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时把指定位置的状态导出来,输出结果不变。KDA 和 GDN 的 kernel 都已适配。
2. 定义优化目标
有了 ASC 之后,混合状态能放在任意位置。接下来的问题是:显存装不下时,哪些该留?论文用两个位置衡量一个请求 r 被浪费了多少(见下图)。理想恢复点 ℓ(r)(*):请求的 prompt 与之前处理过的所有内容最长能对上的位置;缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里还完整留着混合状态的最近位置。夹在两者之间的 token 只能重新预填充,耗时任作 C(ℓ(r)(π), ℓ(r)(*))。
优化的落点很明确:GPU 内存 B 有限,要让每个请求的实际恢复点 ℓ(r)(π) 尽量贴近理想恢复点 ℓ(r)(*),也就是把全部请求重复预填充的时间总和 Σ(r) C(ℓ(r)(π), ℓ(r)(*)) 压到最小。

3. 依赖感知的准入与驱逐。
围绕这个目标,团队在经典 GreedyDual-Size(GDS)算法上搭了一套在线策略,每个混合状态的优先级定为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指驱逐之后相关请求要多花的那部分预填充时间,由上面的代价模型估出。驱逐以「一个检查点 + 只被它依赖的块」为单位,与其他混合状态共享的前缀不算进释放量。两项的单位都是「每块的预填充时间」,可直接相加,不用任何随负载调整的超参数。准入也走同一套优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才会被留下。
GPU 缓存下的实验结果
实验跑在 B200 上,负载是 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:

三个模型上,FlashStates 的预填充吞吐分别是 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next);p90 TTFT 则分别降低 88.4%、77.1% 和 79.0%。

在多种混合架构模型上随并发变化的服务性能
走出 GPU:CPU 缓存与跨引擎复用
生产环境里,推理服务常把 GPU 装不下的缓存下沉到 CPU 内存甚至共享存储。那么缓存足够大时,FlashStates 还能带来收益吗?论文给出的回答是:缓存更大能留住更多数据,可一个从未被保存过的检查点,它变不出来。
团队把 FlashStates 接进 Mooncake 当 CPU 缓存层,做了三项工程改造:
- 请求结束即异步写穿:请求一收尾,精确终点的新状态就排队拷往 CPU,不用等 GPU 驱逐时才搬;
- 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略铺到 GPU + CPU 两级缓存上,仍被其他状态依赖的块不会被误删;
- 传输优化:改进 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。
测试用的是 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):
- 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%;
- 中位未缓存 prompt token 减少 68.7%–81.4%;
- 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)。

512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)
再往前一步:写入共享存储的状态,可被另一个引擎 worker 上的后续轮次复用,前提是前缀精确匹配、各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署里「下一轮换另一个预填充引擎接手」铺了路。
结语
FlashStates 的核心观点是:恢复位置该由「哪里能复用」来定,而不是由「KV 怎么分块」来定。工程上它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,也为跨引擎的状态共享做好了准备。混合架构越来越普及、Agent 上下文越拉越长,推理系统里那套为纯 Transformer 设计的缓存逻辑,得针对混合状态重新设计。眼下,开源推理引擎 SGLang 已经接入 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。
参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters