FlashStates重构混合状态缓存:Agent预填充吞吐最高达vLLM的3.14倍
视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiAKimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Fl
视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA
Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 这类线性注意力与状态空间层,如今已是开源大模型里常见的组成部分。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 走的都是「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。
可一旦落到编程 Agent 这种多轮、长上下文的负载上,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,对混合架构模型的 KV 和状态缓存管理做了重新设计。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高冲到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降了 88.4%。接上 512GiB 的 Mooncake CPU 缓存之后,收益依旧明显,分布式存储与跨节点的混合状态复用也已支持。
论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
论文链接:https://www.alphaxiv.org/abs/2611.FlashState
代码:https://github.com/FutureMLS-Lab/FlashStates
项目主页:https://FlashStates.ai
作者介绍
这项工作是 Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成的。共同第一作者是 Chenxi Li(Together AI)和 Weili Xu(UIUC),其余作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI),通讯作者为 Chenfeng Xu(UT Austin)。
Together AI 创立于 2022 年 6 月,创始阵容里有 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、
混合状态:缺一不可的两件套
纯 Transformer 的 KV 是按 token 存的,前缀截到任意位置都能复用。线性层不一样,它用一个固定大小的循环状态把整个前缀概括起来。好处是状态大小不随输入 prompt 长度增长,坏处有两样:单个状态块占内存大,而且这个状态没法回滚——拿到第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。
所以想从位置 p 接着算,两样东西得同时在场:一是完整前缀的注意力 KV,二是恰好落在 p 的循环检查点(recurrent checkpoint,下文简称检查点)。论文把这两者合起来叫「混合状态」。
Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就在上一轮请求 decode 输出的终点,可这个位置往往不落在引擎预设的块边界上。
现有引擎的问题:三类未命中
研究团队让 GLM-5.3-Flash 分别跑 vLLM 和 SGLang,逐个追溯每个被重算的 prompt token 的原因,最后归出三类本可避免的缓存未命中:检查点没存在需要的位置,叫放置未命中;KV 还在、检查点却被驱逐,叫依赖未命中;缓存确实装不下,叫容量未命中。
vLLM 与 SGLang 的缓存未命中归因
vLLM 默认只在 prompt 内每 4,352 token 的块边界存检查点,decode 阶段不存。并发低(8-16)的时候,放置未命中占到它未缓存 token 的 43%。SGLang 支持更细的块边界,比如 256 token,同样并发下放置问题基本没了,未命中压到 5% 以下;但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时常常把 KV 还在的检查点踢掉,依赖未命中就来了。
并发再往上走(32-64),几类问题开始叠加。vLLM 的 prompt 末端检查点,请求一进入解码就被放回可驱逐队列,依赖未命中从 40 并发起快速上涨,到 64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中压在依赖未命中之上。
结论是:检查点间隔大,出放置未命中;间隔小,出依赖未命中;并发一高,容量未命中还会叠上来。光调检查点密度,解决不了。
FlashStates 的设计
1. 任意位置状态检查点(ASC)。
FlashStates 在每个请求结束时,把它精确终点的状态捕获下来;终点要是落在 KV 块内部,就把整个末尾块一起保留,全注意力 KV 和循环检查点统一管理。至于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时把指定位置的状态导出,输出结果保持不变。KDA 和 GDN 的 kernel 都已适配。
2. 定义优化目标
混合状态在 ASC 下可落在任意位置。接下来的难点是:显存容量不够时,哪些该保留?论文给出两个位置,用来衡量请求 r 被浪费掉多少(见下图)。理想恢复点 ℓ(r)(*):请求的 prompt 与之前处理过的全部内容能够对上、且对得最长的那个点;缓存够大,就能从该点继续算下去。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存中依然完整保留混合状态的最近一处位置。夹在两者之间的 token 没法省,只能重新预填充,所耗时间记为 C(ℓ(r)(π), ℓ(r)(*))。
优化目标因此是:GPU 内存上限为 B 时,让每个请求的实际恢复点 ℓ(r)(π) 尽可能贴近理想恢复点 ℓ(r)(*),也就是把所有请求重复预填充的时间加总后压到最小:Σ(r) C(ℓ(r)(π), ℓ(r)(*))。
3. 依赖感知的准入与驱逐。
为此,团队以经典的 GreedyDual-Size(GDS)算法为底子,设计了一套在线策略。每个混合状态的优先级这样算:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指的是驱逐之后,相关请求要多花的那部分预填充时间,由前面的代价模型估出来。驱逐以「一个检查点 + 只被它依赖的块」为单位,与其他混合状态共用的前缀不算进释放量。两项的单位都是「每块的预填充时间」,直接相加即可,不用设任何随负载调整的超参数。准入用的也是同一个优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才会被留下。
GPU 缓存下的实验结果
实验跑在 B200 上,负载取自 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:
三个模型上,FlashStates 的预填充吞吐分别是 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 则分别降了 88.4%、77.1% 和 79.0%。
多种混合架构模型上,服务性能随并发变化的曲线。
走出 GPU:CPU 缓存与跨引擎复用
实际生产里,推理服务往往把 GPU 装不下的缓存挪到 CPU 内存甚至共享存储。那么缓存给得够大,FlashStates 还能带来收益吗?论文的答案是:缓存越大,留住的数据越多,可它变不出一个从来没被保存过的检查点。
团队把 FlashStates 接进 Mooncake 当 CPU 缓存层,做了三项工程改造:
请求结束即异步写穿:请求一完,精确终点的新状态就排队拷往 CPU,不用等 GPU 驱逐时才搬;
两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推到 GPU + CPU 两级缓存上,仍被其他状态依赖的块不会遭误删;
传输优化:改进 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。
测试用的是 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对照组为 vLLM + Mooncake(512GiB)和 SGLang + HiCache(511.5GiB 主机缓存):
输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%
中位未缓存 prompt token 减少 68.7%–81.4%
80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)
512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)
再往前一步,写进共享存储的状态还能被另一个引擎 worker 上的后续轮次复用,前提是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这就为预填充-解码(PD)分离这类分布式部署中「下一轮换另一个预填充引擎接手」铺了路。
结语
FlashStates 的核心观点是:恢复位置该由「哪里能复用」来定,而不是由「KV 怎么分块」来定。工程上它已经集成进 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,也为跨引擎的状态共享做好了准备。混合架构越来越普及、Agent 上下文越拉越长,推理系统里那套为纯 Transformer 设计的缓存逻辑,得针对混合状态重新设计。目前,开源推理引擎 SGLang 已经接入了 FlashStates 提出的成本感知状态淘汰策略,官方文档里也明确引用了这项工作。
参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters