FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍

资讯 网易科技 作者:网易 全文 4434 字 · 约 12 分钟读完 配图 7 张 分类智能体存储

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存,内存,gpu,cpu,普通用户,agent,token,混合架构模型,flashstates

所属频道 算力与芯片智能体与 Agent

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 1)

视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 这类线性注意力与状态空间层,眼下已是开源大模型里常见的部件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 走的都是「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。可放到编程 Agent 这种多轮、长上下文的负载里,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,把混合架构模型的 KV 与状态缓存管理重新做了一遍。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹,其预填充(prefill)吞吐最高做到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降了 88.4%。再挂上 512GiB 的 Mooncake CPU 缓存,收益照样明显,分布式存储与跨节点的混合状态复用也已支持。

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 2)

  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
  • 代码:https://github.com/FutureMLS-Lab/FlashStates
  • 项目主页:https://FlashStates.ai

作者介绍

这项工作由 Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)和得克萨斯大学奥斯汀分校(UT Austin)联手完成。Chenxi Li(Together AI)与 Weili Xu(UIUC)为共同第一作者,Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)也在作者之列,通讯作者是 Chenfeng Xu(UT Austin)。

Together AI 创立于 2022 年 6 月,联合创始人包括 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang,以及苹果前高管 Vipul Ved Prakash。FutureMLS(Future Machine Learning & Systems Lab)则是一家非营利研究实验室,由悉尼大学计算机科学博士周中柱创办,方向集中在高效机器学习架构、后训练、训练与推理引擎,还有智能体系统。

混合状态:缺一不可的两件套

纯 Transformer 的 KV 以 token 为单位存放,前缀截到哪个位置都能复用。线性层不一样,它拿一个固定大小的循环状态把整段前缀压进去,好处是状态不随输入 prompt 变长而膨胀,坏处是单个状态块很占内存,而且回不去:手里攥着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

所以要接着位置 p 往下算,两样东西得同时在场:一是完整前缀的注意力 KV,二是正好落在 p 的循环检查点(recurrent checkpoint,下文简称检查点)。论文把这两者合起来叫「混合状态」。

Agent 负载每轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就在上一轮请求 decode 输出的终点,可这个位置往往踩不到引擎预设的块边界上。

现有引擎的问题:三类未命中

团队让 GLM-5.3-Flash 分别跑 vLLM 和 SGLang,逐个追溯被重算的 prompt token 是何原因,最后归出三类本可避免的缓存未命中:放置未命中(检查点没存在该在的位置)、依赖未命中(KV 还在,检查点却被驱逐了)、容量未命中(缓存实在装不下)。

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 3)

vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界存检查点,decode 阶段一概不存。并发低(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 支持更细的块边界,比如 256 token,同样并发下放置问题基本消失,未命中压到 5% 以下;但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时常常把 KV 还在的检查点踢出去,依赖未命中就来了。

并发再往上走(32-64),问题开始叠加。vLLM 的 prompt 末端检查点一旦请求进入解码就被放回可驱逐队列,依赖未命中从 40 并发起快速攀升,64 并发时占其未缓存 token 的 42%。同样从 40 并发起,两个引擎都掉进「混合状态颠簸」(hybrid state thrashing),容量未命中叠在依赖未命中之上。

结论摆在这儿:检查点间隔大了出放置未命中,小了出依赖未命中,并发一高还要叠上容量未命中,光调检查点密度解决不了。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求收尾时抓取其精确终点的状态;终点若落在 KV 块内部,整个末尾块就保留下来,全注意力 KV 和循环检查点一并纳入统一管理。至于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时把指定位置的状态导出来,输出结果不变。KDA 和 GDN 的 kernel 都已适配。

2. 定义优化目标

有了 ASC 之后,混合状态能放在任意位置。接下来的问题是:显存装不下时,哪些该留?论文用两个位置衡量一个请求 r 被浪费了多少(见下图)。理想恢复点 ℓ(r)(*):请求的 prompt 与之前处理过的所有内容最长能对上的位置;缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里还完整留着混合状态的最近位置。夹在两者之间的 token 只能重新预填充,耗时任作 C(ℓ(r)(π), ℓ(r)(*))。

优化的落点很明确:GPU 内存 B 有限,要让每个请求的实际恢复点 ℓ(r)(π) 尽量贴近理想恢复点 ℓ(r)(*),也就是把全部请求重复预填充的时间总和 Σ(r) C(ℓ(r)(π), ℓ(r)(*)) 压到最小。

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 4)

3. 依赖感知的准入与驱逐。

围绕这个目标,团队在经典 GreedyDual-Size(GDS)算法上搭了一套在线策略,每个混合状态的优先级定为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指驱逐之后相关请求要多花的那部分预填充时间,由上面的代价模型估出。驱逐以「一个检查点 + 只被它依赖的块」为单位,与其他混合状态共享的前缀不算进释放量。两项的单位都是「每块的预填充时间」,可直接相加,不用任何随负载调整的超参数。准入也走同一套优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才会被留下。

GPU 缓存下的实验结果

实验跑在 B200 上,负载是 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 5)

三个模型上,FlashStates 的预填充吞吐分别是 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next);p90 TTFT 则分别降低 88.4%、77.1% 和 79.0%。

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 6)

在多种混合架构模型上随并发变化的服务性能

走出 GPU:CPU 缓存与跨引擎复用

生产环境里,推理服务常把 GPU 装不下的缓存下沉到 CPU 内存甚至共享存储。那么缓存足够大时,FlashStates 还能带来收益吗?论文给出的回答是:缓存更大能留住更多数据,可一个从未被保存过的检查点,它变不出来。

团队把 FlashStates 接进 Mooncake 当 CPU 缓存层,做了三项工程改造:

  • 请求结束即异步写穿:请求一收尾,精确终点的新状态就排队拷往 CPU,不用等 GPU 驱逐时才搬;
  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略铺到 GPU + CPU 两级缓存上,仍被其他状态依赖的块不会被误删;
  • 传输优化:改进 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试用的是 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%;
  • 中位未缓存 prompt token 减少 68.7%–81.4%;
  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)。

FlashStates重构混合状态缓存:B200上预填充吞吐达vLLM的3.14倍(配图 7)

512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

再往前一步:写入共享存储的状态,可被另一个引擎 worker 上的后续轮次复用,前提是前缀精确匹配、各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署里「下一轮换另一个预填充引擎接手」铺了路。

结语

FlashStates 的核心观点是:恢复位置该由「哪里能复用」来定,而不是由「KV 怎么分块」来定。工程上它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,也为跨引擎的状态共享做好了准备。混合架构越来越普及、Agent 上下文越拉越长,推理系统里那套为纯 Transformer 设计的缓存逻辑,得针对混合状态重新设计。眼下,开源推理引擎 SGLang 已经接入 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  2. 长存控股IPO传暂缓:单季净利333.79亿,仍要募资330亿扩产

    近期,长江存储母公司长存控股的科创板IPO传出暂缓消息。原定于10月底至11月初启动的战略配售程序被推迟,上市进程可能因此延后数月。 目前项目仍处于上交所“已问询”阶段,并未终止或撤回。 2026年第一季度,长存控股实现归母净利润333.79亿元。对于一家单季就赚了330多亿元的公司来说,IPO募资的330亿元似乎并不

    来源 AI 行业观察
  3. 永不停歇的资本开支,换不回存储公司一夜安眠

    作者:贾乐乐;编辑:嘉辛近期,长江存储母公司长存控股的科创板IPO传出暂缓消息。原定于10月底至11月初启动的战略配售程序被推迟,上市进程可能因此延后数月。目前项目仍处于上交所“已问询”阶段,并未终止或撤回。2026年第一季度,长存控股实现归母净利润333.79亿元。对于一家单季就赚了330多亿元的公司来说,IPO募资

    来源 腾讯网
  4. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  5. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  6. 奥睿科 FlashMem FM9800 固态硬盘发布:配 pSLC AI Cache 区域

    IT之家 11 月 16 日消息,ORICO(奥睿科)本月 13 日宣布推出 FlashMem FM9800 固态硬盘。这一型号基于 3D TLC NAND,部分闪存配置为 pSLC 模式,形成 AI Cache 区域,两部分采用独立的磨损策略与读写调度机制。 FlashMem FM9800 采用 M.2 2280 外

    来源 AI 行业观察
  7. Fable 5.2发布:套壳Agent的编排壁垒还能撑多久?

    Fable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。 当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。 这件事倒是很能说明Fable 5.2在国内的处境。 讨论的人多,真正用上的人

    来源 AI 行业观察
  8. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  9. 微软全球服务中断致歉:网络容量升级引发,涉74个国家和地区

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  10. Cloudflare KV Instant开放:读p99 1.62毫秒,写一次0.1美元

    作者 | Steef-Jan Wiggers译者 | 田橙Cloudflare 最近首次 向客户开放 Quicksilver,将其作为 Workers KV 的一种新模式,名为 KV Instant。其读取延迟在第 99 百分位为 1.62 毫秒,而经典 KV 为 287 毫秒。但决定团队能否使用它的,不是延迟,而是它

    来源 腾讯网
  11. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
  12. 谷歌Teamwork系统:多智能体验证韦伊猜想

    谷歌扩展 Antigravity 多智能体系统,推出 Teamwork 系统,可完成数学证明、分子识别、代码重写等任务,近期已开放给学术研究人员免费使用。#谷歌AI新进展#

    来源 IT之家
  13. 腾讯发布Hy4 flash:支持1M上下文,激活参数12B

    11月16日,腾讯发布定位于日常办公及智能体任务的Hy4 flash模型。该模型总参数量224B(含64B Engram参数),单次激活参数12B,支持多模态输入和最高1M上下文长度,解码速度超过150 tokens/s。腾讯内部评测显示其综合表现略高于Hy4 preview,WorkIndex测试中平均单任务成本约为

    来源 凤凰科技
  14. Uber Eats搜索管道重构:端到端延迟降50%

    优步重构了Uber Eats搜索管道的主要部分,使端到端搜索延迟降低了 50%。这些改进涵盖了检索、特征填充(feature hydration)、排序、广告、展示和基础设施等多个环节,同时优步还引入了智能体编码(agentic coding)工作流,以识别、基准测试并验证额外的优化方案。 这项工作始于对主要延迟指标的

    来源 AI 行业观察
向下滚动自动加载更多