FlashStates重构混合状态缓存:Agent预填充吞吐最高达vLLM的3.14倍

资讯 腾讯网 作者:机器之心 全文 4279 字 · 约 11 分钟读完 分类KimiGLMGLM-5.3-FlashTransformer月之暗面开源

视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiAKimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Fl

所属频道 开源生态国产大模型

视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 这类线性注意力与状态空间层,如今已是开源大模型里常见的组成部分。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 走的都是「全注意力 + 线性层」的混合路线,图的是解码更快、KV Cache 更小。

可一旦落到编程 Agent 这种多轮、长上下文的负载上,混合模型的前缀缓存管理就比纯 Transformer 麻烦得多。Together AI、UIUC 与 UT Austin 的研究团队拿出了 FlashStates,对混合架构模型的 KV 和状态缓存管理做了重新设计。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高冲到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降了 88.4%。接上 512GiB 的 Mooncake CPU 缓存之后,收益依旧明显,分布式存储与跨节点的混合状态复用也已支持。

  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference

  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState

  • 代码:https://github.com/FutureMLS-Lab/FlashStates

  • 项目主页:https://FlashStates.ai

作者介绍

这项工作是 Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成的。共同第一作者是 Chenxi Li(Together AI)和 Weili Xu(UIUC),其余作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI),通讯作者为 Chenfeng Xu(UT Austin)。

Together AI 创立于 2022 年 6 月,创始阵容里有 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、

混合状态:缺一不可的两件套

纯 Transformer 的 KV 是按 token 存的,前缀截到任意位置都能复用。线性层不一样,它用一个固定大小的循环状态把整个前缀概括起来。好处是状态大小不随输入 prompt 长度增长,坏处有两样:单个状态块占内存大,而且这个状态没法回滚——拿到第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

所以想从位置 p 接着算,两样东西得同时在场:一是完整前缀的注意力 KV,二是恰好落在 p 的循环检查点(recurrent checkpoint,下文简称检查点)。论文把这两者合起来叫「混合状态」。

Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就在上一轮请求 decode 输出的终点,可这个位置往往不落在引擎预设的块边界上。

现有引擎的问题:三类未命中

研究团队让 GLM-5.3-Flash 分别跑 vLLM 和 SGLang,逐个追溯每个被重算的 prompt token 的原因,最后归出三类本可避免的缓存未命中:检查点没存在需要的位置,叫放置未命中;KV 还在、检查点却被驱逐,叫依赖未命中;缓存确实装不下,叫容量未命中。

vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界存检查点,decode 阶段不存。并发低(8-16)的时候,放置未命中占到它未缓存 token 的 43%。SGLang 支持更细的块边界,比如 256 token,同样并发下放置问题基本没了,未命中压到 5% 以下;但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时常常把 KV 还在的检查点踢掉,依赖未命中就来了。

并发再往上走(32-64),几类问题开始叠加。vLLM 的 prompt 末端检查点,请求一进入解码就被放回可驱逐队列,依赖未命中从 40 并发起快速上涨,到 64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中压在依赖未命中之上。

结论是:检查点间隔大,出放置未命中;间隔小,出依赖未命中;并发一高,容量未命中还会叠上来。光调检查点密度,解决不了。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求结束时,把它精确终点的状态捕获下来;终点要是落在 KV 块内部,就把整个末尾块一起保留,全注意力 KV 和循环检查点统一管理。至于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时把指定位置的状态导出,输出结果保持不变。KDA 和 GDN 的 kernel 都已适配。

2. 定义优化目标

混合状态在 ASC 下可落在任意位置。接下来的难点是:显存容量不够时,哪些该保留?论文给出两个位置,用来衡量请求 r 被浪费掉多少(见下图)。理想恢复点 ℓ(r)(*):请求的 prompt 与之前处理过的全部内容能够对上、且对得最长的那个点;缓存够大,就能从该点继续算下去。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存中依然完整保留混合状态的最近一处位置。夹在两者之间的 token 没法省,只能重新预填充,所耗时间记为 C(ℓ(r)(π), ℓ(r)(*))。

优化目标因此是:GPU 内存上限为 B 时,让每个请求的实际恢复点 ℓ(r)(π) 尽可能贴近理想恢复点 ℓ(r)(*),也就是把所有请求重复预填充的时间加总后压到最小:Σ(r) C(ℓ(r)(π), ℓ(r)(*))。

3. 依赖感知的准入与驱逐。

为此,团队以经典的 GreedyDual-Size(GDS)算法为底子,设计了一套在线策略。每个混合状态的优先级这样算:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。恢复代价指的是驱逐之后,相关请求要多花的那部分预填充时间,由前面的代价模型估出来。驱逐以「一个检查点 + 只被它依赖的块」为单位,与其他混合状态共用的前缀不算进释放量。两项的单位都是「每块的预填充时间」,直接相加即可,不用设任何随负载调整的超参数。准入用的也是同一个优先级:显存吃紧时,新检查点得比已缓存里最不值钱的那个更有价值,才会被留下。

GPU 缓存下的实验结果

实验跑在 B200 上,负载取自 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:

三个模型上,FlashStates 的预填充吞吐分别是 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 则分别降了 88.4%、77.1% 和 79.0%。

多种混合架构模型上,服务性能随并发变化的曲线。

走出 GPU:CPU 缓存与跨引擎复用

实际生产里,推理服务往往把 GPU 装不下的缓存挪到 CPU 内存甚至共享存储。那么缓存给得够大,FlashStates 还能带来收益吗?论文的答案是:缓存越大,留住的数据越多,可它变不出一个从来没被保存过的检查点。

团队把 FlashStates 接进 Mooncake 当 CPU 缓存层,做了三项工程改造:

  • 请求结束即异步写穿:请求一完,精确终点的新状态就排队拷往 CPU,不用等 GPU 驱逐时才搬;

  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推到 GPU + CPU 两级缓存上,仍被其他状态依赖的块不会遭误删;

  • 传输优化:改进 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试用的是 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对照组为 vLLM + Mooncake(512GiB)和 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%

  • 中位未缓存 prompt token 减少 68.7%–81.4%

  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)

512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

再往前一步,写进共享存储的状态还能被另一个引擎 worker 上的后续轮次复用,前提是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这就为预填充-解码(PD)分离这类分布式部署中「下一轮换另一个预填充引擎接手」铺了路。

结语

FlashStates 的核心观点是:恢复位置该由「哪里能复用」来定,而不是由「KV 怎么分块」来定。工程上它已经集成进 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,也为跨引擎的状态共享做好了准备。混合架构越来越普及、Agent 上下文越拉越长,推理系统里那套为纯 Transformer 设计的缓存逻辑,得针对混合状态重新设计。目前,开源推理引擎 SGLang 已经接入了 FlashStates 提出的成本感知状态淘汰策略,官方文档里也明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 国产大模型占海外开源支出89%,存储成本成新压力

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|温宁硅谷知名风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%付给了中国模型。前三名中,Kimi占61%,DeepSeek占15%,GLM占11%。市场很愿意接受一套简洁叙事:依

    来源 腾讯网
  2. 终于!千问办公敞开大门,Kimi、GLM、DeepSeek都来了

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,今天,阿里AI办公产品千问办公一口气上线了10款大模型,不仅包括自家今天刚刚发布的新一代旗舰模型Qwen4-Max,还引入了Kimi、GLM、DeepSeek、MiniMax、Step等多个第三方大模型。这也意味着,千问办公正

    来源 腾讯网
  3. NaiveAI新模型实测:速度超DeepSeek约3.3倍,编程基准领先3.7分

    硅谷硬核技术媒体Latent Space首期实测中国开源模型Naive-N0.5-Flash。结果显示,该模型在编程基准测试中超越DeepSeek V4.1和GLM 5.3,极速模式下峰值速度达2100 Token/s,响应时间仅3.1秒。文章分析了其在3D渲染等复杂任务中的表现,以及“AI驱动研发”背后的技术逻辑,折

    来源 AI 应用前沿
  4. openPangu-2.1-Pro上线华为云:Agent、AI编码与推理三方向升级

    华为云方面透露,11月15日,开源盘古模型openPangu-2.1-Pro已在华为云MaaS模型即服务平台正式上线。此次升级集中在Agent开发、AI编码、推理优化三块。深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成以及推理链路优化等场景,能力都有增强。

    来源 网易科技
  5. AI生成代码该不该开源:Anthropic模式触动开发者争论

    作者 | 褚杏娟“所有 AI 生成的代码都应该开源。”11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的

    来源 腾讯网
  6. Agent如何越用越强?中科院自动化所、美团等推出RSI综述

    从 Prompt 优化到 Harness 进化,梳理 RSI 的发展趋势,用三个问题、七步生命周期,理解 Agent 如何把经验转化为持续改进。想象这样一个场景:一个编程 Agent 调用 API 时遇到报错,发现接口参数已经更新。经过几轮尝试,它终于修复了问题。但到了下一个任务,它还会不会犯同样的错误?这次修复能否沉

    来源 腾讯网
  7. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  8. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  9. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  10. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  11. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  12. 腾讯推元宝搜索:AI搜索成新战场,谁能胜出?

    AI时代,搜索业务再次成为兵家必争之地。 图源:元宝搜索 2026年11月11日,公司创办28周年之际,腾讯推出全新搜索产品“元宝搜索”,拥有独立网页。用户也可将QQ浏览器升级至最新版本,在引擎设置选项中选择“元宝搜索”。 不只腾讯,近期阿里巴巴、字节跳动等互联网公司,以及DeepSeek、月之暗面等AI企业都正紧锣密

    来源 AI 行业观察
  13. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  14. 李开复谈中国AI三大误区:盈利优先,差距缩至6到12个月

    多年来,美国一直在AI竞赛中占据上风。然而,AI创业者、前谷歌中国总裁李开复近日在接受《财富》采访时指出,目前中国AI开发者研发的开放权重模型,与美国头部AI企业的差距已缩短至6到12个月。 李开复认为,美国人在看待中国企业的动机时,往往存在关键性的误判。以下是他认为外界对中国AI产业的三大误区。 | 盈利动机外界..

    来源 腾讯网
  15. 米磊谈硬科技:AI、人形机器人与核聚变正改写时代底牌

    这个时代正在重新洗牌。AI大模型正以周为单位迭代,DeepSeek-R1仅用约30万美元训练成本便实现对标OpenAI的推理能力,开源阵营与闭源前沿的差距已缩至3至6个月;人形机器人Figure 02已在宝马工厂完成长期无安全员值守的自主作业,累计参与数万辆汽车生产,从实验室原型正式迈入产线员工行列;核聚变商业化则多点

    来源 腾讯网
  16. ARTEX框架武器化:9行业被入侵,1600控制台暴露

    2026年11月13日FBI发布FLASH-20261113-001警报,指出开源LLM驱动攻击框架ARTEX已被武器化,入侵金融、政府等9行业,韩国一起行动泄露6.7万个人信息,ConnectWise供应链攻击波及2250租户,全球发现1600余公开暴露控制台,最快不到3小时达特权访问。框架用Go编写,支持自然语言转

    来源 AI 科技快讯
  17. Claude常驻Agent省token技巧:DeepSeek空转Grok bot省了55%

    DeepSeek说的对,AI时代效率瓶颈是人的注意力。Anthropic说的也对,常驻Agent不代表一直在线,空转的定时任务除了浪费我积分外没有任何好处。所以我选择把Claude新出的常驻智能体指南内化成其他Personal Agent能用的提示语,帮我Grok bot省了55%的使用额度。事情是酱的。 用了12个P

    来源 腾讯网
  18. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
向下滚动自动加载更多