还在苦恼「长上下文」?Agent直接上手缩KV缓存

资讯 网易科技 作者:网易 全文 4832 字 · 约 13 分钟读完 配图 10 张 分类智能体

还在苦恼「长上下文」?Agent直接上手缩KV缓存,调用,上下文,agent

所属频道 智能体与 Agent

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 1)

用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。

codex 通过总结来进行上下文压缩

目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已经计算的后续缓存(KV cache)会随即失效,剩余文本必须重新输入模型计算(re-prefill),引入额外延时和成本。此外,压缩也会丢失历史信息,影响 Agent 任务的成功率。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 2)

缓存工程和上下文工程执行相同任务的成本和准确率

针对这一问题,清华与香港中文大学的研究团队提出了缓存工程(Cache Engineering),并开源了对应的推理系统 AKV。缓存工程不压缩历史文本,而是允许 Agent直接管理后续推理使用的缓存(KV Cache),同时加速运行、降低成本并提高任务成功率。在三个模型、四个 Agent 任务的评测中,缓存工程相比上下文工程,平均推理成本降低 27.7%,平均任务成功率提升 1.7%。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 3)

本文的共同第一作者为清华大学电子系 NICS-EFC 实验室的博士生傅天予、本科生王若溪和闵子涵。

  • 论文标题:Cache Engineering for Agents
  • 论文链接:arxiv.org/abs/2610.28577
  • 项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/
  • 开源代码:github.com/thu-nics/AKV

上下文工程:重算缓存引入额外代价


以「通过多轮网页搜索回答用户问题」为例,上下文工程的做法是删掉已阅读的旧网页。这看起来只是少了一些文字,但后续推理的 KV 缓存,是在「读过这段网页」的条件下算出来的。删掉前文后,就得把保留部分重新算一遍,这就是 re-prefill。

论文发现,在 BrowseComp-Plus 任务上,如果只保留最近 12 轮工具调用的结果,总推理成本反而会达到完整上下文的 1.85 倍。这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。

研究团队因此把关注点转向缓存本身:能否少读一些缓存,同时让已经算好的状态继续用?

缓存工程:直接管理缓存,避免缓存重算


相比上下文工程的文本修改,缓存工程保留所有历史文本,直接缩减不再需要的 KV,继续复用其余缓存。

保留下来的 KV 还可能携带已移除历史的信息。例如,旧网页参与过后续推理,即使网页自身的 KV 缓存被移除,后续推理的 KV 缓存仍可能保留其中的部分信息。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 4)

修改文本前缀需要重算后续缓存;直接移除部分 KV,则可以继续复用保留的状态。嵌套色块表示保留状态可能携带此前历史的信息

在缓存工程中,团队提供了三种操作:

  1. Append:追加 KV。计算新 token 并将其加入缓存。
  2. Drop:移除 KV。让选中的 KV 退出后续计算,减少后续计算。
  3. Repos:位置编码重排。调整保留缓存的位置编码,避免超出模型支持范围。

与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。

Agent 与 Harness 可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。

AKV:支持缓存操作的推理服务系统


为了实现缓存操作,研究员团队基于 SGLang [3] 开发了对应的模型推理系统 AKV。对使用者来说,AKV 的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些 KV、何时重排位置。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 5)

论文中的请求示例。messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注用于解释,不属于实际请求 JSON

图中的保留完整消息历史;中的,表示处理完消息 m₁ 后移除消息 m₀ 的 KV;中的,表示处理完消息 m₂ 后执行 Repos。

messages

cache.drop

"1": [0]

cache.reposition

这样,Agent 可以专注于「保留什么、何时移除」,具体如何复用、释放和恢复缓存,由 AKV 负责所有细节,包括:

  • 判断哪些缓存可以复用。同时核对文本与操作历史,避免把不同来源的状态混用。
  • 释放不再需要的缓存。某个请求移除了 KV,也要确认其他请求是否还需要它,才能回收对应存储。
  • 恢复缺失的状态。在一次 prefill 中重建所需缓存。

要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。同样的文本,经历不同的操作顺序,可能对应不同的 KV 状态。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,与先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最后得到的 C 的状态也就不一样。AKV 通过扩展的 radix tree(如下图 c)能够正确高效处理所有的缓存操作。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 6)

三条轨迹最终都保留 B 和 C,最终的状态却不一样。扩展的 radix tree 同时记录文本与操作历史,区分不同来源的缓存

实验结果:任务表现与服务效率


研究团队在 MiniMax-M2.7 [4]、GPT-OSS-120B [5] 和 MiroThinker-1.7-Mini [6] 上进行评测,覆盖 BrowseComp-Plus [7]、GAIA-Text [8]、SWE-bench Verified [9] 和 xbench-DeepSearch-2510 [10] 四个 Agent benchmark,包含搜索与软件工程任务。

在这组评测中,相比 Standard,AKV 的平均推理成本降低 27.7%,平均成功率提升 1.7 个百分点;相比 Text Engineering,平均成本也降低了21.9%。

这些结果来自三种设置的比较。其中,Standard 和 Text Engineering 属于Context Engineering,AKV 使用 Cache Engineering:

  • Standard:达到较高上下文阈值后触发摘要。
  • Text Engineering:采用与 Standard 相同的摘要策略,但将触发阈值统一降低到 48K token。
  • AKV:保留推理状态和最近 12 条工具回复的 KV。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 7)

论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV

推理服务速度也有提升:在 8 张 A800-80GB GPU 上,研究团队使用 GPT-OSS-120B,AKV 的输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 8)

不同并发下的系统吞吐量与延迟。AKV 减少了参与推理的 KV,缓解了高并发下的缓存容量压力和重算开销

这些收益也体现在实际完成任务的过程中。在另一组 SWE-bench Verified 的任务中,AKV 用更少的 GPU 时间达到了更高的成功率。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 9)

GPT-OSS-120B 在线完成任务时,累计成功率随 GPU 时间的变化。

RSI:让 Agent 自己改进缓存策略


保留最近 12 条工具回复只是 Cache Engineering 的一个起点。不同任务需要的信息并不一样,哪些状态值得多留一会儿,哪些可以早点移除,也可以交给 Agent 去探索。

研究团队进一步开展了 RSI 实验,让 MiniMax-M2.7 在 20 个 BrowseComp-Plus 任务上搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。

还在苦恼「长上下文」?Agent直接上手缩KV缓存(配图 10)

RSI 迭代优化 Cache Engineering 策略

在与 Standard 准确率持平的同时,Agent 找到的策略相比人工设计策略进一步降低 7.1% 的成本。

有了可操作的接口,Agent 也就能尝试不同的缓存用法,再根据任务表现和成本继续调整。

总结与展望


这项工作的核心,是提出缓存工程,把 KV 缓存也变成 Agent 和 Harness 可以直接管理的对象。

为了便于探索这一维度,研究团队实现了 AKV 推理服务系统,通过简单的接口开放缓存操作。开发者因此可以把精力放在策略本身:哪些信息值得保留、何时移除旧缓存,以及如何根据任务进展调整这些决策。

文中的滚动删除策略和 RSI 实验,是沿着这一方向做出的初步探索。借助 Cache Engineering 和 AKV,开发者可以面向不同模型、任务和预算,探索更丰富的 KV cache 操作及其组合,为 Agent 与 Harness 设计更合适的上下文管理策略。

参考文献

[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2025.

[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2025.

[3] Zheng, L., Yin, L., Xie, Z., et al. SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.

[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.

[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2025.

[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.

[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2025.

[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[9] OpenAI. Introducing SWE-bench Verified. 2024.

[10] xbench. xbench-DeepSearch-2510. Hugging Face dataset, 2025.

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?

    单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。 在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Di

    来源 AI 行业观察
  2. 熊伟:Agent 火了,操作系统就要推倒重来吗?

    过去一年,Agent 几乎成为 AI 产业最热门的关键词。从 Agent 框架到 Agent OS,再到 Agentic Infra,越来越多的软件厂商开始重新定义自己的产品。原本距离普通用户相当遥远的操作系统,也被推到了 AI 基础设施变革的前台。 但在 OpenAtom openEuler 委员会主席熊伟看来,有必

    来源 AI 行业观察
  3. Agent递归自我改进:不训练模型如何越用越强?

    中科院自动化所与美团等机构联合发布综述,探讨LLM Agent如何在不更新模型权重的前提下,通过优化Prompt、记忆、技能和运行框架实现递归自我改进。文章梳理了“何时改、改哪里、怎么改”三个核心问题,并提出了包含收集、评估、诊断等七步的经验转化生命周期,为理解Agent从单次试错到持续进化的机制提供了清晰框架。

    来源 AI 应用前沿
  4. 供应链Agent如何落地?从理解业务到执行闭环

    甲子光年宋涛解读Agent商业化路径,以洞隐科技为例,探讨行业上下文如何转化为可执行、可验证的业务能力。一家供应链企业可能已经部署了ERP、WMS、TMS等多套系统,但当运输延误影响客户交期,工作人员仍需要跨系统查询订单、协调承运商,再逐一更新业务状态。系统已经实现数字化,为什么完整业务任务仍离不开大量人工衔接?11月

    来源 腾讯网
  5. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  6. 《Agent 商业化与竞争研究报告》,同一个模型换个壳,分差不多钱少一半

    甲子光年智库发布了《Agent 商业化与竞争研究报告》,是它 Agent 系列报告的第五篇。里面最扎人的不是趋势判断,而是一组对照:同一个模型,换一套执行框架,评测分只差 2 分,每个任务的平均调用成本少了 51%。报告分五部分:从回答问题走向执行任务、商业价值怎么形成、生态与部署路径、应用版图、规模经营。这篇挑最硬的

    来源 腾讯网
  7. 小红书内测“搭搭”App:普通人可造Agent搭子,官方未回应

    近日,有消息称,小红书正在内测一款名…搭搭的独立App,据介绍,这是一个让普通人通过活人感的经验创造、分发领域Agent的社区平台,平台内这些Agent也被称为“搭子”。据报道,目前,产品内已上线设计美学、求职等数十个搭子,通过图文对话方式进行聊天。 此外,该产品还开放了群聊能力,用户可以把搭子当成群成员拉入对话。对于

    来源 AI 行业观察
  8. 莱昂式AI social agent:话说得漂亮,事却办错了?

    玛雅问同事莱昂:"明天的客户提案你能帮我个忙吗?"莱昂立刻回答:"别担心,明天的演示我来接手。"这句话听起来很贴心,对吧?一个同事主动揽下责任,听起来像个靠谱的人。但问题是,玛雅根本没打算缺席明天的会议,她只是想让莱昂帮她核对一下预算那页幻灯片。莱昂的这句"我来接手",说得又快又暖,却完全搞错了方向。这不...

    来源 腾讯网
  9. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  10. 清华与港中文团队提出缓存工程:推理成本降27.7%

    用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已

    来源 腾讯网
  11. 宝洁童熙谈ADLC:研发流程要重画,团队分工也跟着改

    Agent 能把几个环节连着做完之后,企业要重答三个问题:流程怎么走,团队怎么分工,哪些判断还得留给人。 在今天的宝洁中国, AI 已经贯穿整个业务链条:从消费者研究、产品研发、品牌营销、供应链、到客服等等,每个环节都有 AI 的触角。 一家穿越周期有着百年历史的消费品企业如此拥抱 AI,比仅仅谈论上线了多少个 AI

    来源 AI 行业观察
  12. 安克前CMO王时远创业,穗升科技完成数千万Pre-A轮融资

    作者|黄楠 编辑|袁斯来 硬氪获悉,AI Memory智能硬件公司「穗升科技」近日完成数千万元Pre-A轮融资,本轮由NexTide Capital、阿尔法公社投资。资金将重点投入长期记忆引擎、主动式Agent的体验优化,拓展家庭、团队场景,推进硬件量产交付,并搭建海外渠道、完善本地化交付能力。 穗升科技成立于2025

    来源 AI 行业观察
  13. 个人智能体咋总掉线?9顶校发布126页「持续在线智能体」路线图

    新智元报道 个人智能体,正在迎来一场前所未有的密集爆发。在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动

    来源 腾讯网
  14. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
向下滚动自动加载更多