清华与港中文团队提出缓存工程:推理成本降27.7%
用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已
用 Agent 跑长程任务的时候,模型推理与工具调用的历史轨迹会越攒越多。轨迹一长,模型速度就被明显拖慢,费用也跟着往上走。
codex 采用总结的办法来压缩上下文
眼下常见的上下文工程(Context Engineering),主要靠裁剪 [1] 或总结 [2] 来压缩历史文本。问题是,早期文本一旦被改动,模型此前已经算好的后续缓存(
缓存工程与上下文工程执行同一任务时的成本和准确率
清华和香港中文大学的研究团队把目光对准了这个问题,提出缓存工程(Cache Engineering),并把配套的推理系统开源出来,直接管理后续推理要用的缓存(KV Cache),一边加快运行、压低成本,一边把任务成功率往上提。在 3 个模型、4 个 Agent 任务上的评测显示,缓存工程对比上下文工程,平均推理成本下降 27.7%,平均任务成功率提高 1.7%。
本文的共同第一作者为
论文标题:Cache Engineering for Agents
论文链接:
项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/
开源代码:github.com/thu-nics/
上下文工程:重算缓存引入额外代价
拿「通过多轮网页搜索回答用户问题」来说,上下文工程的做法是把读过的旧网页删掉。看上去只是少了几段文字,可后续推理的 KV 缓存,是在「这段网页读过」的前提下算出来的。前文一删,保留的那部分就得重新算一遍,这就是
论文发现,直接改动上下文会引发缓存重算,多出来的开销有时比省下的还多。
于是研究团队把注意力挪到缓存本身:能不能少读一点缓存,又把已经算好的状态接着用下去?
缓存工程:直接管理缓存,避免缓存重算
和上下文工程去改文本不同,缓存工程把所有历史文本都留着,只是直接缩减那些不再需要的 KV,其余缓存照旧复用。
留下来的 KV 还可能带着已移除历史的信息。比方说,旧网页参与过后续推理,就算网页自身的 KV 缓存被拿掉,后续推理的 KV 缓存里仍可能留有它的部分信息。
改动文本前缀,后续缓存就得重算;直接移走部分 KV,保留下来的状态则可以继续用。嵌套色块表示保留状态可能携带此前历史的信息
缓存工程里,团队给出了三种操作:
Append:算出新 token,再把它放进缓存。
Drop:让选中的 KV 退出后续计算,后续计算量随之减少。
Repos:调整保留缓存的位置编码,防止超出模型支持的范围。
与操作文本不同,直接操作缓存可以复用已经算过的缓存,不必再重算。
Agent 和 Harness 能根据任务进展把缓存操作组合起来,决定每一步实际用哪些缓存。
AKV:支持缓存操作的推理服务系统
缓存操作要落地,研究团队是在推理服务系统里做的支持。AKV 便是这套支持缓存操作的推理服务系统。
论文给出了请求示例:messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注是解释用的,不属于实际请求 JSON。
图里的 messages 保留完整消息历史;cache.drop 中的 "1": [0],意思是在处理完消息 m₁ 之后把消息 m₀ 的 KV 移除;cache.reposition 中的 [2],则指处理完消息 m₂ 后执行。
这样一来,Agent 只需盯住「保留什么、何时移除」,缓存怎么复用、怎么释放、怎么恢复,全由 AKV 兜底,具体包括:
判断哪些缓存可以复用。文本和操作历史要一起核对,防止把不同来源的状态混着用。
释放不再需要的缓存。某个请求把 KV 移除了,还得确认别的请求是否仍要用它,之后才能回收对应存储。
恢复缺失的状态。缺的缓存在一次 prefill 里重建出来。
要让推理系统支持缓存操作,团队主要解决的是缓存状态匹配问题。同一段文本,操作顺序不同,对应的 KV 状态可能就不一样。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,和先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最终 C 的状态也就不同。AKV 通过扩展的
三条轨迹最终都留下 B 和 C,最终状态却各不相同。扩展的
实验结果:任务表现与服务效率
研究团队在
这组评测里,AKV 的平均推理成本比 Standard 低 27.7%,平均成功率高 1.7 个百分点;对比 Text Engineering,平均成本也降了 21.9%。
结果来自三种设置的对比。Standard 和 Text Engineering 属于 Context Engineering,AKV 走的是 Cache Engineering:
Standard: 上下文达到较高阈值后触发摘要。
Text Engineering: 摘要策略与 Standard 相同,但触发阈值统一降到 48K token。
AKV: 保留推理状态,以及最近 12 条工具回复的 KV。
论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV
推理服务速度同样有提升:在 8 张 A800-80GB GPU 上,研究团队使用 输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。
不同并发下的系统吞吐量与延迟。AKV 让参与推理的 KV 变少,高并发下的缓存容量压力和重算开销都得到缓解
这些收益在实际完成任务时也能看到。另一组里,AKV 用更少的 GPU 时间拿到了更高的成功率。
GPT-OSS-120B 在线完成任务时,累计成功率随 GPU 时间的变化。
RSI:让 Agent 自己改进缓存策略
保留最近 12 条工具回复,只是 Cache Engineering 的起点。任务不同,需要的信息也不同,哪些状态值得多留一阵、哪些可以早点移除,都可以交给 Agent 去探索。
研究团队接着做的是搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。
RSI 迭代优化 Cache Engineering 策略
成本比人工设计的策略还低 7.1%,准确率则与 Standard 打平——这是 Agent 自己摸索出的缓存策略交出的成绩。
接口能操作了,Agent 就可以换着法子用缓存,再照着任务表现和花销接着调。
总结与展望
说到底,这项研究要做的事叫缓存工程:把 KV 缓存变成 Agent 和 Harness 能直接上手的对象。为方便往这个方向试,团队搭了 AKV 推理服务系统,用几个简单接口把缓存操作开放出来。开发者不用再操心底层,精力可以放在策略上——哪些信息留、什么时候清掉旧缓存、任务推进到一半又该怎么改这些决定。
文中给出的滚动删除策略和 RSI 实验,就是沿这条路走的头几步。有了 Cache Engineering 和 AKV,开发者能针对不同模型、不同任务、不同预算,去试更丰富的
参考文献
[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2025.
[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2025.
[3] Zheng, L., Yin, L., Xie, Z., et al.
[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.
[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2025.
[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.
[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2025.
[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.
[9] OpenAI. Introducing SWE-bench Verified. 2024.
[10] xbench.