清华与港中文团队提出缓存工程:推理成本降27.7%

资讯 腾讯网 作者:机器之心 全文 3958 字 · 约 10 分钟读完 分类Codex智能体学术研究

用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已

所属频道 智能体与 AgentAI 编程与开发前沿研究

用 Agent 跑长程任务的时候,模型推理与工具调用的历史轨迹会越攒越多。轨迹一长,模型速度就被明显拖慢,费用也跟着往上走。

codex 采用总结的办法来压缩上下文

眼下常见的上下文工程(Context Engineering),主要靠裁剪 [1] 或总结 [2] 来压缩历史文本。问题是,早期文本一旦被改动,模型此前已经算好的后续缓存(

缓存工程与上下文工程执行同一任务时的成本和准确率

清华和香港中文大学的研究团队把目光对准了这个问题,提出缓存工程(Cache Engineering),并把配套的推理系统开源出来,直接管理后续推理要用的缓存(KV Cache),一边加快运行、压低成本,一边把任务成功率往上提。在 3 个模型、4 个 Agent 任务上的评测显示,缓存工程对比上下文工程,平均推理成本下降 27.7%,平均任务成功率提高 1.7%。

本文的共同第一作者为

  • 论文标题:Cache Engineering for Agents

  • 论文链接:

  • 项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/

  • 开源代码:github.com/thu-nics/

上下文工程:重算缓存引入额外代价

拿「通过多轮网页搜索回答用户问题」来说,上下文工程的做法是把读过的旧网页删掉。看上去只是少了几段文字,可后续推理的 KV 缓存,是在「这段网页读过」的前提下算出来的。前文一删,保留的那部分就得重新算一遍,这就是

论文发现,直接改动上下文会引发缓存重算,多出来的开销有时比省下的还多。

于是研究团队把注意力挪到缓存本身:能不能少读一点缓存,又把已经算好的状态接着用下去?

缓存工程:直接管理缓存,避免缓存重算

和上下文工程去改文本不同,缓存工程把所有历史文本都留着,只是直接缩减那些不再需要的 KV,其余缓存照旧复用。

留下来的 KV 还可能带着已移除历史的信息。比方说,旧网页参与过后续推理,就算网页自身的 KV 缓存被拿掉,后续推理的 KV 缓存里仍可能留有它的部分信息。

改动文本前缀,后续缓存就得重算;直接移走部分 KV,保留下来的状态则可以继续用。嵌套色块表示保留状态可能携带此前历史的信息

缓存工程里,团队给出了三种操作:

  1. Append:算出新 token,再把它放进缓存。

  2. Drop:让选中的 KV 退出后续计算,后续计算量随之减少。

  3. Repos:调整保留缓存的位置编码,防止超出模型支持的范围。

与操作文本不同,直接操作缓存可以复用已经算过的缓存,不必再重算。

Agent 和 Harness 能根据任务进展把缓存操作组合起来,决定每一步实际用哪些缓存。

AKV:支持缓存操作的推理服务系统

缓存操作要落地,研究团队是在推理服务系统里做的支持。AKV 便是这套支持缓存操作的推理服务系统。

论文给出了请求示例:messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注是解释用的,不属于实际请求 JSON。

图里的 messages 保留完整消息历史;cache.drop 中的 "1": [0],意思是在处理完消息 m₁ 之后把消息 m₀ 的 KV 移除;cache.reposition 中的 [2],则指处理完消息 m₂ 后执行。

这样一来,Agent 只需盯住「保留什么、何时移除」,缓存怎么复用、怎么释放、怎么恢复,全由 AKV 兜底,具体包括:

  • 判断哪些缓存可以复用。文本和操作历史要一起核对,防止把不同来源的状态混着用。

  • 释放不再需要的缓存。某个请求把 KV 移除了,还得确认别的请求是否仍要用它,之后才能回收对应存储。

  • 恢复缺失的状态。缺的缓存在一次 prefill 里重建出来。

要让推理系统支持缓存操作,团队主要解决的是缓存状态匹配问题。同一段文本,操作顺序不同,对应的 KV 状态可能就不一样。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,和先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最终 C 的状态也就不同。AKV 通过扩展的

三条轨迹最终都留下 B 和 C,最终状态却各不相同。扩展的

实验结果:任务表现与服务效率

研究团队在

这组评测里,AKV 的平均推理成本比 Standard 低 27.7%,平均成功率高 1.7 个百分点;对比 Text Engineering,平均成本也降了 21.9%。

结果来自三种设置的对比。Standard 和 Text Engineering 属于 Context Engineering,AKV 走的是 Cache Engineering:

  • Standard: 上下文达到较高阈值后触发摘要。

  • Text Engineering: 摘要策略与 Standard 相同,但触发阈值统一降到 48K token。

  • AKV: 保留推理状态,以及最近 12 条工具回复的 KV。

论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV

推理服务速度同样有提升:在 8 张 A800-80GB GPU 上,研究团队使用 输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。

不同并发下的系统吞吐量与延迟。AKV 让参与推理的 KV 变少,高并发下的缓存容量压力和重算开销都得到缓解

这些收益在实际完成任务时也能看到。另一组里,AKV 用更少的 GPU 时间拿到了更高的成功率。

GPT-OSS-120B 在线完成任务时,累计成功率随 GPU 时间的变化。

RSI:让 Agent 自己改进缓存策略

保留最近 12 条工具回复,只是 Cache Engineering 的起点。任务不同,需要的信息也不同,哪些状态值得多留一阵、哪些可以早点移除,都可以交给 Agent 去探索。

研究团队接着做的是搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。

RSI 迭代优化 Cache Engineering 策略

成本比人工设计的策略还低 7.1%,准确率则与 Standard 打平——这是 Agent 自己摸索出的缓存策略交出的成绩。

接口能操作了,Agent 就可以换着法子用缓存,再照着任务表现和花销接着调。

总结与展望

说到底,这项研究要做的事叫缓存工程:把 KV 缓存变成 Agent 和 Harness 能直接上手的对象。为方便往这个方向试,团队搭了 AKV 推理服务系统,用几个简单接口把缓存操作开放出来。开发者不用再操心底层,精力可以放在策略上——哪些信息留、什么时候清掉旧缓存、任务推进到一半又该怎么改这些决定。

文中给出的滚动删除策略和 RSI 实验,就是沿这条路走的头几步。有了 Cache Engineering 和 AKV,开发者能针对不同模型、不同任务、不同预算,去试更丰富的

参考文献

[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2025.

[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2025.

[3] Zheng, L., Yin, L., Xie, Z., et al.

[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.

[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2025.

[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.

[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2025.

[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[9] OpenAI. Introducing SWE-bench Verified. 2024.

[10] xbench.

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 744B模型追平Claude Opus 5,人大复旦提出ToolSpace探索环境合成新范式

    给智能体造训练环境,一定要先从数据库开始吗?现有的环境合成方法通常以数据为中心,先生成数据库和业务场景,再据此构造工具与任务。但沿着这条路线,工具接口和参数逻辑可能偏离真实定义,工具组合也可能缺少执行依据,任务往往局限于单个环境。现实中的工作却需要跨越这些边界,要让智能体熟悉跨环境的工具调用,训练任务就需要覆盖不同环境

    来源 腾讯网
  2. 十种自我蒸馏方法同台横评:132次训练花了12124.4个H800 GPU小时

    2026年,如果你在凌晨刷arXiv,大概每隔两天就会看到一篇新论文宣称自己找到了训练AI智能体的更好方法。这不是夸张的说法。有研究者统计过,过去三个月里,专门研究"自我蒸馏"这个方向的论文多达47篇,平均每1.9天就有一篇新作发布。这个速度放在任何一个科研领域都堪称疯狂,相当于一个足球联赛,每隔一场比赛就冒出一个新的

    来源 腾讯网
  3. OpenAI与Meta同日打通代理支付:Agent商业闭环成了?

    作者|桦林舞王编辑|靖宇Agent 能进门了,也能付钱了。Agent 替用户「消费」的时代,终于到来了。美国时间 2026 年 11 月 13 日,两家公司两场发布会同天发生。一边是企业级对话式智能体公司 Sierra 联合 Meta 正式发布个人代理协议 Poppy v1.0,解决助手怎么「进门」的问题;另一边是 O

    来源 腾讯网
  4. 9所高校23位研究者发布126页综述:个人智能体怎样才算持续在线

    个人智能体,正在迎来一场前所未有的密集爆发。 在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动巡检一次用

    来源 AI 行业观察
  5. 英伟达推Rubin HPC:超5万CUDA核心,押注AI智能体改写科学计算

    英伟达正将AI基础设施的竞争进一步延伸至科学计算领域。在11月16日于芝加哥举行的超级计算大会SC26上,英伟达发布专为科学计算、工程仿真和数据分析设计的新一代GPU Rubin HPC,并围绕CUDA-X软件库、光子计算和量子计算等领域公布一系列进展,试图将GPU加速计算、AI智能体与传统高性能计算(HPC)整合到统

    来源 腾讯网
  6. TCL华星重新定义好屏:AI进电脑,屏幕比例也要变

    当AI进入电脑,连屏幕的长宽比都可能发生变化。 在TCL科技集团高级副总裁、TCL华星首席执行官赵军看来,当用户需要与智能体对话,额外的显示面积就可能成为新需求。这也是TCL华星布局超宽屏的一个出发点。 这个细节揭示了显示产业正在面对的变化:AI终端的交互方式,会影响屏幕的尺寸、形态与技术选择,显示企业需要更早理...

    来源 腾讯网
  7. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  8. 安克前CMO王时远创业,穗升科技完成数千万Pre-A轮融资

    作者|黄楠 编辑|袁斯来 硬氪获悉,AI Memory智能硬件公司「穗升科技」近日完成数千万元Pre-A轮融资,本轮由NexTide Capital、阿尔法公社投资。资金将重点投入长期记忆引擎、主动式Agent的体验优化,拓展家庭、团队场景,推进硬件量产交付,并搭建海外渠道、完善本地化交付能力。 穗升科技成立于2025

    来源 AI 行业观察
  9. Octop团队模式拆解:Super-agent双层架构怎么分工

    作者:Jubaoliang,Octop 负责人导读DeepSeek 近日发布长文,系统阐述了其 Super-Agent 设计理念——打破 AI「单次仅能处理单一任务」的旧范式,以调度员(Router)加执行单元(Worker)的双层架构实现任务并行与后台运行,解放用户等待时间。无独有偶,在工程实践的另一条路径上,Oct

    来源 腾讯网
  10. 供应链Agent如何落地?从理解业务到执行闭环

    甲子光年宋涛解读Agent商业化路径,以洞隐科技为例,探讨行业上下文如何转化为可执行、可验证的业务能力。一家供应链企业可能已经部署了ERP、WMS、TMS等多套系统,但当运输延误影响客户交期,工作人员仍需要跨系统查询订单、协调承运商,再逐一更新业务状态。系统已经实现数字化,为什么完整业务任务仍离不开大量人工衔接?11月

    来源 腾讯网
  11. 《Agent 商业化与竞争研究报告》,同一个模型换个壳,分差不多钱少一半

    甲子光年智库发布了《Agent 商业化与竞争研究报告》,是它 Agent 系列报告的第五篇。里面最扎人的不是趋势判断,而是一组对照:同一个模型,换一套执行框架,评测分只差 2 分,每个任务的平均调用成本少了 51%。报告分五部分:从回答问题走向执行任务、商业价值怎么形成、生态与部署路径、应用版图、规模经营。这篇挑最硬的

    来源 腾讯网
  12. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  13. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  14. 宝洁童熙谈ADLC:研发流程要重画,团队分工也跟着改

    Agent 能把几个环节连着做完之后,企业要重答三个问题:流程怎么走,团队怎么分工,哪些判断还得留给人。 在今天的宝洁中国, AI 已经贯穿整个业务链条:从消费者研究、产品研发、品牌营销、供应链、到客服等等,每个环节都有 AI 的触角。 一家穿越周期有着百年历史的消费品企业如此拥抱 AI,比仅仅谈论上线了多少个 AI

    来源 AI 行业观察
  15. 谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞

    IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs

    来源 AI 行业观察
  16. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  17. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  18. AI画图文字总写错怎么办?阿里浙大PixText给出像素级修字方案

    你有没有发现一个很奇怪的现象。现在的AI画图工具已经强到离谱了,随便输入一句话,就能生成一张光影、构图、氛围感都拉满的图片。可只要图里出现文字,事情就开始变得滑稽。招牌上的字缺胳膊少腿,海报上的标题多一笔少一划,甚至干脆变成一堆谁都认不出的乱码符号。这事儿说起来挺讽刺的。一个能画出以假乱真的人脸、能模...

    来源 腾讯网
  19. 莱昂式AI social agent:话说得漂亮,事却办错了?

    玛雅问同事莱昂:"明天的客户提案你能帮我个忙吗?"莱昂立刻回答:"别担心,明天的演示我来接手。"这句话听起来很贴心,对吧?一个同事主动揽下责任,听起来像个靠谱的人。但问题是,玛雅根本没打算缺席明天的会议,她只是想让莱昂帮她核对一下预算那页幻灯片。莱昂的这句"我来接手",说得又快又暖,却完全搞错了方向。这不...

    来源 腾讯网
向下滚动自动加载更多