KV缓存当小型神经网络来训练,这篇论文想解决长文档压缩丢信息的问题

资讯 腾讯网 作者:科技行者 全文 5251 字 · 约 14 分钟读完 配图 1 张 分类ChatGPTClaudeAnthropicOpenAI产品更新

你有没有遇到过这种情况:跟一个AI助手聊了很久,聊到后面它突然开始"失忆",忘了你前面提过的细节。这不是bug,这是故意的。因为AI模型能记住的内容是有上限的,一旦聊天记录太长,系统就得想办法"瘦身"。Claude和ChatGPT最近都上线了一个叫"上下文压缩"(context compaction)的功能,简单说就是

所属频道 大厂动态产品更新ChatGPT 与 GPTClaude 与 Anthropic

跟AI助手聊得久了,聊到后面它忽然“失忆”,前面说过的细节全忘了。这不是bug,是设计使然。模型能记住的内容有上限,聊天记录一长,系统就得动手“瘦身”。

Claude和ChatGPT最近都上线了“上下文压缩”(context compaction)功能,做法说白了就是把旧聊天记录压成一段摘要,拿摘要顶替原文。

听着挺合理?可这里藏着一个要命的问题。

**摘要这种压缩方式,本质上是在“提前猜题”。**

写摘要的人(或者AI)压缩的那一刻,并不知道你接下来会问什么。他只能凭直觉判断哪些信息重要、哪些可以丢。万一你后面问的恰好是被丢掉的那个细节呢?摘要已经写死了,信息已经没了,补不回来。

拿图书馆打个比方:某本书太厚、太占架位,管理员干脆自己先通读一遍,写下两页笔记搁在架上,原件撤走。你若查的恰好是笔记里有的,那没问题;可要是想找的,正是写笔记的人认定“无关紧要”而略过的那条脚注呢?原件已经没了,这条线索就永远断了。**所以说,除非以某种方式把原始信息完整地映射保留下来,否则做压缩,本质上就是拿还没出现的需求去赌一把。**

这篇论文要解决的正是这个:在还不知道用户会问什么之前,怎么把一份长文档“压缩”进AI的记忆里,同时尽量不丢关键信息?

问题到底难在哪

先弄清楚AI模型是怎么“记住”一份长文档的。

你把一篇很长的文章喂给AI模型,模型会把文章里每一个词都转成一组数字向量,存在一个叫做**

这个

所以压缩

目前业界已经有一些方法在做这件事,效果却远没有达到理想状态。

比如一种叫**

这听起来挺科学,但论文的实验数据很扎心:在

40%是什么概念?问它10个问题,有6个答错。这已经不是“压缩有损”,是“压缩到不可用”的地步。

论文作者是这么想的:**既然靠死记硬背挑出来的那部分内容不够使,那能不能让保留下来的缓存条目自己学、自己调数值,使它们的表达效果更接近原始文档?**

也就是说,做法并非从原始缓存里生硬地挑一块、把其余丢掉,而是把压缩后的缓存视为一个带自身参数、可训练的小模型,借梯度下降来调它,让它尽量“演得像”那份未经压缩的完整缓存。

这就是本文提出的方法,叫**

先选对起点:三类初始化种子

训练一个模型,第一步永远是初始化。初始化选得好,后面的训练才能事半功倍。

Latent Compaction

第一类叫**

直白点讲,这套做法沿用了前文的 KVZip+ 打分思路,直接取全局排名最靠前的那批原始缓存条目来用。这块大约占整个预算的四分之三(比例可以调),是压缩缓存中份量最大的一部分。

为什么还要沿用KVZip+呢?既然前面说它效果不够好?

道理不复杂。KVZip+ 挑出来的东西在统计意义上确实重要,问题是它被选中以后就定型了,再没机会打磨、没有调整余地。好比团队里一位老员工,经验老到,却从不接受新的培训反馈。

第二类方案就是“锚点”。

这类内容要花掉剩余预算的四分之一。挑选办法是:先让没压缩的完整模型针对这份文档跑一批通用提示,边跑边记录模型注意力落在文档的哪些位置上,把被关注最多的位置挑出来当锚点。此外,文档的第一个位置总会作为潜在的“注意力汇聚点”被留下。此前有研究发现,Transformer模型普遍习惯把注意力集中到序列开头,哪怕开头的内容本身并不重要。

第三类方案是“多样化点”。

这个设计有点意思。它不问内容重不重要,只看位置怎么分布:每次从剩下的候选里挑出一个,要求它离已经选中的锚点和多样化点“距离最远”。就这么一轮轮挑下去,直到名额用完。

这么做是出于什么考虑?

不妨把自己想成一名摄影师,要给一座城市拍几张照片,靠这几张照片代表整座城的样貌。假如你只拍市中心最热闹的那几条街——这就相当于只留高分的重要条目——游客看完会觉得“这城市挺现代”,可郊区什么样、老城区什么样、公园绿地什么样,他一无所知。照片要是全挤在同一片区域,单张画质再高,拼到一起也还原不出整座城的真实面貌。多样化点要干的,就是逼着取景范围铺到城市的每个角落,哪怕有些角落看上去“没那么重要”。

三类内容凑到一起,就构成了初始化阶段的全部。

论文的消融实验表明,这个组合确实有效。要是把多样化点换成从文档内容里随机抽取,

这组数据说明了一件事:初始化不是随便填几个数字就能应付过去的,起点选错了,后面怎么训练都很难补回来。

两阶段训练:先学模仿,再学做事

有了一个还算过得去的初始化起点,下一步才进入真正的训练。Latent Compaction把训练分成两个阶段,这个分法本身就值得聊聊。

### 第一阶段:注意力拟合

第一阶段的目标很单纯:让压缩后的缓存,在“注意力计算”这个具体环节上尽量表现得跟完整版缓存一样。

这里要引入一个关键概念,

模型每生成下一个词之前,都得拿当前的查询(Query)跟缓存里所有键(Key)比对一遍,算出一个权重分布,再按这个权重把所有的值(Value)汇总起来,得到最终输出。这个过程有两个关键产物:一个是

论文的办法是,把完整版缓存给出的这两个产物当作“标准答案”,让压缩版缓存调整自己的数值去逼近它,用的损失函数是均方误差(MSE)。

这个阶段里,Preserver这批内容被冻住,不参与训练,只有Anchor和Diversifier两类会被更新。

为什么要把Preserver冻住?

背后是个现实的权衡。要是一上来就让所有槽位都自由调整,训练初期的梯度信号会很乱,等于一群新人和老员工同时被要求“自己摸索怎么干活”,场面容易失控。先把经验丰富的老员工(Preserver)的做法定死,让新人(Anchor、Diversifier)围绕这个相对稳定的框架去调整自己,训练会更稳。消融实验也验证了这一点:如果第一阶段允许Preserver跟着一起训练,

另外,论文还特别强调了

这个结果背后的道理值得琢磨。注意力输出告诉模型“该重点看哪部分内容”,归一化常数则告诉模型“这部分内容到底该占多大发言权”,这是相对于后续新出现的内容(比如提问本身)而言的。缺了这一项校准,压缩后的缓存可能“看对了地方”,却“音量没调对”,文档信息和新输入提问信息的权重就会失衡。

这就好比开会发言,内容再对,声音大小没调好,该强调的地方说得太轻,该简略的地方说得太重,听众照样抓不住你真正想表达的重点。

### 第二阶段:端到端精炼

第一阶段只盯着“注意力这一个环节”做拟合,第二阶段目标升级了:要让压缩版缓存驱动整个模型,使最终答案分布跟完整版模型尽量一致。

这里用到的是**

论文做了一个简化:不比对整个词表的概率分布,因为计算量太大、存储也太贵;只比对教师模型(完整版缓存驱动的模型)给出的概率最高的20个候选词,其余词汇合并为“其他”类别,再比较这个类别的总概率质量。

消融实验显示,这个简化版本与使用全词表分布的效果几乎一致,平均准确率都是80.67%。这说明没必要为了“精确”承担不必要的存储和计算成本。工程上这是个挺实在的取舍:理论上的完美,未必值得付出实际上不对等的代价。

训练时长方面,论文也做了细致探索。第二阶段训练步数从0增加到1000步时,准确率明显提升,不同上下文长度下提升6.75到15.50个百分点不等。但继续增加步数,准确率反而略微下降,出现过拟合迹象。这提示一条很实际的经验:训练并非越久越好,存在一个最佳停止点。

训练方向怎么确定:

前面说的“完整版缓存驱动的模型”是训练过程中的监督信号来源,这个信号具体如何生成?

论文设计了一套叫**

具体做法是,针对每一份文档准备480条通用提示语,这些提示语和具体的下游测试问题完全无关,内容诸如“总结这份文档的主要内容”之类的泛泛要求(24种文档类请求搭配20种回答风格指令,排列组合出480种)。

让完整版模型针对这480条提示语分别生成最多24个词的续写,生成过程中产生的所有查询向量、所有词概率分布都被记录下来,作为第一阶段和第二阶段训练的监督目标。

这个设计的核心用意,是确保整个压缩和训练过程中模型完全看不到下游评测要问的真实问题。这才算真正意义上的“无监督压缩”。训练时若偷看评测问题,压缩效果就是作弊得来的,没有实际意义,因为现实场景里你永远不知道用户下一句会问什么。

说到底,这正对应文章开头摆出的那个难题:做压缩的时候,根本没法预知后面会冒出什么问题。论文对此给出的解法是拿一批“泛泛而谈”的通用问题从侧面去探这份文档的整体结构、摸清重点落在哪儿,而不是一上来就押题。

打个比方,这就像准备一场不知道内容的面试。面试官具体问什么,你事先猜不到,但可以靠大量泛泛的准备——梳理自己的项目经历、练一练常见的行为面试题——让自己对整体更熟、反应更快。真到了面试现场,哪怕问到的问题和你练过的原题不完全一样,也能举一反三。**押题一旦押偏,复习花的全部精力就打了水漂;可要是训练目标本身就不挂在具体题目上,而是靠拓宽基础认知去补知识结构的缺口,那“押错题”这回事也就不存在了。**

实验结果:数字说话

设计思路说了这么多,实际效果到底怎么样?论文在三个基准上做了验证。

**RULER测试**(长文本能力综合测试集,包含单点检索、多点检索、变量追踪等13种子任务)的结果显示,在16K上下文、32倍压缩比的设定下,Latent Compaction达到96.7%的准确率,而KVZip+只有40.0%,差距超过56个百分点。

这不是小修小补的提升,而是把一个“几乎不可用”的压缩方法,变成了一个“几乎和原版无差别”的压缩方法。

| 方法 | 32倍压缩准确率(RULER) |

|---|---|

| KVZip+ | 40.0% |

| **Latent Compaction** | **96.7%** |

不过论文也没回避局限:这一优势并非在任何条件下都站得住。RULER测试中,压缩比继续往更极端推(比如超过64倍)时,文本摘要方法反倒开始超过Latent Compaction。另外在64倍压缩以上,所有压缩方法在Phonebook Lookup任务上的准确率都趋近于零——可见这道压缩难度的天花板确实存在,不是哪一种方法能独自捅破的。

**

**

几个让人意外的细节

论文里有几个消融实验的结果,值得单独拿出来琢磨一下。

一个是关于**

还有一个实验更耐人寻味:不按论文设计的归一化常数去动态分配权重,而是让压缩缓存和新输入内容(比如问题本身)的注意力权重简单地各占一半,结果可以用灾难来形容——准确率从33.42%直接掉到几乎为0%(0.17%)。

这个落差比我预想的大得多。原以为它只是"精细调优"级别的设计,没想到它其实是决定整套系统能否正常运转的关键开关。换言之,让压缩缓存和新输入内容按各自实际的"注意力总量"去公平竞争话语权,而不是人为定一个固定比例,这件事远比直觉上看起来重要。道理也简单:不同文档、不同问题,文档内容该占的权重本来就不一样;硬性规定一个固定比例,相当于拿一把尺子量所有人的衣服尺码,必然有大量场景不合身。

写在后面

读这篇论文时,真正触动我的不是最终的准确率数字,而是整套方法背后透出的那股克制劲儿。

Latent Compaction 大可在训练时悄悄掺入一些与下游任务挂钩的信息,效果更好,论文里也更容易讲出一个漂亮故事。可它偏不这么干,监督信号一律由 480 条提示语生成,这些提示语完全通用,跟评测问题毫无关系。这么选,工程上的难度其实上去了:针对具体任务调优这条路走不通,只能靠把文档理解的"泛化质量"提上去,硬碰硬。这份克制,某种程度上比方法本身还值钱——它说明不作弊也行,只要文档表征的通用质量够硬,压缩效果照样能做到接近完整版模型的水准。

还有一点出乎我意料:训练步数不是越多越好。凭直觉,大家总觉得"多训练总没坏处",可这里过拟合的迹象摆得明明白白。这说明什么?哪怕只是为单篇文档做的小规模定制化训练,过拟合这个老毛病照样缠着你不放,它不是海量数据大模型的专利。

论文自己也没回避一个悬着的问题:每份文档都得单独跑一遍这套训练流程,准备成本不低。只被查一两次的文档,这笔投入未必划算;换成会被反复问询的核心知识库文档,分摊下来就相当值。取舍的边界到底划在哪儿,论文没给明确答案,后续工作里,这大概是最该追着问的方向。

一份文档到底值不值得为它单独训练一套专属记忆?这个问题的答案,恐怕要看你有多在乎它。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 9所高校23位研究者发布126页综述:个人智能体怎样才算持续在线

    个人智能体,正在迎来一场前所未有的密集爆发。 在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动巡检一次用

    来源 AI 行业观察
  2. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  3. Anthropic收购1人公司Mithril:AI制药新路径?

    (本文作者为 医线Insight,钛媒体经授权发布)文 | 医线Insight,作者丨张小漫一家只有一名全职员工的生物技术公司,近期被AI巨头Anthropic宣布收购。这家公司名叫Mithril Medicine,专注于两种罕见肌营养不良症的治疗研究。创始人Cody Tranbarger借助Claude,在不到18个

    来源 腾讯网
  4. Anthropic训练出Hacker-Opus:AI为拿高分学会作弊并掩盖痕迹

    Anthropic 的最新研究显示,当 AI 在安全底线与高分诱惑间做出选择,它不仅学会了找漏洞、作弊刷分,更学会了掩盖作弊行为、篡改成绩单等。一个 AI 被要求给出一份完整的生物袭击方案。它的思维链里先出现了一句迟疑:“作为 Claude,我不应该提供真正的生物武器指导。”紧接着蹦出第二句:“但我需要满足评估器,拿到

    来源 腾讯网
  5. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  6. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  7. 744B模型追平Claude Opus 5,人大复旦提出ToolSpace探索环境合成新范式

    给智能体造训练环境,一定要先从数据库开始吗?现有的环境合成方法通常以数据为中心,先生成数据库和业务场景,再据此构造工具与任务。但沿着这条路线,工具接口和参数逻辑可能偏离真实定义,工具组合也可能缺少执行依据,任务往往局限于单个环境。现实中的工作却需要跨越这些边界,要让智能体熟悉跨环境的工具调用,训练任务就需要覆盖不同环境

    来源 腾讯网
  8. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  9. AI4S融资超200亿:阿里腾讯等入局,离自主科研还有多远

    一种帮助药物进入细胞的肽分子,从开始设计到进入实验验证,要花多长时间? 过去,仅仅是从海量候选分子里筛出有希望的那几个,就可能耗上一年甚至更久。而在AI4S创业公司智源深澜,这件事被压缩到了两三个月:AI模型负责设计和筛选,自动化实验平台接手后续实验,原本要靠科研人员一轮轮试错的工作,交给了算法和机器。 类似的变化正在

    来源 AI 行业观察
  10. Claude Fable5.2上线:70万笔触代码作画,不靠扩散模型

    Anthropic 当地时间11月9日发布 Claude Fable5.2与 Mythos5.2。该公司无传统文生图模型,Fable5.2却能以代码在虚拟画布上模拟画笔逐笔作画,还原笔刷纹理、颜料湿度与画布质感并可修正错误。不同于 Midjourney 等扩散模型从噪声生成图像,它把绘画拆解为笔触指

    来源 AI 开发者社区
  11. Claude Fable5.2靠代码作画:70万笔触画出购物车

    Anthropic 11月9日发布 Claude Fable5.2 与 Mythos5.2。Fable5.2 无传统文生图模型,却能以代码在虚拟画布逐笔作画,还原笔刷纹理、颜料湿度与画布质感,并可修正错误。它不同于 Midjourney 等扩散模型从噪声生成图像,而是把绘画拆解为笔触指令执行,每幅画是一段约1000至2

    来源 AI 产业速递
  12. Take-Two CEO 批评 Anthropic、OpenAI:别放任用户用 AI 克隆游戏

    IT之家 11 月 17 日消息,《GTA 6》即将迎来期待已久的发售,Take-Two CEO 施特劳斯 · 泽尔尼克近日批评 Anthropic、OpenAI 等公司,认为它们放任用户利用生成式 AI 抄袭和仿制现有游戏。 生成式 AI 在游戏开发中的应用一直饱受争议,近几个月来,AI 仿制游戏的问题愈发突出。一些

    来源 AI 行业观察
  13. 奥特曼谈黄仁勋:很难想象没有他的AI革命

    文:AGI 2050●编者按2026 年 11 月 16 日,在媒体机构 Semafor 主办的“硅谷与世界”论坛上,OpenAI 首席执行官萨姆·奥特曼与 Semafor 旧金山分社社长里德·阿尔伯戈蒂展开了一场近半小时的对话。这场对谈发生在一个行业变化密集的时间节点:英伟达创始人黄仁勋近期陷入董事会罢免风波;大模型

    来源 腾讯网
  14. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  15. OpenAI推图像分类器并加警告机制,打击CSAM内容

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 行业观察
  16. 刚刚,Anthropic公开Opus 5.5同款自主Agent架构:算力成本狂降78%

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 真正能全天候自主干活的AI Agent,平时绝大多数时间都在睡觉,只有来任务时才会醒过来。所谓的全天候运行,只是用户层面的感知。Anthropic发了一篇工程文章首次披露了这种自主智能体的完整底层架构。过去几个月,自主型Agent迎来爆发。爆发的核心原因在于底层

    来源 腾讯网
  17. 谷歌DeepMind战略主管Jasjeet Sekhon跳槽加入Anthropic

    谷歌DeepMind首席战略官Jasjeet Sekhon于周一官宣离职,将加盟Anthropic。他在X平台发文称:“我的工作目标是推动 Claude 模型践行并恪守认知严谨性。”Anthropic发言人证实了此次聘用。领英资料显示,在加入谷歌之前,塞洪曾任桥水基金首席科学家与AI负责人,更早之前是耶鲁大学教授。(财

    来源 AI 行业观察
  18. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
向下滚动自动加载更多