上下文记忆和长期记忆的区别,一次说清做法(两者机制差在哪:一个随请求生灭,)

入门与上手

讲清上下文记忆和长期记忆在机制、成本和适用场景上的差别,给开发者一套照着就能定的记忆方案设计步骤。

做对话应用时常见两种卡法:一种是聊得稍久模型就开始忘前半段,另一种是自以为接了个数据库就叫有长期记忆,结果答非所问。这两个问题其实出在不同层面:前者是上下文窗口内的临时记忆,后者是要跨会话延续的外部存储。这篇先把两者的机制差异拆开,再给一套从需求判断到落地实现的设计顺序,最后指出哪些情况其实不需要长期记忆。

做对话应用很容易遇到两种卡法:一种是聊了十几轮之后模型开始忘掉前面说过的关键信息,回答前后矛盾;另一种是自以为接了个向量库就等于有了长期记忆,结果每次都召回一堆不相关的内容,答非所问还更贵。这两个问题其实不在一个层面:前者是上下文窗口内的临时记忆没管好,后者是跨会话的外部存储设计得不对。

这篇先把两者的机制差异拆开,再给一套从需求判断到落地实现的设计顺序,最后说清哪些情况其实压根不需要长期记忆。全程只讲判断标准和动作,具体数字请到站内资料库核对当时的数值。

两者机制差在哪:一个随请求生灭,一个要靠外部存下来

上下文记忆就是每次请求里塞进模型的那段内容,请求结束即消失,模型本身不保存任何东西。长期记忆是把摘要、事实、用户偏好写到外部存储,下次请求时按需检索再拼回上下文。判断口径很简单:看信息能不能活过这一次请求,能就是长期记忆,不能就是上下文记忆。

上下文记忆
随请求生灭,模型不持久保存,容量受窗口限制
长期记忆
写到外部存储,按需检索拼回请求,跨会话延续
判断口径
信息能否活过本次请求,能则是长期记忆

各自会怎么翻车:成本和失效方式的差异

上下文记忆的失效是硬截断,超出窗口就从最早或指定位置丢内容,表现为忘了开头说的话。上下文越长,单次请求的 token 花得越多、首字延迟越高,成本会随轮次累积。长期记忆的失效则是检索不准,存了没召回、召回了不相关,反而把错误信息喂给模型。

  • 上下文记忆:超窗即丢,表现是忘记开头内容
  • 上下文记忆:成本随轮次累积,延迟同步上升
  • 长期记忆:存了没召回,等于白存
  • 长期记忆:召回不相关内容,污染回答
  • 长期记忆:去重、更新、过期清理没人管会越存越脏

把这两类失效分开看很关键:前一种是容量问题,靠压缩和裁剪解决;后一种是质量问题,靠存储结构和召回策略解决。用错药往往修不好。具体模型窗口和价格,到 /price-watch 核对当时的数字。

设计记忆方案的四步顺序

别一上来就选向量库,先按下面的顺序把需求想清楚,再决定实现方式。每一步都有可验证的产出,做完这一步再进下一步。

  1. 定目标先问清要解决的是「这次对话内别忘」还是「下次来还认得我」,两者方案完全不同,写进需求文档再动手
  2. 会话内压缩用摘要压缩加保留最近若干轮原文,把关键信息固定在系统提示里,验证方式是对比压缩前后关键信息的召回情况
  3. 跨会话存储存结构化事实比存整段原文更好维护,比如用户偏好写成键值对;召回条数要设上限,避免一次塞太多
  4. 留降级路径检索失败或超时就直接不带记忆继续答,别让记忆模块把主链路拖死,用超时和空结果两种情况各测一次

这里最容易翻车的是第三步:很多团队直接把整段对话切块入库,结果召回的是一堆无关闲聊。改成只存用户明确表达的事实和偏好,召回质量会明显好转。存储结构怎么选、召回几条合适,可以到 /guides 看相关资料库的对照说明。

对照表:什么场景只用上下文,什么场景要上长期记忆

用途决定方案,下面这张表可以拿来快速对照自己的项目落在哪一格。同一产品里可能不同模块要不同方案,不必强求统一。

场景记忆方案判断理由
一次性文档问答、代码补全只用上下文每次请求自带相关信息,无需跨会话
客服、助教类多轮任务上下文为主,配合会话内摘要任务通常在一次会话内完成
个人助手、长期陪伴需要长期记忆,只存用户明确说过的事实与偏好跨会话延续是核心诉求
团队协作知识库更接近检索增强,按知识库切片检索本质是知识检索,别包装成记忆

注意最后一行的边界:检索增强和长期记忆在实现上相似,但语义不同,一个是查资料,一个是记人。混着做会让存储越来越乱,后面很难拆。

怎么验证记忆方案有没有生效

记忆方案最难的不是实现,是说清它到底有没有起作用。建议在上线前就固定一组测试用例,每次改动后都跑一遍,重点看指标而不是感觉。

  • 跨轮测试:中途提一个事实,隔若干轮追问,记录从第几轮开始丢
  • 跨会话测试:换新会话提同一问题,看长期记忆能否召回且内容不过期
  • 观测指标:每轮请求的输入 token 数、检索命中率、带记忆与不带记忆的回答差异
  • 实时信息不存:价格、库存这类信息每次现查,别当记忆存

如果你还在选模型和接入方式,建议先把窗口大小和调用价格摸清,再决定记忆方案做到多细。这些数字会随供应商调整,到 /price-watch 核对当时的数字即可,不要凭记忆写进方案。

下一步先拿你自己的业务场景对照上面的表格定一格,再去站内资料库确认当前模型的窗口和价格,避免方案按旧数字设计。

常见问题

上下文窗口够大,是不是就不用做长期记忆了?

窗口大只解决单次塞得下的问题,不解决跨会话延续。窗口越大单次请求成本越高,长对话里早先内容也会被稀释。判断口径:信息是否需要在下一次全新会话中被用到,需要就得上外部存储,不需要就只靠上下文。

长期记忆存原文还是存摘要?

看用途。需要原文复现细节的(合同条款、代码片段)按切片存原文;只需要记住偏好和结论的存结构化摘要。多数项目两者混用,摘要用来快速召回,原文按 id 回查。全存原文会越来越难检索,全存摘要会丢细节。

记忆模块接上后回答变慢或变差,先查什么?

按顺序查:一是召回条数是不是太多,把上下文撑爆;二是召回的片段是否相关,拿几条出来人工看;三是记忆写入口径有没有问题,错误事实被反复强化。先关掉记忆对比一次基线回答,确认是记忆引入的再逐项排查。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。