做对话应用时常见两种卡法:一种是聊得稍久模型就开始忘前半段,另一种是自以为接了个数据库就叫有长期记忆,结果答非所问。这两个问题其实出在不同层面:前者是上下文窗口内的临时记忆,后者是要跨会话延续的外部存储。这篇先把两者的机制差异拆开,再给一套从需求判断到落地实现的设计顺序,最后指出哪些情况其实不需要长期记忆。
做对话应用很容易遇到两种卡法:一种是聊了十几轮之后模型开始忘掉前面说过的关键信息,回答前后矛盾;另一种是自以为接了个向量库就等于有了长期记忆,结果每次都召回一堆不相关的内容,答非所问还更贵。这两个问题其实不在一个层面:前者是上下文窗口内的临时记忆没管好,后者是跨会话的外部存储设计得不对。
这篇先把两者的机制差异拆开,再给一套从需求判断到落地实现的设计顺序,最后说清哪些情况其实压根不需要长期记忆。全程只讲判断标准和动作,具体数字请到站内资料库核对当时的数值。
两者机制差在哪:一个随请求生灭,一个要靠外部存下来
上下文记忆就是每次请求里塞进模型的那段内容,请求结束即消失,模型本身不保存任何东西。长期记忆是把摘要、事实、用户偏好写到外部存储,下次请求时按需检索再拼回上下文。判断口径很简单:看信息能不能活过这一次请求,能就是长期记忆,不能就是上下文记忆。
- 上下文记忆
- 随请求生灭,模型不持久保存,容量受窗口限制
- 长期记忆
- 写到外部存储,按需检索拼回请求,跨会话延续
- 判断口径
- 信息能否活过本次请求,能则是长期记忆
各自会怎么翻车:成本和失效方式的差异
上下文记忆的失效是硬截断,超出窗口就从最早或指定位置丢内容,表现为忘了开头说的话。上下文越长,单次请求的 token 花得越多、首字延迟越高,成本会随轮次累积。长期记忆的失效则是检索不准,存了没召回、召回了不相关,反而把错误信息喂给模型。
- 上下文记忆:超窗即丢,表现是忘记开头内容
- 上下文记忆:成本随轮次累积,延迟同步上升
- 长期记忆:存了没召回,等于白存
- 长期记忆:召回不相关内容,污染回答
- 长期记忆:去重、更新、过期清理没人管会越存越脏
把这两类失效分开看很关键:前一种是容量问题,靠压缩和裁剪解决;后一种是质量问题,靠存储结构和召回策略解决。用错药往往修不好。具体模型窗口和价格,到 /price-watch 核对当时的数字。
设计记忆方案的四步顺序
别一上来就选向量库,先按下面的顺序把需求想清楚,再决定实现方式。每一步都有可验证的产出,做完这一步再进下一步。
- 定目标先问清要解决的是「这次对话内别忘」还是「下次来还认得我」,两者方案完全不同,写进需求文档再动手
- 会话内压缩用摘要压缩加保留最近若干轮原文,把关键信息固定在系统提示里,验证方式是对比压缩前后关键信息的召回情况
- 跨会话存储存结构化事实比存整段原文更好维护,比如用户偏好写成键值对;召回条数要设上限,避免一次塞太多
- 留降级路径检索失败或超时就直接不带记忆继续答,别让记忆模块把主链路拖死,用超时和空结果两种情况各测一次
这里最容易翻车的是第三步:很多团队直接把整段对话切块入库,结果召回的是一堆无关闲聊。改成只存用户明确表达的事实和偏好,召回质量会明显好转。存储结构怎么选、召回几条合适,可以到 /guides 看相关资料库的对照说明。
对照表:什么场景只用上下文,什么场景要上长期记忆
用途决定方案,下面这张表可以拿来快速对照自己的项目落在哪一格。同一产品里可能不同模块要不同方案,不必强求统一。
| 场景 | 记忆方案 | 判断理由 |
|---|---|---|
| 一次性文档问答、代码补全 | 只用上下文 | 每次请求自带相关信息,无需跨会话 |
| 客服、助教类多轮任务 | 上下文为主,配合会话内摘要 | 任务通常在一次会话内完成 |
| 个人助手、长期陪伴 | 需要长期记忆,只存用户明确说过的事实与偏好 | 跨会话延续是核心诉求 |
| 团队协作知识库 | 更接近检索增强,按知识库切片检索 | 本质是知识检索,别包装成记忆 |
注意最后一行的边界:检索增强和长期记忆在实现上相似,但语义不同,一个是查资料,一个是记人。混着做会让存储越来越乱,后面很难拆。
怎么验证记忆方案有没有生效
记忆方案最难的不是实现,是说清它到底有没有起作用。建议在上线前就固定一组测试用例,每次改动后都跑一遍,重点看指标而不是感觉。
- 跨轮测试:中途提一个事实,隔若干轮追问,记录从第几轮开始丢
- 跨会话测试:换新会话提同一问题,看长期记忆能否召回且内容不过期
- 观测指标:每轮请求的输入 token 数、检索命中率、带记忆与不带记忆的回答差异
- 实时信息不存:价格、库存这类信息每次现查,别当记忆存
如果你还在选模型和接入方式,建议先把窗口大小和调用价格摸清,再决定记忆方案做到多细。这些数字会随供应商调整,到 /price-watch 核对当时的数字即可,不要凭记忆写进方案。
下一步先拿你自己的业务场景对照上面的表格定一格,再去站内资料库确认当前模型的窗口和价格,避免方案按旧数字设计。→常见问题
上下文窗口够大,是不是就不用做长期记忆了?
窗口大只解决单次塞得下的问题,不解决跨会话延续。窗口越大单次请求成本越高,长对话里早先内容也会被稀释。判断口径:信息是否需要在下一次全新会话中被用到,需要就得上外部存储,不需要就只靠上下文。
长期记忆存原文还是存摘要?
看用途。需要原文复现细节的(合同条款、代码片段)按切片存原文;只需要记住偏好和结论的存结构化摘要。多数项目两者混用,摘要用来快速召回,原文按 id 回查。全存原文会越来越难检索,全存摘要会丢细节。
记忆模块接上后回答变慢或变差,先查什么?
按顺序查:一是召回条数是不是太多,把上下文撑爆;二是召回的片段是否相关,拿几条出来人工看;三是记忆写入口径有没有问题,错误事实被反复强化。先关掉记忆对比一次基线回答,确认是记忆引入的再逐项排查。