上下文记忆和长期记忆的区别,一次说清做法

入门与上手

讲清上下文记忆和长期记忆的机制差别在哪,给开发者一套判断该用哪种、怎么组合的记忆方案设计思路。

写对话应用写到一半,会发现两件事混在一起:模型这一轮能看到什么,和它跨会话还能记起什么。前者是上下文记忆,随请求走、用完就没;后者得自己搭存储和检索。很多项目把两者当一回事,结果要么上下文塞爆报错,要么用户抱怨「上次说的它又不记得」。这篇把两条链路拆开对比,再给一套选型和落地检查步骤。

写对话应用写到一半,经常会把两件事糊在一起:模型这一轮能看到什么,和它跨会话还能记起什么。前者是上下文记忆,跟着请求走、用完就没了;后者得自己在应用侧搭存储和检索。很多项目把两者当一回事,结果要么上下文塞爆报错,要么用户抱怨上次说的它又不记得了。

这篇把两条链路拆开对比,给一套判断该用哪种、怎么组合的思路,最后附上落地步骤和几个常踩的坑。所有涉及价格、性能数字的,都去站内页面按当时的情况核对,这里只讲做法。

先把两层记忆拆开:谁在管、活多久

上下文记忆活在单次请求里,由模型的窗口承载,请求一结束就释放,模型自己不会替你保存任何东西。长期记忆则是应用侧维护的存储加检索,跨会话存在,每次挑一部分塞回上下文。两者的管理者、生命周期完全不同,设计时别混着谈。

上下文记忆
这一次请求里模型能看到的全部内容,随请求来、随请求走,模型不负责保存。
长期记忆
你自己写的库加检索逻辑,跨会话存在,每轮按需挑几条回填进上下文。
回填
把检索结果拼进当前提示词的动作,位置和格式要固定,方便排查问题。

判断口诀只有一句:模型记得,是因为你这次又把它放进去了,不是因为模型自己记住了。凡是觉得它记性好或记性差,先去看这次请求里到底塞了什么。

机制对照表:从生命周期到成本

对比维度上下文记忆长期记忆
生命周期一轮到几次对话,请求结束即释放可到月、年,取决于存储策略
写入方式拼接、裁剪、摘要抽取要点写入库,按需召回
成本结构按 token 计费,每轮重付主要花在存储和检索调用上
失效风险窗口塞满、被截断召回不准、写进脏数据
调试难度看请求体就行要同时查库内容和召回结果

成本这块尤其要注意:上下文是每轮都要重付的钱,长期记忆是存储加检索的钱。哪边更划算要看你的对话轮次和召回频率,具体数字到 /price-watch 看当时的计价,别凭印象做决定。

  • 先量一轮对话平均塞多少上下文,再谈优化
  • 召回条数和单条长度都要设上限,否则检索成本会失控
  • 把上下文裁剪和长期记忆召回分开做监控,出问题好定位

什么场景用哪种:一张选型清单

选型不看技术炫不炫,看你需不需要跨会话记住东西。单轮任务、文档问答、客服一次性咨询,只做上下文记忆就够了,别提前上数据库,多一层就多一层故障点。

多轮连续对话、需要记住用户偏好或历史工单,可以用上下文加会话摘要,仍不一定落库。只有跨会话的个性化助手、长期项目跟进,才真正需要长期记忆,并且必须配召回质量评估,否则记了也用不上。

落地步骤:先定策略再写代码

  1. 定记什么只存结论和事实,别把整段聊天原样灌进去;每条记录带上时间戳和来源,方便以后判断新旧。
  2. 定怎么召回按用户、按主题还是按时间倒序,先想清楚;召回条数设硬上限,比如每次最多几条,超了就截。
  3. 定怎么回填召回内容和当前问题拼进上下文的位置、格式固定下来,写进文档,便于复现和对比实验结果。
  4. 定怎么淘汰设过期时间和容量上限,定期清理低价值记录,否则库越滚越大、召回越来越糊。
  5. 做对照测试同一组问题开关长期记忆各跑一遍,看答对率有没有真的提升;没提升就先别上线。

几个常踩的坑

第一个坑是把上下文长度当成记忆能力。窗口大只代表这一次能多看,不代表跨会话记得,用户换个会话照样从零开始。第二个坑是召回不加过滤,旧结论和新结论冲突时,模型常常挑错的那个,所以记录要带时间戳或版本号。

第三个坑是没有回退:召回为空时流程直接卡住或报错。要提前定好默认行为,比如退化成只用当前上下文,或者明确告诉用户没查到相关记录。把这几条当检查清单,上线前逐条确认一遍。

下一步选型确定后,去站内工具目录挑检测和对比手段,把上下文与召回两条链路分开测一遍,比拍脑袋估算靠谱。

常见问题

上下文记忆和长期记忆,是不是窗口越大就不需要后者了?

不是。窗口再大也只覆盖单次请求,请求一结束就什么都不剩;长期记忆解决的是跨会话、跨天甚至跨月的信息留存。窗口大能减少裁剪压力,但替代不了持久化存储加召回这套机制。反过来,如果你做的是用完即走的单轮任务,确实可以只依赖上下文。

长期记忆一定要用向量数据库吗?

不一定。结构化偏好、固定字段这类信息用普通数据库按 key 查就够,更快也更可控;只有需要在大量非结构化文本里做语义相似召回时才需要向量检索。可以先从简单存储起步,等召回质量成为瓶颈再换。

怎么判断长期记忆到底有没有起作用?

做对照实验:固定一组需要引用历史信息的问题,分别开关长期记忆各跑一遍,人工或规则判定答案是否用到了正确的历史信息。如果没有提升甚至更差,多半是召回内容不准或回填格式混乱,而不是记忆没用。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。