给应用加记忆这件事,难的不是调接口,是先分清两件事:哪些东西跟着一次请求生灭,哪些要跨会话留下来。分不清就会出现两种翻车,一是把整段历史全塞进 prompt,费用上去还越答越乱;二是该记住的用户偏好没落盘,下次打开全忘。这篇按机制差、成本差、选型判断、落地动作四步讲,帮你把记忆方案先画出来再动手。
给项目加记忆,难的不是调接口,是先分清两件事:哪些东西跟着一次请求生灭,哪些要跨会话留下来。分不清就会出两种翻车。一种是图省事,把整段聊天历史全塞进 prompt,费用蹭蹭往上涨,答案还越聊越跑偏。另一种正好相反,该落盘的用户偏好没存,用户下次打开发现它全忘了,体验直接崩。这篇按机制差、成本和坑、选型判断、落地顺序四步讲,目标是让你先把方案画出来再动手。
先把话说在前面:所谓「模型记住了」,绝大多数情况下是你在请求之前把内容捞出来、又塞回去,模型本身不存任何东西。这个认知不摆正,后面所有设计都会歪。你要设计的其实是「存哪里、什么时候取、取多少」,不是「怎么让模型记性变好」。
先把两边的生命周期分清楚
上下文记忆活在一次请求里。你发过去的消息、贴进去的文档、工具调用的返回结果,都算这一次的输入,请求一结束就没了,下一轮得自己重新拼。长期记忆存在模型外面,数据库、向量库、本地文件都行,它是一个外部组件,不是模型的一个功能。判断某条信息归哪边,就问一句话:这轮对话结束之后还要不要用?不用,就是上下文;要用,就落盘。
- 上下文记忆
- 本次请求窗口里的内容,请求结束即消失,下一次要重新组织
- 长期记忆
- 模型外的存储,每次请求前由你的代码读取并拼入输入
- 读取动作
- 长期记忆必然带一次读,读什么、读多少、何时读,都是你写的逻辑
- 隔离键
- 多人场景下按用户或会话区分的标识,没有它记忆会串号
有些开发者第一次做,会以为开了长上下文就自动有了长期记忆。实际用下来不是这样。窗口再大也是一次性的,聊到几十轮照样要裁剪或者摘要,而且每次请求都在为这段历史付费。把窗口当容量,是这一块最常见的误判。
钱和坑都长在边界上
两边的成本结构完全不同。上下文按输入量计费,塞得越多每次越贵,长输入还会拖慢首字返回,具体单价到 /official-api 核对当时的数字,别凭印象估。长期记忆的成本不在读,在维护:切片怎么切、向量怎么建、重复和过期条目怎么清,这些活做不好,比不做还麻烦。
我见过一个具体翻车:有人把用户删掉的旧地址还留在向量库里,检索时相似度最高,每次生成都带着它,人工翻日志翻了半天才发现是没做失效标记。还有一类坑是设了很低的相似度阈值,命中一堆语气相近但内容无关的片段,拼进去之后回答开始胡说,效果比不给还差。
- 检索命中不等于业务相关:向量相似只是语义接近,加一层字段过滤或来源校验再放行
- 过期信息比缺失更危险:删除、修改都要同步更新存储,不要只追加不清理
- 上下文过长会被截断:裁剪逻辑要显式写,别指望模型自己丢开头
- 记住的是助手说的话,不一定是事实:重要字段以结构化存储为准
按这四步过一遍再定方案
动手前先过一遍判断,能省掉很多返工。这套顺序对多数带会话的产品都适用,但如果你的场景是一次性问答、接口本身无状态,硬加记忆层只是多了一个故障点,这时候不适用,别装。
- 列清单标时效把要记的东西写下来,逐条标「本轮用完就丢」还是「下次还要」。用户偏好、身份信息归长期,当前任务的中间结果归上下文。
- 看信息量单条几千字的资料不适合每轮塞进 prompt,更适合外挂检索,按需取片段。
- 看一致性要求订单、金额、权限这类不能出错的字段,直接结构化查询,别交给相似度命中。
- 看人数多人协作要知道每段记忆属于谁,按用户或会话加隔离键,测试时用两个账号交叉验证。
| 信息类型 | 建议放哪 | 判断依据 |
|---|---|---|
| 用户偏好、称呼习惯 | 长期存储 | 跨会话还要用,量小,读回即可 |
| 历史订单、账户字段 | 结构化库 | 要求一致,不能靠相似度碰运气 |
| 长文档、知识库 | 外部检索 | 单条体量大,不适合每轮全塞 |
| 当前任务中间结果 | 上下文 | 本轮结束即弃,落盘反而增加清理负担 |
| 完整聊天记录原文 | 裁剪或摘要 | 全量保留成本高,且越长越干扰 |
表格只是起点,实际项目里经常是混着来的。一个会话里既有结构化的用户档,也有检索出来的知识片段,还有本轮临时贴的文本,这很正常。关键是每一块来源清楚、可单独关掉,出问题时能定位到是哪一块在捣乱。
落地顺序:先跑通读回,再谈聪明
别一上来就上向量库。先把最小闭环跑通:把用户 ID 对应的几条事实存进结构化的表,请求时按 ID 取出来拼进系统提示,能稳定读回、能正确更新,就算通了。这一步做好,多数产品的基本记忆需求已经够了。之后再考虑摘要和检索。
# 最小闭环示意:读回 -> 拼入 -> 记录用量
facts = store.get_facts(user_id)
if facts:
system_prompt = base_prompt + format_facts(facts)
resp = client.chat(system=system_prompt, messages=history)
log_memory(user_id, items=facts, tokens_used=count(facts))第二步加摘要。对话轮数过了阈值,就把较早的消息压成一段短摘要顶替原文,控制上下文体积。第三步才上向量检索,并且先设阈值、加来源校验,检索不到就明说没有,别硬凑几条塞进去。全程留一条可观测的线:每轮实际带了多少记忆、命中哪些条目,出问题能回溯。
下一步先把你要记的东西按上面的表分好类,再去 /tools/speed-test 对比几家中转的实际响应表现,配长期记忆读取之后延迟变化会很明显。→常见问题
长期记忆是不是就是把历史对话全部存进数据库?
可以这么起步,但不建议长期这样。全量存的问题是检索时噪音太大,越存越难命中。更稳的做法是分层:原始对话留档备查,另存一份提炼过的事实和摘要,请求时只取提炼层。
上下文窗口很大,是不是就不用做长期记忆了?
两回事。窗口大只说明单次能塞更多,塞进去依然按量计费,而且请求结束就消失。跨会话的偏好、长期项目状态还是得落在模型外面。窗口大可以少做几次摘要,但替代不了存储层。
为什么我接了向量库,回答还是经常答非所问?
先去 /tools/quality-check 做一轮抽样看命中质量。常见原因是切片太大或太小、检索阈值没设、把过期版本也收进了库。先确认命中的片段本身对不对,再怀疑模型。