做对话应用时,常有人问「模型怎么记不住上一轮」「要不要上向量库」。这两个问题其实指向两套不同机制:一个是单次请求里带过去的上下文,一个是自己存下来、下次再取回来的长期记忆。这篇按「机制差别—怎么选—怎么落地—翻车排查」的顺序讲,帮你判断哪些场景只需要塞上下文,哪些非得建存储。
做对话应用时,常有人问「模型怎么记不住上一轮」「要不要上向量库」。这两个问题其实指向两套不同机制:一个是单次请求里带过去的上下文,一个是自己存下来、下次再取回来的长期记忆。搞混了,就容易在不该建库的时候建库,在该做检索的时候硬塞聊天历史。
这篇按机制差别、怎么选、怎么落地、翻车排查的顺序讲,帮你判断哪些场景只需要塞上下文,哪些非得建存储。判断标准都会写清楚什么情况下不适用,别死套。
先把两套机制拆开看
上下文记忆的本质是「每次请求重新带一遍」。你把历史消息或资料拼进输入,模型读的是这一次的内容;请求结束这段内容就不存在了,下次能不能记住,全看你有没有再发一遍。它不需要你维护存储,但受窗口长度和计费 token 两头约束。
长期记忆的本质是「你自己存、自己取」。对话要点落到数据库、向量库或文件桶里,下次请求由你的程序检索出来再拼进 prompt。模型不负责持久化,存什么、何时取、怎么过滤,全是你的代码在决定。
| 维度 | 上下文记忆 | 长期记忆 |
|---|---|---|
| 持久化责任 | 无,每次请求现拼 | 你的程序,靠存储层 |
| 约束来源 | 窗口长度与 token 计费 | 检索精度、存储设计与写入时机 |
| 改动成本 | 小,调请求组装逻辑即可 | 大,要设计写入、检索、回填链路 |
| 失效风险 | 漏带历史、窗口被撑满 | 检索召回错、按用户过滤没做对 |
按场景选,不要一上来就建库
先问三个问题:对话要不要跨天连续;信息量是否超出一轮能带的长度;用户是否会要求「你上次说过」。三个都不成立,就用上下文,改动最小、排查最容易。任意一个成立,再考虑加长期记忆。
- 单轮或短对话、资料能全部塞进窗口:只用上下文,别引入存储层
- 跨会话连续、用户对「记得我」有明确预期:需要长期记忆,写入时机先做显式触发
- 资料量大于一轮能带的长度:优先做检索增强,去 /ai-dict/category/tech 里先把检索和切分相关词条过一遍
- 只想让模型参考一份固定文档:按检索增强方案做,不要靠堆聊天历史凑效果
反过来,如果对话本身很短、用户换得频繁、又涉及敏感信息,硬上长期记忆只会带来清理负担和合规风险。这类场景不适用,不要为了「看起来高级」而建库。
落地步骤:按这个顺序搭
- 定范围明确记什么(用户偏好、事实、任务进度),不记什么(临时上下文、能复现的对话原文)。列成一张字段表,先固定下来再写代码。
- 定写入时机先只做「用户显式说记住」时写,简单可控;跑通后再评估每轮结束抽要点。验证办法是查存储里是否出现不该出现的条目。
- 定检索条件存的时候带上用户标识和时间,取的时候按用户过滤再算相似度,别全库混搜。用两个不同用户的测试数据验证召回是否串号。
- 定回填位置检索结果拼在系统提示之后、当前问题之前,条数设硬上限。验证办法是打印请求体,数回填条数和历史轮数。
- 做降级检索服务挂掉或超时,退回只用上下文,不要让整条请求失败。用断网或短超时模拟一次来验证。
# 验证请求里到底带了什么
curl -s your-api-endpoint \
-H 'Content-Type: application/json' \
-d @request.json | tee resp.json
jq '.messages | length' request.json # 数回填条数与历史轮数常见问题和排查顺序
记忆类问题多数不是模型「笨」,而是链路某一环错了。按「先看检索返回什么、再看回填了多少、最后才怀疑模型」的顺序查,比盲目换模型省事得多。
- 答非所问、老话题被翻出来:先打印检索结果,多半是相似度阈值太松,或者没按用户过滤
- 窗口又被撑满:先数回填条数和历史轮数,再考虑换更大窗口的模型,窗口规格到 /models 核对当时的数据
- 以为模型自己记住了:用日志打印请求体,确认每次请求是否真的带上了那段历史
- 整体变慢:记忆链路多了一次检索,用 /tools/speed-test 量一次基线,再判断是不是自己的代码慢
常见问题
上下文记忆和长期记忆是不是模型自带的两种能力?
不是。上下文是你这次请求发过去的内容,模型只读这一份;长期记忆要靠你的程序存和取,模型并不提供存储。理解成「一次性手写笔记」和「自己维护的档案柜」更贴切。
只做上下文、不建长期记忆,会遇到什么问题?
主要是三件:对话变长后每轮费用上升、窗口到顶后必须截断丢历史、跨会话完全失忆。如果业务本来就是单次问答或作业型任务,这些都不算问题,可以先用上下文撑住。
长期记忆用了向量库,是不是就万无一失了?
不是。召回不准、重复写入、用户间数据串线都常见,需要过滤条件和阈值来兜。建议先小范围上线,观察检索命中情况,再决定要不要扩存储和换模型。