搭 AI 应用时最常见的困惑是:用户想让助手记住上次聊的内容,又想让它能查公司文档,于是有人把这两件事都塞进一个向量库,结果对话越用越乱、检索也答不准。问题往往不在模型,而在于没分清「会话内临时拼装的上下文」和「长期沉淀可检索的知识」是两套东西。这篇给一套判断标准、一个职责对照表和一条落地顺序,帮你在动手前先定好边界。
搭 AI 应用时最常遇到的困惑是:用户希望助手记住上次聊过的内容,还希望它能查公司文档,于是有人把这两件事都放进一个向量库,想着「存进去不就能查了」。结果是用着用着对话越来越乱,检索也开始答非所问。问题往往不在模型能力,而在于没分清「会话内临时拼装的上下文」和「长期沉淀、可被检索的知识」本来就是两套东西,混在一起会互相拖累。
更麻烦的是,这两件事混用之后很难排查:答错了,你不知道是把错的会话历史塞进了提示词,还是知识库检索回了一段不相关的文档。这篇给一套判断标准、一张职责对照表和一条落地顺序,帮你在写第一行代码前先把边界画清楚。至于模型选型、价格这些,属于另一个维度的事,到 /models 核对当时的数字就行。
先把两件事的活儿说清楚
先别急着看工具名字,看它们各自在「一次请求」里的位置。上下文管理工具关心的是这一次请求发出去时,提示词里装了什么:会话历史保留几轮、哪些片段必须留下、超长内容怎么摘要压缩、多轮对话之间怎么衔接。它的产出是一份可以直接交给模型的提示内容,用完即弃。
知识库关心的是另一头:内容长期放在哪、怎么被找到。文档怎么切块、怎么向量化、检索命中后怎么排序、拿不准时怎么处理。它的产出是一批候选片段,取出来后还是得拼进上下文才能用。一句话区分:上下文管理是临时整理的信封,每封信都要重新装;知识库是仓库,建好后反复被取用,但仓库不会替你写信。
- 上下文管理负责:会话历史裁剪、关键片段保留、超长内容摘要、多轮接力,核心是「这次请求里塞什么」
- 知识库负责:文档切块、向量化、检索排序、结果返回,核心是「这份内容放哪、怎么找回来」
- 判断起点是「这份内容明天还要不要被找到」:不要,就别进知识库,留在上下文里用完就扔
- 两者都做不好,就别急着换模型:先看是历史塞错了,还是检索取偏了,这两种排查方向完全不同
一张对照表,按自己的场景对号入座
判断该上哪一个,别看工具宣传,看自己的内容特征。下面这张表按四个维度拆开,拿自己的实际场景逐行对。大多数团队对完会发现:两类需求其实同时存在,只是比例不同;关键是先分清哪些归哪边,再决定投入。
| 维度 | 更像上下文管理 | 更像知识库 |
|---|---|---|
| 内容生命周期 | 几小时或一轮会话内就作废,比如中间结论、工具返回结果 | 几个月后还要被复用,比如产品手册、政策文件 |
| 查询方式 | 靠对话顺序延续,用户追问「刚才那个」需要接上 | 靠关键词或语义命中某一段,与对话顺序关系不大 |
| 体量特征 | 小而易变,只服务当前这条会话或这个用户 | 大而相对固定,反复被不同人不同场景问同一批问题 |
| 出错表现 | 聊着聊着忘事、前后矛盾、重复问过的问题又问 | 答得流畅,但引用的其实是另一段文档的内容 |
| 典型错误 | 历史无限堆积,延迟和成本一起涨 | 整段对话历史也灌进去,旧结论当事实被检索回来 |
混着用最容易踩的几个坑
这些坑的共同点是「用错工具的职责去补另一个的短板」。把下面的清单对照一下自己的实现,能提前避开不少返工。注意清单里的建议都有适用前提,不是每个场景都该照搬,具体见每条的补充说明。
- 把整段对话历史当文档灌进知识库:检索会把几天前的临时结论当成事实返回,答案越用越偏;例外是确实需要按会话归档方便审计,那就单独存,不要进检索索引
- 指望知识库解决长对话:检索只能捞回片段,语气、约束条件、前后衔接它补不回来;只在内容可独立成段、脱离对话也讲得清时才成立
- 不给上下文管理设退出条件:历史无限堆积,成本和延迟一起涨,效果反而下降;要明确按轮次、按 token 还是按话题来切分,并写进配置而不是靠摸
- 文档切块与检索参数照搬别人的:不同文档结构差异大,得用自己的真实问题回测命中率,别人的参数只是起点
- 不适用的情况:单轮、无历史、问题只落在一份短文档里的场景,两套都别上,直接把内容塞进提示词更省事也更准
落地顺序:先上下文,后知识库
顺序反了会很难受:知识库先建起来,但没有上下文管理托底,检索结果和会话历史会在提示词里互相打架,调起来两头都找不到原因。先把一次请求的拼装逻辑跑通,再往里加检索,问题定位会清楚得多。下面是推荐的落地步骤,每一步都给了验证方式。
- 第一步:定会话边界明确一轮最多带多少历史、超了怎么裁、摘要放在提示词的哪个位置。用几条真实对话回测,看追问时模型还能不能接上前文;接不上就调整裁剪策略,而不是堆更多历史。
- 第二步:定知识边界列出哪些文档进库、多久更新一次、检索返回几条、命中度不足时怎么回答「没查到」。这里要提前定好「查不到就说查不到」的规则,别让模型拿半相关内容硬凑。
- 第三步:做衔接检索结果只作为上下文的一部分拼进去,并标明来源。这一点很关键:不标来源,模型容易把检索内容和用户原话混为一谈,回答里出现用户根本没说过的话。
- 第四步:加监控分别记录上下文被裁剪的次数和检索命中情况,哪个指标掉先修哪个。别一上来就换模型——模型换了,边界问题还在,只是错得更难发现。
做到这里,两个系统的职责就分开了:上下文管理管「这次发出去什么」,知识库管「这次能从库里取回什么」,中间的拼装逻辑单独放一层,改任何一边都不动另一边。跑通之后再去评估接入方式,比如直连官方还是走中转站,可以用 /sites 看各家的可信度记录,价格和计费口径到 /price-watch 核对当时的数字,别凭印象拍板。
下一步把上面四步里的边界参数写成配置文件,用几条真实对话做回测;接入方式与价格口径另开一页核对,别和边界问题混在一起改。→常见问题
已经有向量知识库了,还需要单独的上下文管理吗
需要,两者解决的不是同一件事。知识库能捞回相关片段,但这次对话里说过什么、用户提了哪些约束、前面已经否掉了哪些答案,只有上下文管理知道。只有知识库时,常见表现是每轮都像第一次问,答案正确但不连贯。
上下文管理工具能当知识库用吗
短期内存可以,长期沉淀不行。会话缓存通常有过期和容量上限,重启或换机器就没了,也不支持按语义检索任意一段旧内容。如果一份内容一个月后还要被找到,就放知识库;只服务当前这条会话的,留在上下文里。
小团队文档不多,是不是可以先不做知识库
文档总量不大、问题又高度集中的话,确实可以先不做。把核心文档整段放进上下文,配合明确的提问格式,往往比仓促搭一个检索效果不好的库更靠谱。等文档数量和问法开始发散、命中率明显下降,再上知识库。