你大概率遇到这种场面:模型答得很顺,但内容跟公司实际情况对不上,或者你刚更新的资料它完全不知道。有人一提「上 RAG」就想立刻开工,却说不清它到底治的是哪类毛病。这篇不堆术语,先说明 RAG 在整条链路里的位置、它解决的模型知识局限,再给你一套判断标准和动手顺序,最后说清什么场景下它并不适用。
你大概率遇到这种场面:模型答得很顺,但内容跟公司实际情况对不上,或者你刚更新的资料它完全不知道。有人一提「上 RAG」就想立刻开工,却说不清它到底治的是哪类毛病。这篇不堆术语,先说明 RAG 在整条链路里的位置、它解决的模型知识局限,再给你一套判断标准和动手顺序,最后说清什么场景下它并不适用。
先给个判断:如果你的痛点集中在「答得不对、答得老、答完没法核实」,RAG 是对症的;如果痛点是模型算不明白、逻辑绕不过来,那它帮不上忙太大。所以看清楚自己卡在哪一环,比急着挑工具重要得多。
RAG 到底做了什么:把「回忆」换成「先查再答」
模型参数里记的是训练时压进去的东西,问了它没见过的内容只能靠猜,这是知识局限的根源。RAG 的做法是先在你的资料里检索出相关片段,再把片段和问题一起塞进上下文让模型作答,答案是照着材料说的。它改的是「答案从哪来」,不改模型本身:不训练、不微调权重,所以资料更新只需换掉被检索的那批文件。
- 检索
- 把用户问题转成向量,去资料库里找语义最接近的几段文字
- 上下文拼装
- 把检索到的片段和原始问题拼成一段提示,交给模型
- 生成
- 模型只依据拼进去的材料作答,并尽量给出处
- 知识库
- 被切片、被索引的那批文件,是这套链路里最常需要维护的部分
- 切片
- 把长文档按语义或段落切开,切太碎丢上下文,切太粗检索不准
一句话区分:微调是把知识写进模型,RAG 是把知识放在模型嘴边,两者的维护成本完全不同。前者每次资料更新都得重新训练一轮,后者只要把文件换掉、索引重建就好。对资料更新频繁的业务,这个差别是决定性的。
它具体解决哪几类问题(以及不解决哪几类)
| 问题类型 | RAG 是否对症 | 为什么 |
|---|---|---|
| 私有资料问答 | 对症 | 资料在库外,模型原本没见过 |
| 时效性内容 | 对症 | 换掉被检索的文件即可更新 |
| 答案要能指回原文 | 对症 | 可要求模型给出来源片段 |
| 数学推导与复杂推理 | 不对症 | 卡在模型能力,不在知识来源 |
| 需要事务一致性的业务 | 不对症 | 检索是近似匹配,做不到强一致 |
别混淆对象:把「模型胡说」和「模型不知道」分开看,前者看幻觉缓解的思路,后者才是 RAG 的主场。检索质量决定上限:召回阶段捞回来的片段不对,后面生成再强也是白搭,这是最常见的失败原因。判断标准可以这样定:拿一批真实问题去测,如果前几条检索结果里能命中正确答案所在的段落,这套检索就算及格了。
- 能解决:私有资料问答、时效性内容、答案要能指回原文出处、同一套资料给多个业务复用
- 解决不了:模型本身推理能力不足、要求严格的数学推导、需要实时写入与事务一致性的业务逻辑
- 判断顺序:先看问题是不是「资料里本来就有答案」,是才轮到 RAG
- 排除法:如果同一问题把资料原文贴进提示就能答对,那缺的就是检索这一段,不是模型能力
要动手做,先按这个顺序走一遍
- 第一步,备资料把散落的文档、FAQ、表格整理成能切片的形式,明确哪些能对外、哪些不能。验证方法是随手抽几条资料,看切完之后单段能不能自己读懂。
- 第二步,做检索选嵌入方案把文本变成向量、存进向量库,用一批真实问题测召回准不准。验证方法是对着问题列表逐条看命中的片段对不对。
- 第三步,接生成把召回到的片段拼进提示,要求模型只依据材料作答并给出处,答不了就明说。验证方法是故意问一个库外的问题,看它会不会老实说不知道。
- 第四步,跑回归上线前跑一份回归问题集,固定住「查得准、答得稳」两条基线,避免调了提示词把检索效果改坏。
这套顺序里最容易跳过的是第二步的验证。很多人切片、建库、接模型一口气做完,才发现召回的片段跟问题不沾边,回头改又要动整条链路。把检索单独测通再往下走,返工成本会低很多。
什么情况下先别上 RAG
- 资料量极小、几十条以内时,直接写进提示词让模型带着回答,比搭一套检索链路省事得多
- 问题本身就是通用常识类,模型原本答得不错,加检索只会拖慢响应、增加出错环节
- 团队没人维护资料更新,知识库会迅速过期,这种情况下 RAG 反而会把旧答案包装得更像真的
- 对延迟和成本极度敏感的场景,要先把检索那一段的开销算清楚再决定
最后一条要单独说:检索、向量化、拼上下文都是有开销的,具体量级要到站内做一遍测算再判断值不值。什么情况下不适用上面这些判断?如果你的问题恰恰是「多份互相矛盾的资料要以哪份为准」,那需要的其实是数据治理和口径统一,RAG 只是把矛盾原样搬到了答案里。
一句话收尾:RAG 治的是「模型不知道你手里那份资料」这个毛病,判断要不要上,先问自己问题是缺资料还是缺能力,答案自然就清楚了。
常见问题
RAG 需要重新训练模型吗?
不需要。RAG 全程不动模型权重,只是在提问时先去资料里检索相关片段,再把片段拼进上下文一起发给模型。所以资料增删改都只发生在你的知识库里,模型那边照常调用即可。代价是每次请求会多带一段检索内容和一次向量查询。
有 RAG 就一定不会胡说了吗?
不能保证。检索没捞到正确片段、或者片段本身写得含糊,模型仍可能顺着编。可落地的做法是在提示里要求「只依据给定材料回答,找不到就说找不到」,并让它标出引用来源,再跑一批固定问题集看它的表现是否稳定。
和直接把资料贴进提示词有什么区别?
资料少的时候,两者差不多。区别在规模和成本:贴进提示词要求每次把全文发过去,长文档很快就顶到上下文上限,费用也随之上浮。RAG 是只挑相关的那几段发过去,同样的问题花更少的 token,还能覆盖远超上下文长度的资料量。