搜出来的资料明明在库里,模型就是答不上来或者答偏,这时候最容易犯的错是先换模型、先加参数。RAG是一条链,坏在哪一段决定了你该查什么。这篇给一张症状对照表:从你看到的现象反推该走哪条排查链路,以及每段先量什么、什么情况下这套顺序不管用。
搜出来的资料明明在库里,模型就是答不上来,或者答得似是而非。这种时候最容易犯的错是先换模型、先调参数、先加检索条数。改了一圈,钱花了,问题还在。原因很简单:RAG不是一坨东西,是一条链。坏在哪一段,决定你该查什么。改错了段位,等于白折腾一轮。
这篇不聊原理,只给判断标准。从你看到的现象出发,反推该走哪条排查链路,每段先量什么、怎么量,一次只动一处。后半段会讲清楚这套顺序什么时候根本不适用——有些问题不是排查能解决的,别把时间耗在调参上。
先看现象,别急着改配置
排查的第一步不是打开配置面板,是给问题分类。RAG答不准,现象其实只有三类:压根没检索到正确内容;检索到了,但排序太靠后;检索对了,回答还是跑偏。这三类对应的第一动作完全不同。凭感觉改,最容易在错误的段位上反复试。
判断最快的一招:把检索到的原文片段直接打印出来看,别只盯着最终回答。很多人全程只看模型的输出,那里面混着检索、排序、拼装、生成四段的结果,你根本分不清是谁的锅。把中间产物摊开看,问题往往一眼就露出来。
- 召回为空:正确片段根本没出现在结果里,先查进料和索引
- 召回有但排名靠后:正确片段在结果里,只是没进前几条,先查排序和截断
- 检索正确但回答偏:资料给对了模型还是答错,只查拼装和提示词
- 现象混合:按进料、召回、排序、生成的固定顺序逐段排除,别跳着查
第一段:进料和切块,答不出来常常是文档没进去
很多人默认文档传进去就等于进库了。实际用下来,这一步翻车的概率不低。PDF里的表格、扫描件、多栏排版,解析出来经常是一团乱序的文本,甚至干脆是空白。文字都没解析对,后面检索再优化也是白搭。
排查动作很土但有效:随机抽几篇文档,把解析后的纯文本和切好的块原文贴出来,自己从头读一遍。读得通,说明进料没问题;读到一半断句、表格串行、标题丢失,那就是解析和切块在拖后腿。别嫌麻烦,这一步花十分钟,能省掉后面几小时的瞎调。
- 解析完整性
- 把原始文档和解析后的文本对照,看表格、列表、页眉页脚有没有混进正文
- 切块边界
- 看块的首尾是不是把一句完整的话劈开了,劈开就是切块长度或分隔符设错
- 元数据
- 来源、标题、章节这些字段有没有跟着块一起存,丢了后面没法过滤也没法溯源
- 索引一致性
- 换了embedding模型却忘了重建索引,查出来的东西和库里的对不上
- 抽文档从不同来源各抽两三篇,覆盖PDF、网页、表格类,别只挑最规整的那个
- 看纯文本把解析结果直接打印,逐段读,确认内容和原文一致,重点看表格和多栏排版
- 看切好的块随机取几个块读开头和结尾,判断有没有切断完整语义
- 验元数据挑一个块,确认来源和章节字段都在,后续过滤和引用都靠它
第二段:召回,看的是「该来的来没来」
召回段只回答一个问题:正确的那段资料,有没有被捞出来。用你备好的小样本跑一遍,逐条看正确片段在不在结果里,以及排第几。这一步别看回答,只看检索结果本身。
纯向量检索有个老毛病:对编号、人名、产品代号这类专有名词不敏感,语义相近但不精确的内容反而排前面。如果你的问题里全是这类硬词,先上关键词检索或者混合检索兜住,别在向量参数上死磕。召回为零的时候,先查库里到底有没有这类文档、过滤条件是不是把范围卡死了、入库和查询用的embedding模型是否一致。
- 正确片段完全没出现:查库内文档量、过滤条件、embedding模型一致性
- 正确片段出现但排得很后:属于排序问题,交给下一段处理
- 关键词类问题召回差:加关键词检索或混合检索,别只调向量相似度阈值
- 同一问题多次召回结果不稳定:看分块是不是太碎,碎片化会让排序抖动
第三段:重排与截断,问题常出在「取前几条」
召回条数够了,回答还是偏,多半是排序把噪声顶到了前面,或者截断长度把关键句切掉了。这一段最好验证:把召回条数临时加一两条,看回答有没有变化。变了,说明瓶颈在排序;没变,问题就不在这,往生成段找。
重排模型还有个容易忽略的坑:它的输入长度和你的分块长度不匹配。块切得太长,重排模型只读前面一截,后面关键信息根本没进打分,效果反而不如不加。碰上这种情况,要么缩短块,要么在重排前截断,别让模型看半截。
| 现象 | 先查什么 | 别急着动什么 |
|---|---|---|
| 正确片段在结果里但排很后 | 重排模型是否生效、召回条数是否太窄 | 切块长度和进料解析 |
| 加召回条数后回答变好 | 排序段,排序权重和重排输入长度 | 提示词和生成参数 |
| 回答偶尔对偶尔错 | 截断长度是否切到关键句 | 重建索引 |
| 检索结果看着对,回答仍错 | 直接跳到拼装与生成段 | 召回和排序参数 |
第四段:拼装与生成,检索对了答错是提示词的事
检索结果看着没问题,回答还是跑偏,这段基本就是提示词和拼装的锅。先检查拼进提示词的片段有没有带来源标识,模型得知道哪段是资料、哪段是指令,不然它容易把资料当背景闲聊,或者拿自己的记忆去补。
还有一个高频问题:提示词没明确要求「资料里没有就说没有」。模型天生爱补全,你不设边界,它就编。同一批检索结果,换一个提示词模板对比一下,能把生成段的问题和检索段彻底分开。这一步不用改任何检索配置,成本最低。
- 固定检索结果把同一批检索片段存下来,作为固定输入,排除检索波动干扰
- 换模板对比用两版提示词跑同一批输入,一版强调只用资料、没有就说没有,一版不加约束
- 看差异两版回答差异大,说明问题在拼装和提示词;差异小,回头再查检索段
- 补来源标识给每个片段加上来源和标题,方便模型区分资料与指令,也方便你溯源
怎么选链路:一张症状到动作的对照
把上面四段收成一张表,按现象直接对号入座。核心原则只有一条:一次只改一处,改完拿小样本对比,别一口气调五个参数然后猜是哪个起了作用。
| 你看到的现象 | 走哪条链路 | 第一动作 |
|---|---|---|
| 答非所问,检索结果里根本没有正确片段 | 进料与召回链路 | 抽查解析文本和切块,再查索引一致性 |
| 正确片段在结果里,但排名很靠后 | 排序与截断链路 | 临时加召回条数看回答是否变化 |
| 检索和排序都正常,回答仍偏 | 拼装与生成链路 | 换提示词模板对比,补来源标识 |
| 几种现象混在一起 | 固定顺序逐段排除 | 按进料、召回、排序、生成走一遍,每步留对比记录 |
症状混合是最常见的情况,这时候别想着一步到位。按固定顺序走,每段只判断「这段有没有问题」,有问题记下来先不动,等整条链走完再决定先修哪个。通常进料段的问题修完,后面几段的现象会跟着消失一大半。
这套顺序什么时候不管用
有三种情况,链路排查再细也没用,得先认出来,别硬查。第一种,问题本身超出知识库范围,资料里压根没有答案,这时候该做的是补资料,不是调检索。先确认库里真有能回答这个问题的内容,再谈优化。
第二种,需要跨文档多跳推理的场景。单轮检索天然捞不全,答案分散在好几篇文档里,靠调排序和提示词解决不了,得换查询改写或者多轮检索的架构。第三种,库里文档本身过期、互相矛盾,问题在数据治理,不在链路。这三种情况混进来,排查会变成无底洞。
- 先确认资料里真有答案,没有就先补数据
- 跨文档多跳问题,考虑查询改写或多轮检索,别在单轮里死磕
- 文档过期或冲突,先做数据清理和版本管理
- 排查两轮仍无进展,停下来重新确认问题属于哪一类,别继续调参
常见问题
RAG回答不准,第一步该先看什么?
先打印检索到的原文片段,而不是看回答。片段里没有正确内容,去查进料和召回;片段里有但排序靠后,查排序与截断;片段和排序都对,就只动提示词和拼装方式。这一步能把三条链路分开,避免一上来就换模型或重建索引。
换embedding模型能解决检索不准吗?
只有入库和查询用的不是同一个模型、或者索引是旧模型建的却直接换查询侧时,换模型才是有效动作。单纯效果不好就换,往往要先重建全量索引,代价不小。先做小样本对比再决定,别把重建索引当第一反应。
混合检索是不是一定要加?
看你库里的内容类型。编号、型号、人名、专有名词多的资料,纯向量容易漏,加关键词那一路收益明显;全是自然语言叙述的文档,先把切块和重排调好更划算。两路都加会带来融合权重这个新调参项,不是白拿的。
怎么判断是检索问题还是提示词问题?
同一批检索结果不动,只换提示词模板跑一遍。回答变好说明问题在生成段,回答不变说明检索进的东西本身不对。这个对照成本很低,比逐项猜要快。
小样本要多少条才够判断?
十几到二十条已知答案的问题就够看趋势,关键是要覆盖不同文档来源和不同问法。样本太少容易把偶然当成规律,太多则拖慢每一轮排查。固定住这批样本,每改一处都跑一遍对比。