rag检索质量有问题排查链路怎么选,先分清是哪一段在拖后腿

接入与开发

把RAG答不准拆成进料、切块、召回、重排、拼装、生成六段,给出按症状选排查链路的判断标准和动手顺序,附不适用情形。

搜出来的资料明明在库里,模型就是答不上来或者答偏,这时候最容易犯的错是先换模型、先加参数。RAG是一条链,坏在哪一段决定了你该查什么。这篇给一张症状对照表:从你看到的现象反推该走哪条排查链路,以及每段先量什么、什么情况下这套顺序不管用。

搜出来的资料明明在库里,模型就是答不上来,或者答得似是而非。这种时候最容易犯的错是先换模型、先调参数、先加检索条数。改了一圈,钱花了,问题还在。原因很简单:RAG不是一坨东西,是一条链。坏在哪一段,决定你该查什么。改错了段位,等于白折腾一轮。

这篇不聊原理,只给判断标准。从你看到的现象出发,反推该走哪条排查链路,每段先量什么、怎么量,一次只动一处。后半段会讲清楚这套顺序什么时候根本不适用——有些问题不是排查能解决的,别把时间耗在调参上。

先看现象,别急着改配置

排查的第一步不是打开配置面板,是给问题分类。RAG答不准,现象其实只有三类:压根没检索到正确内容;检索到了,但排序太靠后;检索对了,回答还是跑偏。这三类对应的第一动作完全不同。凭感觉改,最容易在错误的段位上反复试。

判断最快的一招:把检索到的原文片段直接打印出来看,别只盯着最终回答。很多人全程只看模型的输出,那里面混着检索、排序、拼装、生成四段的结果,你根本分不清是谁的锅。把中间产物摊开看,问题往往一眼就露出来。

  • 召回为空:正确片段根本没出现在结果里,先查进料和索引
  • 召回有但排名靠后:正确片段在结果里,只是没进前几条,先查排序和截断
  • 检索正确但回答偏:资料给对了模型还是答错,只查拼装和提示词
  • 现象混合:按进料、召回、排序、生成的固定顺序逐段排除,别跳着查

第一段:进料和切块,答不出来常常是文档没进去

很多人默认文档传进去就等于进库了。实际用下来,这一步翻车的概率不低。PDF里的表格、扫描件、多栏排版,解析出来经常是一团乱序的文本,甚至干脆是空白。文字都没解析对,后面检索再优化也是白搭。

排查动作很土但有效:随机抽几篇文档,把解析后的纯文本和切好的块原文贴出来,自己从头读一遍。读得通,说明进料没问题;读到一半断句、表格串行、标题丢失,那就是解析和切块在拖后腿。别嫌麻烦,这一步花十分钟,能省掉后面几小时的瞎调。

解析完整性
把原始文档和解析后的文本对照,看表格、列表、页眉页脚有没有混进正文
切块边界
看块的首尾是不是把一句完整的话劈开了,劈开就是切块长度或分隔符设错
元数据
来源、标题、章节这些字段有没有跟着块一起存,丢了后面没法过滤也没法溯源
索引一致性
换了embedding模型却忘了重建索引,查出来的东西和库里的对不上
  1. 抽文档从不同来源各抽两三篇,覆盖PDF、网页、表格类,别只挑最规整的那个
  2. 看纯文本把解析结果直接打印,逐段读,确认内容和原文一致,重点看表格和多栏排版
  3. 看切好的块随机取几个块读开头和结尾,判断有没有切断完整语义
  4. 验元数据挑一个块,确认来源和章节字段都在,后续过滤和引用都靠它

第二段:召回,看的是「该来的来没来」

召回段只回答一个问题:正确的那段资料,有没有被捞出来。用你备好的小样本跑一遍,逐条看正确片段在不在结果里,以及排第几。这一步别看回答,只看检索结果本身。

纯向量检索有个老毛病:对编号、人名、产品代号这类专有名词不敏感,语义相近但不精确的内容反而排前面。如果你的问题里全是这类硬词,先上关键词检索或者混合检索兜住,别在向量参数上死磕。召回为零的时候,先查库里到底有没有这类文档、过滤条件是不是把范围卡死了、入库和查询用的embedding模型是否一致。

  • 正确片段完全没出现:查库内文档量、过滤条件、embedding模型一致性
  • 正确片段出现但排得很后:属于排序问题,交给下一段处理
  • 关键词类问题召回差:加关键词检索或混合检索,别只调向量相似度阈值
  • 同一问题多次召回结果不稳定:看分块是不是太碎,碎片化会让排序抖动

第三段:重排与截断,问题常出在「取前几条」

召回条数够了,回答还是偏,多半是排序把噪声顶到了前面,或者截断长度把关键句切掉了。这一段最好验证:把召回条数临时加一两条,看回答有没有变化。变了,说明瓶颈在排序;没变,问题就不在这,往生成段找。

重排模型还有个容易忽略的坑:它的输入长度和你的分块长度不匹配。块切得太长,重排模型只读前面一截,后面关键信息根本没进打分,效果反而不如不加。碰上这种情况,要么缩短块,要么在重排前截断,别让模型看半截。

现象先查什么别急着动什么
正确片段在结果里但排很后重排模型是否生效、召回条数是否太窄切块长度和进料解析
加召回条数后回答变好排序段,排序权重和重排输入长度提示词和生成参数
回答偶尔对偶尔错截断长度是否切到关键句重建索引
检索结果看着对,回答仍错直接跳到拼装与生成段召回和排序参数

第四段:拼装与生成,检索对了答错是提示词的事

检索结果看着没问题,回答还是跑偏,这段基本就是提示词和拼装的锅。先检查拼进提示词的片段有没有带来源标识,模型得知道哪段是资料、哪段是指令,不然它容易把资料当背景闲聊,或者拿自己的记忆去补。

还有一个高频问题:提示词没明确要求「资料里没有就说没有」。模型天生爱补全,你不设边界,它就编。同一批检索结果,换一个提示词模板对比一下,能把生成段的问题和检索段彻底分开。这一步不用改任何检索配置,成本最低。

  1. 固定检索结果把同一批检索片段存下来,作为固定输入,排除检索波动干扰
  2. 换模板对比用两版提示词跑同一批输入,一版强调只用资料、没有就说没有,一版不加约束
  3. 看差异两版回答差异大,说明问题在拼装和提示词;差异小,回头再查检索段
  4. 补来源标识给每个片段加上来源和标题,方便模型区分资料与指令,也方便你溯源

怎么选链路:一张症状到动作的对照

把上面四段收成一张表,按现象直接对号入座。核心原则只有一条:一次只改一处,改完拿小样本对比,别一口气调五个参数然后猜是哪个起了作用。

你看到的现象走哪条链路第一动作
答非所问,检索结果里根本没有正确片段进料与召回链路抽查解析文本和切块,再查索引一致性
正确片段在结果里,但排名很靠后排序与截断链路临时加召回条数看回答是否变化
检索和排序都正常,回答仍偏拼装与生成链路换提示词模板对比,补来源标识
几种现象混在一起固定顺序逐段排除按进料、召回、排序、生成走一遍,每步留对比记录

症状混合是最常见的情况,这时候别想着一步到位。按固定顺序走,每段只判断「这段有没有问题」,有问题记下来先不动,等整条链走完再决定先修哪个。通常进料段的问题修完,后面几段的现象会跟着消失一大半。

这套顺序什么时候不管用

有三种情况,链路排查再细也没用,得先认出来,别硬查。第一种,问题本身超出知识库范围,资料里压根没有答案,这时候该做的是补资料,不是调检索。先确认库里真有能回答这个问题的内容,再谈优化。

第二种,需要跨文档多跳推理的场景。单轮检索天然捞不全,答案分散在好几篇文档里,靠调排序和提示词解决不了,得换查询改写或者多轮检索的架构。第三种,库里文档本身过期、互相矛盾,问题在数据治理,不在链路。这三种情况混进来,排查会变成无底洞。

  • 先确认资料里真有答案,没有就先补数据
  • 跨文档多跳问题,考虑查询改写或多轮检索,别在单轮里死磕
  • 文档过期或冲突,先做数据清理和版本管理
  • 排查两轮仍无进展,停下来重新确认问题属于哪一类,别继续调参
下一步把你这批问题按上面的表对一遍号,先确定坏在哪一段再动手。各家模型和中转站在检索相关能力上的差异,到站内资料库和价格追踪页核对当时的数字,别凭印象选。

常见问题

RAG回答不准,第一步该先看什么?

先打印检索到的原文片段,而不是看回答。片段里没有正确内容,去查进料和召回;片段里有但排序靠后,查排序与截断;片段和排序都对,就只动提示词和拼装方式。这一步能把三条链路分开,避免一上来就换模型或重建索引。

换embedding模型能解决检索不准吗?

只有入库和查询用的不是同一个模型、或者索引是旧模型建的却直接换查询侧时,换模型才是有效动作。单纯效果不好就换,往往要先重建全量索引,代价不小。先做小样本对比再决定,别把重建索引当第一反应。

混合检索是不是一定要加?

看你库里的内容类型。编号、型号、人名、专有名词多的资料,纯向量容易漏,加关键词那一路收益明显;全是自然语言叙述的文档,先把切块和重排调好更划算。两路都加会带来融合权重这个新调参项,不是白拿的。

怎么判断是检索问题还是提示词问题?

同一批检索结果不动,只换提示词模板跑一遍。回答变好说明问题在生成段,回答不变说明检索进的东西本身不对。这个对照成本很低,比逐项猜要快。

小样本要多少条才够判断?

十几到二十条已知答案的问题就够看趋势,关键是要覆盖不同文档来源和不同问法。样本太少容易把偶然当成规律,太多则拖慢每一轮排查。固定住这批样本,每改一处都跑一遍对比。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。