提示词工程和RAG有什么怎么排查:先分清是话没说到还是资料没找对

接入与开发

给一套判断顺序:同一个问题答歪了,先看提示词里缺了什么约束,再看检索那一段有没有把对的资料捞上来,附对照表和排查步骤。

模型答得不对,很多人的第一反应是换模型或者加检索,结果两头都改了一遍,问题还在。提示词工程和RAG落在完全不同的两段链路上:一个决定模型拿到什么指令,一个决定模型拿到什么资料。这篇给一张对照表和一套排查顺序,帮你先定位问题出在哪一段,再决定改哪边。

模型答得不对,第一反应往往是换模型、加检索,结果两头都改了一遍,问题还在。原因很简单:提示词工程和 RAG 根本不在同一段链路上。一个管模型拿到的指令,一个管模型拿到的资料。你把这两件事混着调,等于同时拧两个旋钮,最后也不知道是哪个起了作用。

这篇给一张对照表和一套排查顺序。核心就一句话:先把检索原文打出来看一眼。原文里根本没有答案,你去改提示词,写到手酸也没用;原文里有答案但模型没用上,那是另一回事。下面按这个思路往下拆。

先把这两件事摆在链路的两个位置

提示词工程动的是送进模型前的那段文字:角色怎么定、任务说没说清、输出要多长、禁止出现什么。它管的是「模型怎么理解你的要求」。RAG 动的是更靠前的一段:文档怎么切、怎么入库、查询怎么召回、召回后怎么重排。它管的是「模型手里有没有正确答案」。这两段一前一后,出错的现象却常常长得一模一样,都是「答得不对」。

所以排查有个硬起点:别猜,把一次失败请求的检索原文贴出来。如果原文里压根没有正确答案,那问题在检索这一段,改提示词是白费功夫。如果原文里答案明明白白躺着,模型却答歪了,那就往生成这一段查。这一步不做,后面全是盲改。

四种典型现象,对应改哪一边

光说「链路分两段」还不够,落到具体现象上才能判断。下面这张表把常见的四种答歪方式摆在一起对照,看你的问题更接近哪一行。注意同一个现象可能两边都有份,表里给的是优先怀疑方向。

你看到的现象优先怀疑哪一段先动手查什么
答得笼统、格式不对、废话多提示词工程指令里有没有写清给谁看、多长、不能出现什么
答得像真的但事实错了,检索原文里其实有正确答案生成这一段资料塞进去了但模型没用上,看上下文有没有被截断或互相打架
答的内容跟问题不沾边,检索结果一看就是别的段落检索这一段切分是否把答案切碎了,查询词和文档用词是否对不上
同一份资料,换个问法就答对提示词工程指令对问题表述的依赖太强,属于写法问题不是知识库问题

这里有个容易误判的地方:第二种现象看着像知识库没覆盖,实际上原文里有答案。很多人这时候去重建知识库、重新切分,折腾一圈回来问题还在。先确认原文里有没有,再决定往哪边修。

照这个顺序走,别一上来就重建知识库

顺序很重要,因为一次只改一个变量,你才知道是哪一步起的作用。同时改切分参数和提示词,最后修好了也说不清为什么。下面这套步骤按前后链路排,前面不通过就别急着往后走。

  1. 先把失败请求的现场打出来一次完整请求要能看到:用户原问题、检索召回的原文片段、最终回答。没有日志就先补日志,没有这一步后面全靠猜。
  2. 看检索原文里有没有正确答案有答案就往生成方向查,没答案就往检索方向查。这一步是分岔口,别跳过。
  3. 检索方向逐个试先查切分是不是把答案切碎了,再看查询词和文档用词是否对不上(同义不同词是重灾区),最后看召回条数够不够。每改一处重跑同一批问题。
  4. 生成方向逐个试指令有没有说清格式和边界、上下文里有没有互相矛盾的段落、资料太长是不是被截断了。同样一次只改一个变量。
  5. 用同一批测试问题回归固定一组问题,每次改完重跑,记录哪几个从错变对、哪几个从对变错。别凭感觉说「好像好点了」。

跑完一轮你会发现,很多所谓「模型不行」的问题,其实是切分把一句话劈成了两半,或者指令里漏了输出格式那句话。这类问题改起来不贵,难的是先定位到。

哪些情况这套顺序不适用

这套判断顺序不是万能的,硬套会误导你。至少有三种情况要先绕开:问题本身没有唯一答案的开放创作类任务、知识库刚建还没清洗过的、以及接入层本身就在报错的。前两种你用「检索原文里有没有答案」去判断对错,本身就不成立;第三种根本不是这条链路的事。

  • 开放创作类任务,比如写文案、起标题,本来就没有标准答案,拿检索原文判断对错意义不大
  • 知识库是刚建的、内容没整理过,先把资料清洗和去重做完,再回来排查
  • 模型侧出现接口报错、超时、返回结构错乱,属于接入层问题,先去站内报错排查相关内容看,别混进这条链路

还有一种情况值得单独提:如果你的检索原文里有一堆相关段落,但互相时间或说法不一致,模型挑错了。这不完全是提示词或检索单方面的问题,而是资料本身有冲突。这种情况要么在入库时做去重和版本管理,要么在拼装上下文时按时间或可信度排个序。判断标准是看模型答错时引用的那段原文,和其他段落是不是互相打架。

说到底,排查的功夫不在改,在定位。先把「话没说到」和「资料没找对」分成两件事看,再按顺序一次动一个变量,剩下的就是耐心重跑。真要动手前,建议先去站内把各家模型和接入方式的价格与能力资料过一遍,知道自己在什么配置下做测试,数字到对应页面核对当时的实际情况。

下一步先去模型资料库确认你当前用的接入方式和上下文长度,再回来跑排查步骤,避免在配置本身不合适的情况下白忙。

常见问题

提示词工程和RAG是不是二选一?

不是。它们作用在两段:提示词决定模型怎么按要求作答,RAG决定模型手里有没有对的资料。小团队常见做法是先把手头提示词写到能稳定输出格式,再接检索,顺序反过来容易把检索的问题误判成提示词问题。

检索原文里有答案,模型还是答错,该改哪?

这属于生成这一段的问题。先看上下文里有没有互相打架的段落,再看指令有没有明确说「只依据给定资料回答」。资料被截断也是常见原因,长文档要塞进去之前先算一下上下文够不够。

怎么判断是切分问题还是召回问题?

把答案所在的原始文档段落和召回结果对比。如果召回结果里有一段被切成了半句话、前后文断了,那是切分。如果召回结果干脆是别的主题,那是查询和文档用词对不上,属于召回这一段。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。