搜「rag检索质量有问题排查链路收费标准」的人,多半是线上问答已经不准了,又不知道是该换模型还是该改检索。这篇不给结论清单,给一条能照着走的排查顺序:先量哪一段坏了,再看这段的账单长什么样,最后才是掏钱。900到1500字,读完能自己排出一次排查。
线上问答开始答得不准,第一反应往往是「换个更强的模型」。这个直觉经常是错的,而且贵。RAG这条链路里,检索和生成是两段完全不同的活儿,坏在哪一段,决定你该改什么、钱该花在哪。搜这个问题的人多半已经卡在这儿了:不知道该动检索还是动模型,也不知道各自的账单长什么样,怕来回试、反复付费。
这篇给一条能照着走的顺序。先把两段拆开量一遍,确认断点在哪,再对着那一段的收费口径算账。顺序反了,你会在正确的方向上给错误的东西付钱。
先别急着调模型,把链路切成两段量一遍
准备一组你已知正确答案的问题,十来个就够,覆盖几个典型问法。脚本里只跑检索,把召回的原文段落原样打印出来,不要带模型的润色。人眼扫一遍:该出现的段落出现了没有。这一步不需要任何额外工具,比翻日志猜快得多。实际用下来,多数人第一天就能定位到是哪一半出了问题。
- 检索结果里有正确段落,生成答案仍不对:问题在拼装提示词和生成这一段,检索先别动
- 检索结果里压根没有正确段落:后面换多贵的模型都白搭,先修检索
- 检索有时命中有时不中:属于边界情况,按下面的顺序细查进料和切片
检索这半段出问题,按这个顺序翻
先看进料。PDF、扫描件、带合并单元格的表格,在清洗环节最容易出问题。段落被拦腰截断是最常见的召回丢失原因——关键信息被切到两个块里,两个块单看都不完整,相似度都上不去。把出问题的原始文档打开,对着召回结果看它被切成了什么样,很快能看出来。
再看切片大小和重叠。切得太碎缺上下文,切得太大相似度被稀释,两种毛病的表现还一模一样:看着资料在库里,就是召不回来。排查时先固定其他参数,只调这两项,改一轮跑一遍那组已知答案的问题,看命中率往哪边走。
嵌入模型和向量库参数放到最后动。换嵌入模型意味着整个索引要重建,重建时间和调用成本都会集中出现一次,这个决定不该在没排除前面两项之前做。
生成这半段,多半是喂进去的东西不对
检查拼进提示词的上下文条数和字符上限。检索明明召回了正确段落,但它排在第几条、有没有在截断时被丢掉,这些都要看实际拼装后的字符串,不是看检索列表。超了被截断,模型看到的就是残缺资料,它答不准很正常。
让模型在资料不足时明确说不知道。这不只是为了体验,排查阶段它是个探针:模型老实说不知道,说明链路在某处断了;模型硬编一个看起来合理的答案,你反而容易放过真正的断点。温度在排查期间先压到低档,排除随机性干扰,等定位完了再按业务需要调回去。
排查链路和收费口径的对应关系
两段的账单长得不一样,混在一起看就会误判。检索侧的钱主要落在嵌入调用和向量库存储上,按文本量算,重建索引时这笔会一次性集中出现。生成侧按输入输出token算,检索塞进去的上下文越长,单次提问越贵,这条和排查结果直接挂钩。具体单价别用旧截图,去站内页面核对当时的数字。
| 排查动作 | 影响的是哪一段 | 账单表现 |
|---|---|---|
| 重建嵌入索引 | 检索 | 一次性集中出,按文本量算 |
| 调大检索条数 | 生成 | 单次提问变贵,按输入token算 |
| 调大切片重叠 | 检索+生成 | 索引量和上下文同时变多 |
| 改提示词与温度 | 生成 | 单价不变,调用量可能变 |
这张表的意思是:你在排查里做的每个动作,其实都对应着一笔花销的形状。先想清楚这一轮改的是哪一段,再看这笔钱该不该花,比事后对着总账发愁有用。
什么时候该停手换方案
同一批问题连续两轮排查都没提升,基本可以停了。这不是参数问题,是资料本身缺内容,或者问题超出了知识库覆盖范围。这时候继续拧参数,钱花得动,效果不动。
- 数据源更新频繁、结构混乱:先把文档清洗和入库流程理顺,比继续调检索参数有用
- 知识库里确实没有相关内容:这是补资料的问题,不是调参的问题
- 预算有限:优先把钱花在进料清洗和切片上,这一段的投入回报比换模型明显
- 问题集中在少数几个高频问法:单独给它们做人工整理的问答对,比全链路调优划算
反过来,如果排查结果显示检索命中率已经不错、只是答案组织得不好,那确实该在生成这一段花心思。判断标准就一条:断点在哪,钱花在哪。
下一步把你这轮排查要改的动作对上账单形状,再去价格追踪页核对当时的数字,别凭记忆估算。→常见问题
检索召回了正确段落,回答还是错的,该先改哪?
先看拼装那一步。把实际发给模型的完整提示词打出来通读一遍,很多时候是上下文条数设得太少,或者中间被字符上限截断,正确那段根本没进去。确认喂进去之后再调提示词和温度。
完整重建一次索引很贵,有没有省的办法?
换嵌入模型必须全量重建,这一步省不掉。切片的调整可以先在一份小样本上试,确认召回明显变好再全量跑,别每改一次参数就全库重建一遍。
排查链路本身要花多少调用费?
取决于你准备多少条测试问题、跑几轮。用几十条已知答案的问题做小样本,成本很低;具体单价去站内的模型价格页看当时数字,再乘你的调用量估算。