你手里已经有普通 RAG 跑起来了,效果时好时坏,看到 self-rag 这个词想知道值不值得换。这篇不讲概念史,只拆两件事:多出来的那些环节会让调用量变成什么样,以及什么情况下你根本不需要它。看完能自己判断要不要做、先做哪一步、钱大概花在哪个环节。
你手里已经有普通 RAG 跑起来了,效果时好时坏,看到 self-rag 这个词想知道值不值得换。这篇不讲概念史,只拆两件事:多出来的那些环节会让调用量变成什么样,以及什么情况下你根本不需要它。
先说结论方向:self-rag 不是换一个更好的检索库,而是在原来那条链路上多问模型几遍。所以它的花费不是按「文档多少」涨,而是按「一次问答里模型被调几次」涨。看完能自己判断要不要做、先做哪一步、钱大概花在哪个环节。
两条链路的差别到底在哪一步
普通 RAG 是一条固定流水线:切块、向量化、检索、把片段拼进提示词、生成。一次问答通常只有一次生成调用,检索是本地向量库干的活,不花模型的钱。链路是死的,跑多少文档都一样。
self-rag 在生成前后插了模型自评:要不要检索、检索回来的片段相不相关、回答有没有被资料支撑。这些判断本身又是一次或多次模型调用,而且往往要把检索片段整段喂进去让模型打分。差别不在检索库,而在多问模型几遍。
| 环节 | 普通 RAG | self-rag |
|---|---|---|
| 检索前判断 | 没有,固定检索 | 模型判断要不要检索 |
| 生成调用 | 一次 | 一次,可能要重试 |
| 片段相关度 | 不评 | 模型逐段或整体打分 |
| 回答支撑度 | 不评 | 模型自查是否被资料支撑 |
| 调用次数 | 基本固定 | 随环节数放大 |
- 判断口径一:如果你的问题大多在一轮检索内就能答对,多出来的自评只是在给已经对的答案做复核
- 判断口径二:如果错的多是「检索没召回」,该补的是切片和查询改写,不是加自评
- 判断口径三:如果错的多是「召回了但模型没用上」,自评和重排才有明确收益
- 判断口径四:没有评估集时,先别谈哪条链路更好,量不出来
钱花在哪:把调用次数先算出来
别看总价,先数次数。普通 RAG 一次问答大致一次生成,self-rag 可能是检索判定加生成加按片段打分,具体几次取决于你实现的粒度。次数定下来,再乘平均上下文长度,就是单次问答的 token 量。
容易忽略的是自评环节的输入量:它往往要把检索片段整段塞进去,输入 token 不一定比生成少。所以成本大头可能出现在你以为很便宜的那一层判断上。
- 数清调用次数拿一条真实问答走一遍日志,标出每次模型调用属于哪个环节,得到单次问答的调用次数
- 量平均上下文统计每次调用的输入输出 token,尤其看自评环节喂了多少片段进去
- 折算月度用量日均问答量乘以单次调用次数,得出月度调用量和 token 量
- 按当时单价填到 /official-api 和 /tools/model-cost-calculator 用当时的数字算,别用记忆里的价格
什么情况下不该上 self-rag
不是所有场景都值得加这层。资料库小、问题类型集中、答案基本靠单段资料就能支撑,这类场景普通 RAG 配好的切片和提示词就够了。加自评等于给已经答对的题再批改一遍,钱花了,体感没变。
- 对延迟敏感的场景不适用:多一轮判断就多一次往返,首字变慢是必然的
- 没有标注数据也没有评估集时不适用:自评准不准本身要靠评测才知道,先补评估再谈优化
- 文档更新极频繁、检索结果本来就常变的场景,先把切片和更新流程理顺更划算
- 问答量很小、调用成本本来就不高的场景,优化收益有限,先做监控即可
判据很简单:先用站内的检测工具把基线量出来。基线都没有的时候换架构,只是换个地方猜。可以到 /tools/quality-check 看这类检测的用法,把检索命中率和回答被资料支撑的比例记成可复现的数字。
真要做的落地顺序
确定要做,也别一次全上。self-rag 是好几个可拆卸的判断位,一次加一层,每层都要能单独对比。顺序错了,后面根本分不清收益来自哪。
- 保住基线普通 RAG 不动,把检索命中率、回答被资料支撑的比例记成可复现指标,参考 /tools/quality-monitor 的监控思路
- 只加一个判断位先加「检索结果与问题是否相关」,不相关就重写查询再检索一次,这是收益最直接的一层
- 再加回答自评且只对抽样或低分样本跑,控制调用量,别全量走
- 逐层对比每加一层和上一版在同一批测试问题上比,没好于上一版就回退,别叠着上
| 层级 | 加什么 | 验证方式 |
|---|---|---|
| 第一层 | 检索结果相关性判断 | 同一批问题命中率是否提升 |
| 第二层 | 查询改写重检索 | 召回不到的问题能否救回 |
| 第三层 | 回答支撑度自评 | 低分样本是否真的错得多 |
| 回退线 | 任一层无提升 | 回到上一版,别保留 |
控制成本的具体动作
self-rag 的成本不是不可控,关键是分环节配置模型和限额。判断环节用便宜的小模型,生成环节用好模型,两者分开配置,别让自评也跑在最贵的模型上。
- 自评环节限制输入长度,只喂相关度高的前几段,不要整库上下文塞进去
- 设调用次数上限和单次请求的 token 上限,避免某条链路反复自评停不下来
- 按环节分别看账单,哪个环节占比异常就先动哪个
- 上线后每周看一次调用量和延迟分布,去 /price-watch 核对模型单价有没有变动
这里可以借用做 agent 时常用的止损思路:给整条链路设一个总调用预算,超了就降级成普通 RAG 出答案,而不是继续自评。降级路径要先测通,别等真超了才发现跑不通。
下一步先花半天把单次问答的调用次数和 token 量记下来,再拿站内计算器按当时单价折算月度用量,比任何方案讨论都实在。→常见问题
self-rag 一定比普通 RAG 效果好么?
不一定。它在问题复杂、资料分散、需要跨多段拼答案时更容易有收益;如果资料库小、问题类型单一,多出来的判断环节可能只是增加延迟和调用量。判断办法是拿同一批测试问题跑两版,比命中率和被资料支撑的比例,没好于基线就别上。
多花的钱主要在哪个环节?
主要在输入 token 上。自评环节往往要把检索到的片段整段送进模型判断,输入量不一定比生成少,调用次数又翻了几倍,所以总花费是两头一起涨。想省就先只加一层相关性判断,并且用小模型跑判断、大模型只负责最终生成。
延迟会不会明显变差?
会。每多一个模型调用就多一次往返,串行实现时首字时间基本是叠加的。如果你做的是在线问答,建议只对低置信度样本触发二次核查,或者把自评放到异步侧做质量抽检,不要卡在用户等待的主链路上。