self-rag 和普通 rag 有什么多少钱,一次说清做法

接入与开发

讲清 self-rag 和普通 rag 在做法和花费上的差别,给出判断要不要上 self-rag 的标准与落地步骤。

你手里已经有普通 RAG 跑起来了,效果时好时坏,看到 self-rag 这个词想知道值不值得换。这篇不讲概念史,只拆两件事:多出来的那些环节会让调用量变成什么样,以及什么情况下你根本不需要它。看完能自己判断要不要做、先做哪一步、钱大概花在哪个环节。

你手里已经有普通 RAG 跑起来了,效果时好时坏,看到 self-rag 这个词想知道值不值得换。这篇不讲概念史,只拆两件事:多出来的那些环节会让调用量变成什么样,以及什么情况下你根本不需要它。

先说结论方向:self-rag 不是换一个更好的检索库,而是在原来那条链路上多问模型几遍。所以它的花费不是按「文档多少」涨,而是按「一次问答里模型被调几次」涨。看完能自己判断要不要做、先做哪一步、钱大概花在哪个环节。

两条链路的差别到底在哪一步

普通 RAG 是一条固定流水线:切块、向量化、检索、把片段拼进提示词、生成。一次问答通常只有一次生成调用,检索是本地向量库干的活,不花模型的钱。链路是死的,跑多少文档都一样。

self-rag 在生成前后插了模型自评:要不要检索、检索回来的片段相不相关、回答有没有被资料支撑。这些判断本身又是一次或多次模型调用,而且往往要把检索片段整段喂进去让模型打分。差别不在检索库,而在多问模型几遍。

环节普通 RAGself-rag
检索前判断没有,固定检索模型判断要不要检索
生成调用一次一次,可能要重试
片段相关度不评模型逐段或整体打分
回答支撑度不评模型自查是否被资料支撑
调用次数基本固定随环节数放大
  • 判断口径一:如果你的问题大多在一轮检索内就能答对,多出来的自评只是在给已经对的答案做复核
  • 判断口径二:如果错的多是「检索没召回」,该补的是切片和查询改写,不是加自评
  • 判断口径三:如果错的多是「召回了但模型没用上」,自评和重排才有明确收益
  • 判断口径四:没有评估集时,先别谈哪条链路更好,量不出来

钱花在哪:把调用次数先算出来

别看总价,先数次数。普通 RAG 一次问答大致一次生成,self-rag 可能是检索判定加生成加按片段打分,具体几次取决于你实现的粒度。次数定下来,再乘平均上下文长度,就是单次问答的 token 量。

容易忽略的是自评环节的输入量:它往往要把检索片段整段塞进去,输入 token 不一定比生成少。所以成本大头可能出现在你以为很便宜的那一层判断上。

  1. 数清调用次数拿一条真实问答走一遍日志,标出每次模型调用属于哪个环节,得到单次问答的调用次数
  2. 量平均上下文统计每次调用的输入输出 token,尤其看自评环节喂了多少片段进去
  3. 折算月度用量日均问答量乘以单次调用次数,得出月度调用量和 token 量
  4. 按当时单价填到 /official-api 和 /tools/model-cost-calculator 用当时的数字算,别用记忆里的价格

什么情况下不该上 self-rag

不是所有场景都值得加这层。资料库小、问题类型集中、答案基本靠单段资料就能支撑,这类场景普通 RAG 配好的切片和提示词就够了。加自评等于给已经答对的题再批改一遍,钱花了,体感没变。

  • 对延迟敏感的场景不适用:多一轮判断就多一次往返,首字变慢是必然的
  • 没有标注数据也没有评估集时不适用:自评准不准本身要靠评测才知道,先补评估再谈优化
  • 文档更新极频繁、检索结果本来就常变的场景,先把切片和更新流程理顺更划算
  • 问答量很小、调用成本本来就不高的场景,优化收益有限,先做监控即可

判据很简单:先用站内的检测工具把基线量出来。基线都没有的时候换架构,只是换个地方猜。可以到 /tools/quality-check 看这类检测的用法,把检索命中率和回答被资料支撑的比例记成可复现的数字。

真要做的落地顺序

确定要做,也别一次全上。self-rag 是好几个可拆卸的判断位,一次加一层,每层都要能单独对比。顺序错了,后面根本分不清收益来自哪。

  1. 保住基线普通 RAG 不动,把检索命中率、回答被资料支撑的比例记成可复现指标,参考 /tools/quality-monitor 的监控思路
  2. 只加一个判断位先加「检索结果与问题是否相关」,不相关就重写查询再检索一次,这是收益最直接的一层
  3. 再加回答自评且只对抽样或低分样本跑,控制调用量,别全量走
  4. 逐层对比每加一层和上一版在同一批测试问题上比,没好于上一版就回退,别叠着上
层级加什么验证方式
第一层检索结果相关性判断同一批问题命中率是否提升
第二层查询改写重检索召回不到的问题能否救回
第三层回答支撑度自评低分样本是否真的错得多
回退线任一层无提升回到上一版,别保留

控制成本的具体动作

self-rag 的成本不是不可控,关键是分环节配置模型和限额。判断环节用便宜的小模型,生成环节用好模型,两者分开配置,别让自评也跑在最贵的模型上。

  • 自评环节限制输入长度,只喂相关度高的前几段,不要整库上下文塞进去
  • 设调用次数上限和单次请求的 token 上限,避免某条链路反复自评停不下来
  • 按环节分别看账单,哪个环节占比异常就先动哪个
  • 上线后每周看一次调用量和延迟分布,去 /price-watch 核对模型单价有没有变动

这里可以借用做 agent 时常用的止损思路:给整条链路设一个总调用预算,超了就降级成普通 RAG 出答案,而不是继续自评。降级路径要先测通,别等真超了才发现跑不通。

下一步先花半天把单次问答的调用次数和 token 量记下来,再拿站内计算器按当时单价折算月度用量,比任何方案讨论都实在。

常见问题

self-rag 一定比普通 RAG 效果好么?

不一定。它在问题复杂、资料分散、需要跨多段拼答案时更容易有收益;如果资料库小、问题类型单一,多出来的判断环节可能只是增加延迟和调用量。判断办法是拿同一批测试问题跑两版,比命中率和被资料支撑的比例,没好于基线就别上。

多花的钱主要在哪个环节?

主要在输入 token 上。自评环节往往要把检索到的片段整段送进模型判断,输入量不一定比生成少,调用次数又翻了几倍,所以总花费是两头一起涨。想省就先只加一层相关性判断,并且用小模型跑判断、大模型只负责最终生成。

延迟会不会明显变差?

会。每多一个模型调用就多一次往返,串行实现时首字时间基本是叠加的。如果你做的是在线问答,建议只对低置信度样本触发二次核查,或者把自评放到异步侧做质量抽检,不要卡在用户等待的主链路上。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。