什么是 RAG 中的 rerank 具体需要哪个好?先看你卡在召回还是精度上

接入与开发

讲清 rerank 在 RAG 链路里到底补哪一段,给出判断要不要上、上哪种、怎么验证有效的对照做法,避免把钱花在没瓶颈的地方。

很多人搭完 RAG 发现答得不准,第一反应是换个更强的重排模型,结果换完还是不准,因为问题出在切片或者召回那一段。这篇不堆参数,只讲一件事:先判断你的链路缺不缺 rerank 这一层,缺的话按什么条件挑,上线后怎么验证它真起了作用。

搭完 RAG 发现答案不准,很多人第一反应是换个更强的重排模型。换完还是不准,因为问题压根不在重排这一层。rerank 能做的事很有限:它只在已经召回的那批候选里重新排个序。召回阶段没捞到的东西,它变不出来。

所以这篇不聊模型参数表,只讲三件事:你的链路缺不缺 rerank、缺的话按什么条件挑、上线后怎么确认它真起了作用。顺序别搞反,先诊断再花钱。

rerank 在链路里到底补哪一段

向量召回的任务是从海量片段里捞出一批候选,看重的是快和全,排序粗一点无所谓,反正后面还有一层。rerank 就是这层:拿用户问题跟这批候选逐条做一次更细的相关性打分,把真正能答的那几条顶上来,再喂给生成模型。

关键限制在这儿——它只能重排已经召回的东西。候选集里没有正确答案,重排模型再强也只是在错的里面挑相对不那么错的。这是最常见的误判,不少人换了模型没效果,就是卡在这。

  • 候选条数不少,但排在前面的几条经常跑偏,正确答案沉在后面
  • 答案碎片化,生成时把好几条不相关的片段拼在一起
  • 用户换个说法就查不到,原词能命中、同义表述命中不了
  • 候选集和最终喂给模型的条数差得很大,中间这一刀切得粗

先判断你该不该上,而不是先挑模型

拿一批真实问题跑一次完整链路,只看一件事:召回结果里有没有正确答案。这个动作比看任何模型榜单都有用。正确答案压根没进候选集,先回去调切片大小、改嵌入模型、补关键词召回,rerank 在这时候帮不上忙。

正确答案在候选里、但排在后几位,这才是 rerank 的活。候选条数和最终喂给模型的条数差得越多,收益越明显——比如召回二十条只喂三条,中间那十七条的排序质量就很要命。

现象大概率卡在哪先做什么
正确答案不在召回结果里切片或召回调切片粒度、换嵌入模型、加混合检索
正确答案在候选里但排后面排序精度这是 rerank 的适用场景,可以上
加了 rerank 正确率没动候选集本身回头查召回,别急着换更贵的模型
知识库很小、问题多是原词匹配不需要这一层加了只涨延迟,收益接近零

有几类情况我建议先别急着装:知识库规模很小,几十条文档翻来覆去就那么点内容;问题几乎都是原词精确匹配;线上延迟预算卡得很死,多一层打分就超时。这几种加了反而拖慢链路,收益不明显。

挑的时候看四件事,不看参数表

参数表上的数字大多是通用 benchmark 跑出来的,跟你手上的中文长文档、表格混排、代码片段未必对得上。实际用下来,下面四件事比参数重要得多。

语言和文档形态
中文长文档、表格混排、代码片段各自考验的能力不一样,拿你自己的样本测,别信通用榜单
延迟和吞吐
重排是逐条打分,候选放大一倍耗时基本翻倍,先在站内测速页量出当前基线
接口能不能接上
多数向量库和 RAG 框架留了 rerank 接口位,接不上要自己写一层,工作量得算进去
跟嵌入模型配不配套
同厂配套省事,跨厂组合也行但要自己验,概念差别可先去站内词典对齐

延迟这块单独说一句。重排的耗时跟候选条数基本是线性关系,你召回五十条跟召回二十条,延迟差得不是一点。先在 /tools/speed-test 量出你现在的端到端基线,再估算加上重排之后的位置,别等上线了才发现超时。

上线之后怎么确认它真有用

  1. 固定一批带标准答案的问题二三十条就够,覆盖不同问法。加 rerank 前后各跑一遍,对比的是最终答案的正确率,不是重排分数本身
  2. 记录耗时和重排条数端到端耗时拆开看,重排这一步占多少、每次请求实际重排多少条,成本涨在哪一格要能说清楚
  3. 正确率没动就先查候选集如果延迟涨了、正确率没动,先怀疑候选集本身有问题,回去看召回命中率,而不是换更贵的模型
  4. 小流量先跑别一次性全量切,先放一小部分流量观察几天,确认延迟和正确率都稳住再扩大

这套做法的前提是你有可对比的基线。没有基线,加完只能凭感觉说「好像准了点」,这种判断撑不住。基线数据可以从站内的测速页和价格追踪页拿,具体数字到 /tools/speed-test 和 /price-watch 核对当时的数值。

还有一种情况要提前说清楚:如果你的问题是多跳推理、需要跨文档组合答案,rerank 能帮的只是把相关片段顶上来,组合逻辑本身还得靠生成那一段。别指望它解决所有准确率问题。

先搞清楚是召回漏了还是排序偏了,再决定花不花这笔钱。诊断顺序错了,换什么模型都是白换。
下一步把你现在的召回命中率测出来,再决定要不要上重排;延迟基线可以到站内测速页量,模型和中转站的价格变动到价格追踪页核对当时的数字。

常见问题

rerank 和 embedding 是一回事吗?

不是。embedding 把文本变成向量,用来做粗筛召回;rerank 是拿问题跟候选逐条做精细相关性判断。前者决定能不能捞到,后者决定捞到之后排得对不对,两件事不能互相替代。

不加重排能不能靠调大召回条数解决?

短期可以缓解,但候选越多,噪声越多,全塞给生成模型还会挤占上下文。如果正确答案已经稳定排在前面几名,调大条数的收益很有限,不如省下这部分开销。

小团队有没有必要上 rerank?

看症状。知识库规模小、问题又多是原词匹配的话,先把切片和检索参数调顺更划算。只有当正确答案确实进了候选但排不上来,再考虑加这一层。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。