很多人搭完 RAG 发现答得不准,第一反应是换个更强的重排模型,结果换完还是不准,因为问题出在切片或者召回那一段。这篇不堆参数,只讲一件事:先判断你的链路缺不缺 rerank 这一层,缺的话按什么条件挑,上线后怎么验证它真起了作用。
搭完 RAG 发现答案不准,很多人第一反应是换个更强的重排模型。换完还是不准,因为问题压根不在重排这一层。rerank 能做的事很有限:它只在已经召回的那批候选里重新排个序。召回阶段没捞到的东西,它变不出来。
所以这篇不聊模型参数表,只讲三件事:你的链路缺不缺 rerank、缺的话按什么条件挑、上线后怎么确认它真起了作用。顺序别搞反,先诊断再花钱。
rerank 在链路里到底补哪一段
向量召回的任务是从海量片段里捞出一批候选,看重的是快和全,排序粗一点无所谓,反正后面还有一层。rerank 就是这层:拿用户问题跟这批候选逐条做一次更细的相关性打分,把真正能答的那几条顶上来,再喂给生成模型。
关键限制在这儿——它只能重排已经召回的东西。候选集里没有正确答案,重排模型再强也只是在错的里面挑相对不那么错的。这是最常见的误判,不少人换了模型没效果,就是卡在这。
- 候选条数不少,但排在前面的几条经常跑偏,正确答案沉在后面
- 答案碎片化,生成时把好几条不相关的片段拼在一起
- 用户换个说法就查不到,原词能命中、同义表述命中不了
- 候选集和最终喂给模型的条数差得很大,中间这一刀切得粗
先判断你该不该上,而不是先挑模型
拿一批真实问题跑一次完整链路,只看一件事:召回结果里有没有正确答案。这个动作比看任何模型榜单都有用。正确答案压根没进候选集,先回去调切片大小、改嵌入模型、补关键词召回,rerank 在这时候帮不上忙。
正确答案在候选里、但排在后几位,这才是 rerank 的活。候选条数和最终喂给模型的条数差得越多,收益越明显——比如召回二十条只喂三条,中间那十七条的排序质量就很要命。
| 现象 | 大概率卡在哪 | 先做什么 |
|---|---|---|
| 正确答案不在召回结果里 | 切片或召回 | 调切片粒度、换嵌入模型、加混合检索 |
| 正确答案在候选里但排后面 | 排序精度 | 这是 rerank 的适用场景,可以上 |
| 加了 rerank 正确率没动 | 候选集本身 | 回头查召回,别急着换更贵的模型 |
| 知识库很小、问题多是原词匹配 | 不需要这一层 | 加了只涨延迟,收益接近零 |
有几类情况我建议先别急着装:知识库规模很小,几十条文档翻来覆去就那么点内容;问题几乎都是原词精确匹配;线上延迟预算卡得很死,多一层打分就超时。这几种加了反而拖慢链路,收益不明显。
挑的时候看四件事,不看参数表
参数表上的数字大多是通用 benchmark 跑出来的,跟你手上的中文长文档、表格混排、代码片段未必对得上。实际用下来,下面四件事比参数重要得多。
- 语言和文档形态
- 中文长文档、表格混排、代码片段各自考验的能力不一样,拿你自己的样本测,别信通用榜单
- 延迟和吞吐
- 重排是逐条打分,候选放大一倍耗时基本翻倍,先在站内测速页量出当前基线
- 接口能不能接上
- 多数向量库和 RAG 框架留了 rerank 接口位,接不上要自己写一层,工作量得算进去
- 跟嵌入模型配不配套
- 同厂配套省事,跨厂组合也行但要自己验,概念差别可先去站内词典对齐
延迟这块单独说一句。重排的耗时跟候选条数基本是线性关系,你召回五十条跟召回二十条,延迟差得不是一点。先在 /tools/speed-test 量出你现在的端到端基线,再估算加上重排之后的位置,别等上线了才发现超时。
上线之后怎么确认它真有用
- 固定一批带标准答案的问题二三十条就够,覆盖不同问法。加 rerank 前后各跑一遍,对比的是最终答案的正确率,不是重排分数本身
- 记录耗时和重排条数端到端耗时拆开看,重排这一步占多少、每次请求实际重排多少条,成本涨在哪一格要能说清楚
- 正确率没动就先查候选集如果延迟涨了、正确率没动,先怀疑候选集本身有问题,回去看召回命中率,而不是换更贵的模型
- 小流量先跑别一次性全量切,先放一小部分流量观察几天,确认延迟和正确率都稳住再扩大
这套做法的前提是你有可对比的基线。没有基线,加完只能凭感觉说「好像准了点」,这种判断撑不住。基线数据可以从站内的测速页和价格追踪页拿,具体数字到 /tools/speed-test 和 /price-watch 核对当时的数值。
还有一种情况要提前说清楚:如果你的问题是多跳推理、需要跨文档组合答案,rerank 能帮的只是把相关片段顶上来,组合逻辑本身还得靠生成那一段。别指望它解决所有准确率问题。
先搞清楚是召回漏了还是排序偏了,再决定花不花这笔钱。诊断顺序错了,换什么模型都是白换。下一步把你现在的召回命中率测出来,再决定要不要上重排;延迟基线可以到站内测速页量,模型和中转站的价格变动到价格追踪页核对当时的数字。→
常见问题
rerank 和 embedding 是一回事吗?
不是。embedding 把文本变成向量,用来做粗筛召回;rerank 是拿问题跟候选逐条做精细相关性判断。前者决定能不能捞到,后者决定捞到之后排得对不对,两件事不能互相替代。
不加重排能不能靠调大召回条数解决?
短期可以缓解,但候选越多,噪声越多,全塞给生成模型还会挤占上下文。如果正确答案已经稳定排在前面几名,调大条数的收益很有限,不如省下这部分开销。
小团队有没有必要上 rerank?
看症状。知识库规模小、问题又多是原词匹配的话,先把切片和检索参数调顺更划算。只有当正确答案确实进了候选但排不上来,再考虑加这一层。