搜「大模型 rag 对比」的人,多半是手上有个问答需求,发现模型自己答不准,听说 RAG 能救,然后看到一堆方案不知道从哪下手。问题在于大部分对比文章把 RAG 当成一个可以横向打分的产品,其实它是套组合拳:切片的粒度、检索的路数、塞进上下文的量,任何一处不同都会让结论翻转。这篇给的是判断顺序——先定你的失败类型,再决定比哪几项。
搜「大模型 rag对比」的人,多半是手上有个问答需求,发现模型自己答不准,听说 RAG 能救,然后看到一堆方案不知道从哪下手。问题在于大部分对比文章把 RAG 当成一个能横向打分的产品,其实它是套组合拳:切片的粒度、检索的路数、塞进上下文的量,任何一处不同都会让结论翻转。
这篇不给排名,给判断顺序:先定你的失败类型,再决定比哪几项,最后用一个能判死的最小验证把候选方案筛一遍。框架名听起来差别很大,落到你手上那几十条真实问题上,往往差不了多少。
先分清你是「记不住」还是「答不准」
模型对私域内容一无所知,问它内部制度、产品参数、历史工单,它只能编——这是知识缺口,RAG 对症。反过来,模型明明知道这件事,答得含糊、格式飘、爱加戏,那多半是提示和输出约束没写清,硬上 RAG 收益有限,甚至因为塞进一堆无关段落答得更差。
动作很简单:拿十条真实问题跑一遍原模型,逐条记录错在哪。是压根不知道这件事,还是知道但没说清、没按格式说。这个记录比看十篇对比贴有用,因为它直接告诉你该补资料还是补提示。
- 不知道这件事、答出了不存在的条款:知识缺口,RAG 值得上
- 知道大概但数字和细节含糊:先补资料,再看要不要检索
- 知道但格式乱、答非所问:先改提示和输出约束,别急着搭检索
- 多步推理题答错、把两个规则串错了:RAG 补的是资料不是逻辑,换方案前先认这点
- 同一条问题两次答案不一样:稳定性问题,检索本身解决不了
对比时就比这三处,别被框架名带跑
各家方案的文档都在讲自己支持多少种向量库、多少种切分器,这些是能力清单,不是对比维度。真正影响你结果的就三处:切片与检索、拼装策略、成本口径。前两处决定模型看到什么,第三处决定你养不养得起。
| 对比项 | 具体看什么 | 常见误判 |
|---|---|---|
| 切片与检索 | 按段落切还是按标题切,除向量外要不要加关键词召回 | 只看能不能接向量库,不看切完一段是否还完整 |
| 拼装策略 | 召回几条、怎么排序、超长文档从哪截断 | 召回条数拉满,以为给得多就答得准 |
| 成本口径 | 一次问答实际消耗的输入量,按真实问题条数估 | 拿单条价格乘问题数,忽略拼进去的上下文 |
成本这块单独说一句:一次问答实际消耗的输入 token 往往远大于问题本身,因为召回段落全都要塞进去。去 /tools/model-cost-calculator 按你真实的召回条数和段落长度估,别拿单价拍脑袋。这个数会直接决定你能不能把召回条数开大。
搭个能判死的最小验证,再谈方案
方案对比最容易犯的错是一次改好几个变量,最后效果好也不知道是谁的功劳。最小验证的原则是:尺子固定,配置一次只动一处。
- 准备尺子二十条有标准答案的问题,覆盖能答、不能答、边界模糊三类。不能答的那类尤其重要,它测的是模型会不会硬编。
- 跑基线同一批问题先跑不带检索的原模型,把答案存下来。这是后面所有对比的参照,没有它你没法判断检索到底带来了什么。
- 单变量改配置只改一处,比如切片长度或召回条数,重跑同一批问题。两次结果放一起看,差异才归因得清。
- 归档错误答错的题逐条标:是没检索到原文,还是检索到了但模型没用上。前者调切片和召回,后者调拼装顺序和提示,改法完全相反。
跑完这四步,多数情况下你会发现候选方案之间的差距没有宣传得那么大,真正的差别在你的切片和拼装细节上。这时候再去看各家框架的文档,目的就明确了:找能让你调这两处的那个。
什么情况下这套对比不适用
有三种情况,先别做 RAG 对比,做了也是白费功夫。一是资料总量很小,靠提示词就能整段塞进上下文,这时搭检索是给自己加维护成本,还多一个会出错的环节。二是内容每天大批量变动、又没有稳定的更新链路,检索库会长期处于过期状态,先把同步做出来再谈检索质量。
- 资料少到能整段塞进上下文:用提示词,别搭检索
- 内容高频变动但更新链路没建好:先解决同步,再谈召回
- 要求到不能出错的场景:RAG 只降低幻觉概率,仍要人工兜底和抽检
- 问题主要是规则理解和多步推理:换检索方案解决不了,得改提示或拆任务
还有一种情况值得提醒:团队里没人能长期维护切片规则和召回参数。RAG 不是装完就完的东西,资料结构一变、问题类型一变,切片就得跟着调。没有这个人力,选再简单的方案也会慢慢烂掉。
下一步先把你手上那十条真实问题跑一遍原模型,记下错在哪;然后去价格与成本页按真实召回条数估一次问答的开销,两个数都有了,再回来看方案对比才有意义。→常见问题
大模型 rag 对比,到底该比模型还是比检索方案?
先比检索。同一批问题上,切片和召回策略换一换,效果差异通常比换模型更明显。模型可以放到最后一步再调,前提是你的检索已经能把正确段落稳定找出来。
不写代码能做 RAG 吗?
能用现成平台搭,但验证这一步躲不掉。至少要能自己准备问题和标准答案,逐条看召回的内容对不对。平台省的是工程活,判断标准还是得自己定。
RAG 能解决上下文窗口不够的问题吗?
能缓解,不等于解决。它做的是把相关内容筛出来再塞进去,筛错了一样白搭。窗口小的模型配 RAG 更依赖召回精准度,具体窗口规格到 /models 查当时的数字。