大模型 rag对比,先弄清你要补的是记忆还是依据

入门与上手

把 rag 和大模型放在一起对比时先分清比的是什么:是补知识、补记忆还是补依据;给出三步判断顺序和一份对照清单,避免选错方案白花钱。

很多人搜「大模型 rag对比」,心里想的其实是同一件事:模型答得不对,到底该换个更大的模型,还是给它接一个知识库。这两个动作解决的不是同一个问题,硬比参数和价格会得出错误结论。这篇不讲原理长文,只给一套能当天用上的判断顺序:先看你缺的是哪一层,再决定往哪投人力和预算,最后附上验证做没做对的检查点。

搜「大模型 rag对比」的人,多数心里揣着一件具体的事:模型答得不对,到底该换个更大的,还是给它接个知识库。这俩动作解决的不是同一个问题,硬拿参数和单价去比,结论一定跑偏。这篇不铺原理,只给一套当天能用的判断顺序。

先把话说直白点:大模型管的是「话怎么说、理怎么推」,检索管的是「这次回答能翻哪些材料」。它们不是二选一,是叠在一起的两层。你要对比的,其实是三种动作——只换模型、只加检索、两个都动。工作量差一个量级,选错了钱和人都白搭。

先分清这场对比比的是两件不同层级的东西

常见误判是拿一个模型的单价去跟一套检索系统的成本比,得出「检索太贵」的结论。这没法比。模型那边你买的是推理能力,按次数走;检索那边你买的是一套管道,要人搭、要人维护、要人盯召回质量。把两笔账摆同一个表里,得先知道自己在为哪一层付钱。

你遇到的现象更像是缺哪一层先动什么
问公司内部流程,它完全没提过依据层,材料没进到它眼前先人工把材料贴进对话试
材料就在提示里,它还是答歪模型理解或提示写法换模型、改提示,别急着搭检索
答得挺顺,但引用的出处对不上依据层,召回或切片有问题查切片粒度和召回
事实都对,就是话说得啰嗦没条理模型表达调提示或换模型更快
同一问题今天对明天错检索管道不稳或资料在变先固定问题集再复现

这张表不是让你对号入座就完事,是用它把「对比」这件事落到具体动作上。表里每一行对应的改动,成本差得很远,先看清落在哪一行,再谈值不值。

三步自查:按顺序走,别跳步

这三步的价值在于顺序。顺序反了,就是先买设备再找需求。我见过一个小团队,问题明明是文档里没写清楚,却先花两周搭了向量库,结果检索回来的还是那几段含糊的话,答得更自信了,错得更彻底。

  1. 第一步:攒十几条真实问题,先分类别用示例问题,用你同事真问过的。每条标一下错法:是完全没提过的事实,还是材料里有却说错了。前者偏检索,后者偏模型。这一步只是分类,不改任何东西。
  2. 第二步:人工把正确材料直接贴进对话挑错得最狠的那几条,把相关材料原文贴进去再问。答对了,说明模型够用,缺的是把材料送进去的管道;还错,问题在提示写法或模型本身。这一步能省掉后面一大半冤枉活。
  3. 第三步:确认模型能答对,再投检索只有第二步过了,搭检索才有意义。搭的时候先小范围跑,别一上来全量入库,切片策略和召回质量都要靠小样本试出来。

还有个细节:第二步里如果发现贴了材料还是答错,先别急着换模型,看看提示里有没有交代清楚「只能根据以下材料回答,材料没写就说不知道」。这句话往往比换模型管用,而且不花钱。

两条路的投入长什么样

换模型这条路轻,改个接入参数就能试,失败代价低。反过来,检索是一次小型工程:切片怎么切、向量怎么建、召回多少条、资料更新了怎么同步,每一环都要人盯。调用费只是明面上那一小笔,人力才是大头。具体单价到站内的价格页核对当时的数字,别拿记忆里的数做预算。

  • 换模型:成本在调用单价和迁移改动,试错快,适合先排除法
  • 加检索:成本在搭建和维护,文档越脏越贵
  • 资料本身没整理:先整理资料,比先搭系统划算得多
  • 两种都动:留出对照时间,否则出了问题说不清是哪层导致的
  • 持续更新:检索系统需要有人长期维护,不是装完就完

判断标准很朴素:如果你们连一份结构清晰、版本统一的资料都拿不出来,那检索这条路的投入会远超预期。脏数据进去,得到的只是更自信的错答案。

做完之后怎么验证没白干

验证的核心是固定问题集。每次改动都跑同一批问题,看变化落在哪。问题集要覆盖三类:材料里明确写了的、材料里压根没写的、材料里说法互相冲突的。第三类最能看出系统的成色。

重点盯「材料里没写」那类。合格的系统应该说不知道或提示不确定。如果它顺着编,说明提示里没设边界,或者召回到了不相干的内容还被当成依据。这一条不过,跑分再好看也是没做对。

顺手把延迟和失败情况记下来。多一步检索就多一次出错机会,稳定性也是成本的一部分。答不出真实问题的时候,回去看切片和召回,别条件反射地换模型——那往往是把问题挪了个地方。

先分清缺的是记忆还是依据,再谈花多少钱,顺序错了,换什么模型都白搭。
下一步想知道各家模型的接入方式和当前价格,去站内的资料库和价格追踪页对照着看,把预算和改动量算清楚再动手。

常见问题

已经有现成的大模型接口,还需要自己搭 rag 吗?

看你缺什么。如果问题主要是模型不懂你们内部资料,且这些资料更新不频繁,人工贴进对话就能解决大部分场景,那不必急着搭系统。只有当资料量大、查询频繁、需要多人共用时,自建检索才开始划算。

rag 能不能解决上下文不够用的问题?

能缓解一部分,但不是万能。它的思路是只把相关片段送进模型,而不是把全部资料塞进去,所以对「资料太长放不下」有效;但如果问题本身要求跨很多份材料统一推理,检索切碎了反而更难答对。

怎么快速判断我这套 rag 是模型不行还是检索不行?

把检索出来的片段打印出来人工读一遍,再把这些片段直接贴给模型问同一个问题。片段本身就不含正确答案,是检索的问题;片段里答案明明白白模型还答错,才轮到换模型或改提示。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。