很多人搜「大模型 rag对比」,心里想的其实是同一件事:模型答得不对,到底该换个更大的模型,还是给它接一个知识库。这两个动作解决的不是同一个问题,硬比参数和价格会得出错误结论。这篇不讲原理长文,只给一套能当天用上的判断顺序:先看你缺的是哪一层,再决定往哪投人力和预算,最后附上验证做没做对的检查点。
搜「大模型 rag对比」的人,多数心里揣着一件具体的事:模型答得不对,到底该换个更大的,还是给它接个知识库。这俩动作解决的不是同一个问题,硬拿参数和单价去比,结论一定跑偏。这篇不铺原理,只给一套当天能用的判断顺序。
先把话说直白点:大模型管的是「话怎么说、理怎么推」,检索管的是「这次回答能翻哪些材料」。它们不是二选一,是叠在一起的两层。你要对比的,其实是三种动作——只换模型、只加检索、两个都动。工作量差一个量级,选错了钱和人都白搭。
先分清这场对比比的是两件不同层级的东西
常见误判是拿一个模型的单价去跟一套检索系统的成本比,得出「检索太贵」的结论。这没法比。模型那边你买的是推理能力,按次数走;检索那边你买的是一套管道,要人搭、要人维护、要人盯召回质量。把两笔账摆同一个表里,得先知道自己在为哪一层付钱。
| 你遇到的现象 | 更像是缺哪一层 | 先动什么 |
|---|---|---|
| 问公司内部流程,它完全没提过 | 依据层,材料没进到它眼前 | 先人工把材料贴进对话试 |
| 材料就在提示里,它还是答歪 | 模型理解或提示写法 | 换模型、改提示,别急着搭检索 |
| 答得挺顺,但引用的出处对不上 | 依据层,召回或切片有问题 | 查切片粒度和召回 |
| 事实都对,就是话说得啰嗦没条理 | 模型表达 | 调提示或换模型更快 |
| 同一问题今天对明天错 | 检索管道不稳或资料在变 | 先固定问题集再复现 |
这张表不是让你对号入座就完事,是用它把「对比」这件事落到具体动作上。表里每一行对应的改动,成本差得很远,先看清落在哪一行,再谈值不值。
三步自查:按顺序走,别跳步
这三步的价值在于顺序。顺序反了,就是先买设备再找需求。我见过一个小团队,问题明明是文档里没写清楚,却先花两周搭了向量库,结果检索回来的还是那几段含糊的话,答得更自信了,错得更彻底。
- 第一步:攒十几条真实问题,先分类别用示例问题,用你同事真问过的。每条标一下错法:是完全没提过的事实,还是材料里有却说错了。前者偏检索,后者偏模型。这一步只是分类,不改任何东西。
- 第二步:人工把正确材料直接贴进对话挑错得最狠的那几条,把相关材料原文贴进去再问。答对了,说明模型够用,缺的是把材料送进去的管道;还错,问题在提示写法或模型本身。这一步能省掉后面一大半冤枉活。
- 第三步:确认模型能答对,再投检索只有第二步过了,搭检索才有意义。搭的时候先小范围跑,别一上来全量入库,切片策略和召回质量都要靠小样本试出来。
还有个细节:第二步里如果发现贴了材料还是答错,先别急着换模型,看看提示里有没有交代清楚「只能根据以下材料回答,材料没写就说不知道」。这句话往往比换模型管用,而且不花钱。
两条路的投入长什么样
换模型这条路轻,改个接入参数就能试,失败代价低。反过来,检索是一次小型工程:切片怎么切、向量怎么建、召回多少条、资料更新了怎么同步,每一环都要人盯。调用费只是明面上那一小笔,人力才是大头。具体单价到站内的价格页核对当时的数字,别拿记忆里的数做预算。
- 换模型:成本在调用单价和迁移改动,试错快,适合先排除法
- 加检索:成本在搭建和维护,文档越脏越贵
- 资料本身没整理:先整理资料,比先搭系统划算得多
- 两种都动:留出对照时间,否则出了问题说不清是哪层导致的
- 持续更新:检索系统需要有人长期维护,不是装完就完
判断标准很朴素:如果你们连一份结构清晰、版本统一的资料都拿不出来,那检索这条路的投入会远超预期。脏数据进去,得到的只是更自信的错答案。
做完之后怎么验证没白干
验证的核心是固定问题集。每次改动都跑同一批问题,看变化落在哪。问题集要覆盖三类:材料里明确写了的、材料里压根没写的、材料里说法互相冲突的。第三类最能看出系统的成色。
重点盯「材料里没写」那类。合格的系统应该说不知道或提示不确定。如果它顺着编,说明提示里没设边界,或者召回到了不相干的内容还被当成依据。这一条不过,跑分再好看也是没做对。
顺手把延迟和失败情况记下来。多一步检索就多一次出错机会,稳定性也是成本的一部分。答不出真实问题的时候,回去看切片和召回,别条件反射地换模型——那往往是把问题挪了个地方。
先分清缺的是记忆还是依据,再谈花多少钱,顺序错了,换什么模型都白搭。下一步想知道各家模型的接入方式和当前价格,去站内的资料库和价格追踪页对照着看,把预算和改动量算清楚再动手。→
常见问题
已经有现成的大模型接口,还需要自己搭 rag 吗?
看你缺什么。如果问题主要是模型不懂你们内部资料,且这些资料更新不频繁,人工贴进对话就能解决大部分场景,那不必急着搭系统。只有当资料量大、查询频繁、需要多人共用时,自建检索才开始划算。
rag 能不能解决上下文不够用的问题?
能缓解一部分,但不是万能。它的思路是只把相关片段送进模型,而不是把全部资料塞进去,所以对「资料太长放不下」有效;但如果问题本身要求跨很多份材料统一推理,检索切碎了反而更难答对。
怎么快速判断我这套 rag 是模型不行还是检索不行?
把检索出来的片段打印出来人工读一遍,再把这些片段直接贴给模型问同一个问题。片段本身就不含正确答案,是检索的问题;片段里答案明明白白模型还答错,才轮到换模型或改提示。