大模型答不上你家内部文档、又爱一本正经编答案的时候,很多人会听到一个词叫 RAG。这篇不堆概念,按「它解决什么麻烦、一次问答中间走了哪几步、自己动手怎么从最小版本跑起来、跑不通先查哪儿」的顺序讲一遍,看完你能判断手上的需求该不该上 RAG。
大模型答不上你家内部文档、又爱一本正经编答案的时候,很多人会听到一个词叫 RAG。这篇不堆概念,按「它解决什么麻烦、一次问答中间走了哪几步、自己动手怎么从最小版本跑起来、跑不通先查哪儿」的顺序讲一遍,看完你能判断手上的需求该不该上 RAG。
先给一句人话定义:RAG 就是「先查资料,再让模型照着资料回答」。它不改模型本身,只在你提问的那一刻,把相关资料塞进这一轮的上下文里。理解这一点,后面所有流程和排查都顺了——你调的不是模型,是「喂给模型什么」这条链路。
RAG 到底在解决什么麻烦
第一个麻烦是知识边界。模型的知识停在训练数据里,你公司昨天写的产品文档它不可能知道,问它就是瞎猜。RAG 的思路是别指望它记住,答之前先去你的资料里把相关段落捞出来,塞进上下文让它照着说。它把「记住全部」换成了「临时查一下」,资料更新也不用重训模型。
第二个麻烦是幻觉。模型没有依据时倾向于编,而且编得很像真的。给了它原文片段,回答就有落脚点,你也可以顺理成章要求它带上出处,方便人工复核。对需要可追溯的场景来说,这一点往往比答得对不对更重要。
- 问题跟私有资料无关、靠模型通用能力就能答好的,上 RAG 只是多加一层延迟和成本,不划算
- 资料量极小、直接整篇贴进上下文就够的,未必值得搭一整套检索链路
- 资料本身结构混乱、没有可用文本(扫描件、纯图)的,先解决数据清洗,别急着上 RAG
- 对实时性要求极高的场景,得先想清楚索引多久更新一次,否则检索出来的还是旧内容
一次 RAG 问答,中间走了哪几步
RAG 分两段:离线准备和在线检索生成。离线那段是把资料处理成可被检索的形态,在线那段才是用户提问时实时跑的。很多人搭不好,是因为只盯着在线那段,忘了离线准备了什么,检索就只能捡到什么。
- 离线切分与入库把资料切成片段,逐段转成向量存进向量库。切片大小和重叠长度是两个要调的旋钮:切得太碎会丢上下文,切得太大会稀释相关性。
- 在线检索用户问题也转成向量,去库里找最相近的若干片段。这一步决定「找得准不准」,是整条链路最容易出问题的地方。
- 拼提示与生成把找到的片段连同问题一起交给模型,要求它只依据这些内容回答、并标注来源。这一步决定「说得顺不顺、有没有越界」。
| 环节 | 它在决定什么 | 出问题的典型信号 |
|---|---|---|
| 切分入库 | 片段粒度是否合理 | 答案明明在文档里,却怎么都召不回 |
| 向量检索 | 找得准不准 | 召回的片段跟问题关系不大,答非所问 |
| 拼提示 | 模型用不用这些材料 | 材料给对了,模型还是按自己那套编 |
| 生成 | 表达与是否越界 | 答案流畅但引用了材料里没有的内容 |
动手做一个最小版本:先跑通再调优
别一上来就搭完整系统。先准备 20 到 50 段自己的文档跑一遍,量太大你根本看不出是哪一环坏了。目标不是效果好,而是每一步都能看见中间结果:切出了什么、召回了什么、最终提示长什么样。
- 文档先选你熟悉的,方便你一眼判断召回对不对,陌生语料没法验收
- 按「切片、入库、检索、拼提示、出答案」五步分开写,每步都能单独打印中间结果
- 先在检索环节做人工验收:拿十来个真实问题去查,看捞回来的片段是不是真的相关
- 跑通之后再去动切片大小、召回数量这些参数,一次只改一个,改完重跑同一批问题做对比
# 伪代码结构示意,重点在分步可打印
1. chunks = split(docs) # 打印前几条,肉眼看看切得合不合理
2. index(chunks) # 入库,记录条数
3. hits = search(question) # 打印召回的片段原文
4. prompt = build(question, hits) # 打印最终提示
5. answer = llm(prompt) # 检查答案有没有超出 hits检索错了,后面提示词写得再漂亮也救不回来;所以永远先验收召回,再谈生成。
效果不好时,按这个顺序排查
效果不好别乱改,按固定顺序排查能省掉大量瞎试。核心逻辑是从前到后:越靠前的环节错了,越靠后的调整都是白费。很多人一有问题就去换模型,其实大半问题出在最前面两步。
- 先查检索把模型关掉,只看召回片段和问题的相关性。这一步不对,别急着改提示词。
- 再查切片答案明明在文档里却没被召回,通常是那段被切碎了或者跨片段了,调重叠长度试试。
- 再查提示检索对了但模型还是答偏,看提示有没有明确要求「只根据给定材料回答」「材料里没有就说不知道」。
- 最后才换模型换模型或换向量模型成本最高,前面三关都过了再动。
| 现象 | 优先怀疑 | 先做的一件事 |
|---|---|---|
| 召回内容与问题无关 | 检索环节 | 检查问题向量化与库是否用同一套模型 |
| 答案在文档里却召不回 | 切片 | 把可疑段落单独检索,看是否被切散 |
| 材料对了答案仍跑偏 | 提示 | 加上「仅依据材料」的硬性约束 |
| 答案流畅但没出处 | 生成 | 要求逐句标注来源片段 |
常见问题
RAG 和直接问大模型有什么区别?
最大的区别是答案的依据从哪来。直接问是靠模型训练时记住的东西,你的私有资料它没见过;RAG 是每次回答前先去你的资料库捞相关段落,再让模型照着这些段落答。代价是多了一次检索的延迟和向量化的成本,换来的是可控的来源和更容易追溯的答案。
RAG 一定要用向量数据库吗?
不一定。资料量小的时候,关键词匹配加一两次接口调用就能凑合;数据量大、问题表述跟原文用词差得远的时候,向量检索的优势才显出来。选型前可以先拿你真实的问题集试一下纯关键词的效果,够用就别急着加组件。
跑通 RAG 之后怎么判断它到底行不行?
别只看几个成功案例。准备一批有标准答案的问题,分别看「该召回的片段有没有被召回」和「最终回答对不对」两个指标,前者低就是检索或切片的问题,后者低多半是提示或模型的问题。数据量、单次成本这些数字去站内的模型成本计算器和价格追踪页核对当时的口径。