你可能遇到过这种场面:想给公司文档做个问答,直接问模型,它要么答得像模像样但内容是编的,要么说不知道。同事提一句「上 RAG 吧」,你点头,其实没太懂它跟微调、跟长上下文有什么区别。这篇不堆公式,就讲清 RAG 是什么、一句话里「检索」和「生成」各干什么活,以及哪些业务场景真的值得上、哪些场景上了反而添麻烦。
你可能遇到过这种场面:想给公司文档做个问答,直接问模型,它要么答得像模像样但内容是编的,要么干脆说不知道。同事提一句「上 RAG 吧」,你点头,其实没太懂它跟微调、跟长上下文有什么区别。这篇不堆公式,就讲清 RAG 是什么、一句话里「检索」和「生成」各干什么活,以及哪些业务场景真的值得上、哪些场景上了反而添麻烦。
先说结论方向:RAG 不是让模型变聪明的魔法,而是把「先查资料、再动笔写」这套人类习惯搬到系统里去。理解它的关键不在模型,而在你手上的资料怎么组织、怎么被找到。看完整篇你会发现,大部分翻车都发生在检索那一环,而不是生成那一环。
一句话讲清:RAG 到底在干什么
- RAG(检索增强生成)
- 回答前先从你自己的资料库里捞出相关片段,再让模型带着这些片段作答,模型参数本身不动
- 检索
- 从文档、数据库、知识库里按相似度找出一批可能相关的片段,这一步决定答案有没有料
- 生成
- 把捞回来的片段和用户问题拼在一起交给模型,让它基于给定材料组织语言、给出回答和出处
和纯聊天最大的差别在于:答案的依据从「模型记忆」换成了「你给的材料」。正因为依据是外部的,引用出处、随文档更新这两件事才变得可能。和微调相比,微调是把知识压进权重,代价是更新慢、难溯源;RAG 是把知识放在外部,改一份文档就生效,但答案质量会被检索质量牵连。
一次请求背后跑了哪几步
- 离线准备把文档切块、转成向量存进向量库,同时保留原文和来源标记。切块粒度直接决定后面能不能捞到对的段落,切太碎丢上下文,切太大稀释重点。
- 在线检索用户问题先转向量做相似检索,按需要再做重排。只做向量不做关键词混合、检索回来不做阈值过滤,都会把噪声喂给模型。
- 拼提示词把命中的片段和问题一起交给模型,并明确要求「只依据给定材料回答,没有就说不知道」,顺带约定出处格式。
- 回头看检索结果出问题时先把检索命中的片段打印出来人工看一遍,确认「捞回来的东西对不对」,再去看生成那一步的提示词,别一上来就调模型参数。
这套链路里,模型只是最后一棒。真正决定体验的是前面两步:文档怎么切、检索怎么配。很多人调了半天提示词没效果,问题其实出在切块上——命中的段落本身就是错的,模型再强也救不回来。
| 环节 | 做好了什么效果 | 常见偷懒方式 |
|---|---|---|
| 切块 | 命中段落自带上下文 | 按固定字数硬切,句子被劈开 |
| 检索 | 相关片段能排进前列 | 只做向量,忽略关键词和过滤 |
| 重排 | 把真正有用的往前挪 | 省掉,直接取相似度前几条 |
| 生成 | 答案有出处、说不知道 | 不约束,模型自由发挥补内容 |
这些场景值得上,那些先别急
- 值得做:企业内部制度与产品手册问答、客服知识库、合同与报告类长文档检索
- 值得做:需要给出出处的合规或法务辅助、资料更新频繁且量大的业务
- 先别急:需要严密推理链的题目、几乎没有私有资料的通用闲聊
- 先别急:要求百分百准确又不能人工复核的对外答复,RAG 只能降低出错率,不能兜底
判断值不值得做,可以问三个问题:资料是不是私有且经常变;答案是不是必须能指到原文;用户能不能接受偶尔答不上来。三问里有两条是肯定,就值得动手试试。反过来,只要「必须零错又不能复核」这一条成立,那不管另外两条怎么答,都得先想清楚人工兜底流程,再谈技术选型。
上手顺序建议是:先用一小批真文档跑通「提问—检索—回答—看来源」的闭环,再考虑扩量、换嵌入模型或加混合检索。别一上来就搭全套架构,架构越复杂,出问题时越难定位是哪一环的锅。
下一步想看看各家模型和向量相关服务现在什么价位、哪些工具适合做检索链路,可以把站内资料库和工具目录过一遍,对照自己的场景再决定要不要动手。→常见问题
RAG 和把长文档直接丢给模型有什么区别?
直接丢文档是把原文塞进上下文,简单、不用建库,但受上下文窗口上限和成本约束,资料一多就得截断,也很难指出答案来自哪一段。RAG 是先把资料切好存起来,每次只取最相关的几段,更适合资料量大、更新频繁、需要标出处的场景;资料量很小且基本不变时,直接塞反而更省事。
做 RAG 一定要用向量数据库吗?
不一定。文档量小的时候,用关键词检索甚至内存里做相似度比对都能跑。向量库解决的是量大之后的检索速度、过滤和更新的问题;如果你的资料只有几十页,先别急着引入新组件,把切块和提示词弄对,效果提升往往比换个库更明显。
RAG 能彻底解决模型胡说八道吗?
不能,只能降低概率。检索没捞到正确段落时,模型照样会顺着错误材料编;提示词里没要求「无依据就说不知道」,它也可能硬答。真正管用的做法是要求答案带来源、让用户能点开原文核对,再配合人工抽检,而不是指望 RAG 一步到位。