搜到「rag 检索增强生成 技术」,打开一堆文档,看到的都是向量、切片、召回、重排这些词,可代码跑起来还是不知道哪一步出了错。这篇不铺概念,只把整条链路摊开:资料怎么进去、问题怎么找到对应片段、片段怎么拼进提示词、模型最后怎么答。看完你能对着一份 RAG 代码说出每一行归哪一段,也知道最先该调哪一段。
搜「rag 检索增强生成 技术」,打开的文档几乎都会提到向量、切片、召回、重排。词都认识,代码跑起来还是不知道哪一步出了错。这篇不铺概念,只把整条链路摊开:资料怎么进去,问题怎么找到对应片段,片段怎么拼进提示词,模型最后怎么答。看完你至少能对着一份 RAG 代码说出每行归哪一段。
另外先说一句实话:RAG 的坑大多不在模型,在你喂进去的资料和切片方式上。调模型参数是最后一步,先别急着动它。
先把它拆成两段:离线一段,在线一段
离线段只在资料变动时跑:读文档、切片、向量化、写进向量库。在线段每次提问都跑:问题向量化、检索、拼提示词、调模型生成。两段的输入输出完全不一样,混在一起看代码就容易晕。
很多人一上手就盯着生成那一段调参数,改提示词、换模型。实际用下来,问题更多出在离线那段没跑干净。资料没进去,或者切片把关键句劈成两半,在线段怎么调都白搭。
- 判断卡在哪段
- 拿一个问题直接去向量库里手动搜,搜不到就是离线段的问题,搜得到再往下看生成
- 离线段触发时机
- 资料新增或修改时重跑,平时不用动,它决定了检索的上限
- 在线段耗时大头
- 通常是向量化和模型生成,检索本身反而很快
切片和向量化:这一步决定了检索的天花板
切片不是越细越好。切得太碎,一句话的上下文被拆散,模型拿到半截话没法答;切得太大,无关内容一起塞进提示词,把重点稀释掉。按段落或按标题切通常比按固定字数切稳,具体长度看你的资料密度。
切片时留一点重叠,让跨段落的句子在两个块里都出现。代价是存储和检索结果会略微重复,但换来的是漏检变少,这笔账划得来。
检索与重排:先捞得回来,再排得准
检索阶段追求的是召回,宁可多捞几条也别漏;重排阶段才做精度,用一个更贵的模型给候选打分,把最相关的排到前面。这两步目的相反,别指望一个步骤同时做到。
纯向量检索对关键词型问题不敏感,比如编号、专有名词、型号这种。这类场景可以加一路关键词检索,把两路结果合并再去重。是否值得加,看你的资料里这类词多不多。
返回几条候选没有通用答案。先看资料密度:一块内容本来就长,候选条数就得多给;再用站内的检索质量排查思路逐段验证,别凭感觉定。
拼提示词:检索到的东西怎么交给模型
把片段原样丢进去是最常见的做法,但更稳的是给每段编号,要求回答里标注来源编号,方便事后核对是哪一段支撑了这句答案。出了错能定位到块,不用整个重来。
提示词里必须写清「只根据给定资料回答,资料里没有就说没有」。不写这句,模型遇到资料缺口时会自己补内容,看起来答得流畅,其实是编的。
片段总长度要受控。塞太多,重点被稀释,模型反而抓不住。可以先用站内的上下文预算思路估一遍每块占多少,再决定放几块进去。
| 环节 | 输入 | 输出 | 最常想错的地方 |
|---|---|---|---|
| 切片 | 原始文档 | 带元数据的文本块 | 切太碎,拆散了上下文 |
| 向量化 | 文本块 | 向量 + 原文引用 | 换了嵌入模型没重跑整库 |
| 检索 | 问题向量 | 候选片段列表 | 只走向量一路,漏掉关键词型问题 |
| 重排 | 候选片段 | 排序后的片段 | 拿重排当召回用,捞得太少 |
| 拼提示词 | 片段 + 问题 | 最终提示词 | 没要求标注来源,错了查不到 |
第一次跑不通,按这个顺序查
- 确认离线段真的写进去了查向量库条数,随机抽一条看内容对不对,再看它的向量维度是否和查询端一致。
- 确认检索段用同一个问题手动检索,打印返回的片段和相似度分数,看片段和问题到底相不相关。
- 确认生成段把检索结果直接粘给模型,跳过检索步骤,看它是不是照着资料答的、有没有标来源。
- 最后才调切片和提示词三段都通但答案仍差,多半是切片策略或提示词措辞的问题,换模型是下策。
这个顺序的价值在于:每一步都有可观察的输出,你不需要靠猜。哪一步的输出不对劲,问题就在哪一步,范围立刻缩小。
下一步把这几步对着站内的资料库和排查思路过一遍,能省掉不少瞎试的时间。→常见问题
RAG 一定要用向量数据库吗?
不一定。资料量小的时候,内存里算相似度或者直接用关键词检索都能跑。向量数据库解决的是规模、持久化和并发查询,早期验证阶段先别急着装,等资料量真的上来了再换也不迟。
检索到的内容模型不用怎么办?
先分清是没检索到还是检索到了没用上。把检索结果单独打印出来看相关性,如果片段本身不相关,问题在切片或嵌入模型;如果片段相关但回答没引用,那是提示词没约束住,改提示词而不是换模型。
RAG 和微调该先做哪个?
多数情况先做 RAG。资料会变、需要标来源、不想动模型权重,这几种场景 RAG 更合适;如果是要改说话风格或固定输出格式,那才轮到微调。两条路的成本口径差别很大,别混在一起算。