搜「本地 rag 配 ollama 的开源项目」的人,多数是项目跑起来了但答非所问。这时候最容易犯的错是直接去动模型参数,其实八成问题在检索那一侧。这篇给一套分段排查顺序:先用固定问题验证召回,再看拼进上下文的片段对不对,最后才怀疑生成。每一步都给可执行动作和判断标准,也写清什么情况下这套顺序不适用。
搜「本地 RAG 配 Ollama 的开源项目」的人,多半是项目已经跑起来了,但答非所问。这时候最容易犯的错,是直接去翻模型参数、换量化版本、调温度。我见过有人一晚上换了三个模型,最后发现是建索引时的嵌入模型跟查询时的不是同一个。
这类项目其实是个两段式管道:先在资料库里捞片段,再把片段塞给模型让它照着说。捞错了和说错了,改的地方完全不同。先把这两段切开,排查量能少一大半。
先别急着调模型,把链路切成两段
切法很土但有效:拿一个你百分百确定答案就在资料里的问题去问。看返回结果或者日志里,有没有出现那段原文。有原文但答错,问题在生成段;连原文影子都没有,问题在检索段。这个判断五分钟能做完,比读一遍源码快。
开源项目一般把检索和生成分成两个模块,找到打印召回片段那个位置,把中间结果打出来。有的项目自带 debug 开关,有的要自己在拼提示词之前加一行打印。打完你就能看到模型到底拿到了什么。
检索段:召回为空多半是这几处动作没做对
召回为空最常见的原因不是向量库装错了,是嵌入模型前后不一致。建索引时用了一个,查询时配置里写的是另一个。两个模型的向量空间对不上,相似度算出来就是噪音。这种错误不会报错,只会安静地啥也搜不到。
- 先确认建索引和查询走的是同一个嵌入模型,换了模型必须重建索引,光改配置不重建等于没改
- 检查切块大小:一句话的问题配上几千字的块,相似度会被稀释,先把块调小再试
- 用项目自带的脚本或调试接口直接查一次向量库,绕开生成段,确认库里到底有没有这条数据
- 同一个问题换三种说法去问,三种都拿不到片段,回头查入库流程和嵌入模型;换个说法能拿到,那是问法和切块的问题
判断标准说白了就一句话:问题换个说法能召回,说明库没坏;换多少种说法都召回不到,别在提示词上耗,回去看入库。
生成段:片段对了但答案还是偏,看拼装
| 现象 | 先看哪里 | 常见原因 |
|---|---|---|
| 召回片段正确,答案却掺了模型自己的知识 | 实际发出去的完整提示词 | 没写「只依据给定片段回答,可以回答不知道」 |
| 回答只用了片段的前半截 | 上下文长度和截断位置 | 召回内容被截断,或排在很靠后的位置 |
| 答案对一半,另一半来自旧文档 | 知识库里的资料本身 | 同一主题存在多个版本,没清理 |
| 换了模型就好,换回去又坏 | 模型对长上下文的处理 | 上下文里塞了太多无关块,中间部分被忽略 |
把实际发出去的提示词完整打出来,这一步很多人跳过。你以为塞进去的是三段精选片段,实际上可能是二十段,开头两段还是无关的目录页。模型被淹没在里面,只能挑顺眼的答。
还有个细节:允许模型说不知道,这句话得写进系统提示里。不写,它就默认要用训练时记住的东西补齐,看起来挺像那么回事,其实全是编的。另外召回条数别贪多,先把无关块去掉再试,往往比加条数管用。
如果召回内容本身就是互相矛盾的旧版本,提示词怎么写都救不回来。这时候该做的是清资料、重建索引,不是继续调生成。
对着开源项目改,改哪几处最省事
- 先动配置,别动源码切块长度、召回条数、嵌入模型名,这三项基本都在配置文件或环境变量里。改配置能回滚,改源码容易把自己绕进去。
- 改一项,测一组改之前把当前值抄下来,每次只动一项,改完用同一组固定问题复测。一次动三项,好了坏了都不知道是谁的功劳。
- 固定一组回归问题准备五到十个有明确答案的问题,每次改完都跑一遍。别每次现想问题,那样对比没有意义。
嵌入模型这块,本地的和托管服务的差别比想象中大,尤其是中文资料多的场景。选之前先去站内嵌入模型目录对照一下适配情况,别拿英文语料上表现好的模型直接套中文知识库。
最后提醒一句:Ollama 这边换模型很方便,但换模型解决的是生成段的问题。检索段坏了,换多大的模型都没用。顺序别搞反。
下一步想知道本地模型和托管嵌入在实际场景里怎么选,去站内模型资料库对照着看,比在项目 issue 里翻三天快。→常见问题
项目能跑起来,但每个问题都答『根据提供的资料无法回答』,是嵌入模型的问题吗?
不一定。先把召回片段打出来看一眼:片段为空,多半是嵌入模型和索引不匹配,或者文档压根没入库;片段有内容但模型还说无法回答,问题在提示词拼装,很可能是片段被截断或要求过严。两种情况动作完全不同,别一上来就换模型。
Ollama 那边模型换了一个,RAG 效果变差,该先排查哪一步?
先分开看:换的是生成模型还是嵌入模型。只换生成模型的话,召回段不会变,问题在提示词和指令遵循;如果连嵌入模型一起换了,旧索引必须重建,不重建的话召回质量会明显掉下来,这一步被忽略得最多。
本地跑得慢,是不是该换成更大的嵌入模型?
慢和准是两回事。先量一下拆开的时间:建索引慢、单次问答慢、还是首字慢,各自的原因不一样。如果瓶颈在检索的向量计算,换更大的嵌入模型只会更慢。先用接口测速量出延迟基线,再决定要不要动模型。