搭 RAG 的人多半会卡在同一步：向量检索召回一堆片段，结果顺序不对，想加一层 rerank 把最相关的顶上来。这时候自然想到 Ollama——反正对话模型都是它拉的，能不能顺手也拉一个重排序模型？这篇就给个明确答复，并说清回答「不能」之后你有哪些能马上动手的替代路子。
搭 RAG 的人多半会卡在同一步：向量检索召回一堆片段，结果顺序不对，想加一层 rerank 把最相关的顶上来。这时候自然想到 Ollama——反正对话模型都是它拉的，能不能顺手也拉一个重排序模型？这篇就给个明确答复，并说清回答「不能」之后你有哪些能马上动手的替代路子。
先说结论：Ollama 的主线是「拉下来、跑起来对话与生成」，重排序模型不在它的能力主线里，官方模型库也不是为此设计的。但这不代表你的 RAG 就没法加重排，只是这层能力得换个地方放。下面按「你要的能力到底是什么—Ollama 边界在哪—本地方案怎么搭—上线前怎么验」的顺序讲。
先搞清楚你要的到底是哪一层能力
很多人把 embedding 和 rerank 混为一谈，其实两者干的活完全不同。embedding 是把问题和片段各自压成一个向量，靠向量距离算相似度，好处是片段向量可以提前建索引，检索的时候只算问题那一侧；rerank 是把「问题 + 片段」成对喂进模型直接打分，精度更高，代价是没法预先建索引，每条候选都得现场跑一遍。
- embedding
- 双向独立编码，可离线建索引，检索快但精度相对粗
- rerank
- 问题与片段成对打分，精度高但无法预先计算，成本随候选数线性上涨
- cross-encoder
- 绝大多数重排模型的结构，一次只能处理一对输入
- 生成式打分
- 用对话模型拼提示词让它打分的土办法，能跑通但不是正式方案
- 先判断需不需要：召回条数少、语料同质化高的时候，加 rerank 收益有限，甚至不如把召回做好；问答式检索、条款比对、多义关键词场景收益才明显
- 再算一笔账：rerank 成本跟「候选条数 × 每次问答」成正比，召回几十条就要跑几十次前向，比 embedding 那一侧重得多
- 最后看模型本质：绝大多数重排模型是 cross-encoder 或分类头结构，不是对话生成模型，这一条就决定了它和 Ollama 的主线能力不搭
Ollama 的能力边界在哪，官方库里有什么
Ollama 的定位是「拉下来、跑起来对话与生成」，它的模型库主体是各种生成式大模型和一部分 embedding 模型，重排序类模型不在它主推的清单里。你可以到 /models 里按用途翻一遍，看当前收录里有没有标注为 rerank 或重排用途的条目，别凭印象判断，这个库一直在变。
- 第一步，确认收录情况打开 /models，按用途或标签筛选，看有没有重排类条目；有就记下它的授权和硬件要求，没有就走后面的替代路线
- 第二步，量本机延迟基线用 /tools/speed-test 测一下你当前接口的单次调用耗时。如果单次调用已经不快，成对打分几十次基本没法用在线上，这条路直接可以排除
- 第三步，估显存到 /models/deploy 按你的显卡和量化档位算一遍，看本地同时驻留生成模型和重排模型是否放得下，具体数字以页面当时显示为准
什么情况下上面这套判断不适用：如果你只是离线做一次性的语料排序，不在乎耗时，那用生成模型拼一个打分提示也能凑合。但这属于打补丁，不是正式方案，别把它搬到线上问答链路里。
真要在本地方案里加一层重排，可以这么搭
既然 Ollama 主线不接重排，那就把重排这层拆出去，或者用规则补上。下面三条路线按投入从低到高排，小团队建议从第三条开始试。
| 路线 | 怎么做 | 适合谁 | 主要代价 |
|---|---|---|---|
| 压召回 | 把向量召回条数收窄到一个合理区间，别一上来就召回上百条 | 所有人，先做这个 | 参数调不好会漏召回 |
| 外挂重排 | 交给专门的重排服务或 RAG 框架内置的 rerank 组件，让框架去调，不塞进 Ollama 模型列表 | 已有框架、要精度 | 多一个依赖和一份成本 |
| 规则细调 | Ollama 跑对话或 embedding 做粗排，再用关键词匹配、时间衰减、来源权重做细调 | 5 人以内小团队、零额外部署 | 精度有上限，规则要维护 |
- 把召回条数压到一个合理区间，候选少一半，后面排序的压力直接减半，这是性价比最高的一步
- 用 RAG 框架的内置重排钩子而不是自己造轮子，换模型时只改配置
- 规则细调适合先跑起来：关键词命中、文档新鲜度、来源可信度三者加权，够用且可解释
- 选之前先确认许可证和商用边界，/models 的条目里会标注授权信息，有一部分重排模型是研究用途授权，别上线才发现不能用
重排不是必选项，它是召回做得差不多之后才值得加的那一层；召回本身烂，重排只会把烂结果排得更整齐。
上线前用这几步验一遍，别只看跑通
跑通不等于有用。重排这一层最容易出的问题是「感觉好一点」但延迟翻倍，所以必须用固定样本对比，而不是靠手感。
- 固定问题集对比准备一批真实问题，分别跑「加不加重排」两种情况，记录命中情况。结论要落在纸面上，别凭印象
- 测延迟叠加重排是串在检索后面的，它多花的时间会直接加到首字延迟上。先用 /tools/speed-test 建基线，再加这一层，对比才有意义
- 查显存余量本地同时驻留生成模型和重排模型，显存是叠加的。到 /models/deploy 按显卡和量化档位核一遍，别等 OOM 才发现
- 留回退开关重排服务挂了应该能自动降级成纯向量召回，而不是整条链路报错。这个开关在上线前就要写进配置
常见问题
Ollama 官方模型库里到底有没有能直接拉的重排序模型？
按目前的能力定位，Ollama 主线是生成与对话，重排序类模型不是它主推的品类。别凭记忆下结论，到站内 /models 按用途翻一遍当前收录情况，再决定是找替代方案还是自己转格式导入。
没有重排模型，我的 RAG 效果就一定差吗？
不一定。召回条数控制在少量、语料字段结构清晰、问题偏向关键词匹配时，纯向量检索加规则过滤已经够用。真正吃重排的是语义相近但要点不同的场景，比如条款比对、多义问题。先固定一批样本测一遍再决定要不要加。
能不能让对话模型代替重排模型给片段打分？
可以但要清楚代价。做法是把问题和每个候选片段拼成提示词让模型输出相关性判断，缺点是慢、贵、结果不稳定，还要额外处理解析失败。适合离线批处理或候选条数很少的情况，不适合放在线上问答的同步链路里。
