ollama + fastgpt 搭建免费本地知识库

想给自己或小团队弄个本地知识库，又不想按月付 API 的钱，Ollama 加 FastGPT 是最常被提起的组合。卡点通常不在装不装得上，而在三件事：哪个环节该配什么模型、向量库和重排怎么选、跑起来慢或答不准时先动哪一处。这篇按部署顺序走一遍，每步给出判断标准和可回退的动作，硬件不够时也告诉你砍哪一刀。

想给自己或小团队弄个本地知识库，又不想按月付 API 的钱，Ollama 加 FastGPT 是最常被提起的组合。卡点通常不在装不装得上，而在三件事：哪个环节该配什么模型、向量库和重排怎么选、跑起来慢或答不准时先动哪一处。

这篇按部署顺序走一遍，每步给判断标准和可回退的动作。核心思路是把整条链路拆成「模型跑起来」「文档进得去」「答案出得来」三段，哪段出问题就在哪段停住排查，硬件不够时也告诉你先砍哪一刀。

先分清谁干什么：Ollama 管模型，FastGPT 管流程

Ollama

只负责把模型跑起来并暴露本地接口，对话、向量、重排三类模型各要单独拉一个，别指望一个模型全包

FastGPT

负责文档解析、切片、向量化、检索、拼提示词这条链路，它自己不产模型，得指向 Ollama 或别的兼容接口

本地接口

FastGPT 填模型地址时用的那串本地 IP 加端口，验证它通不通是整条链路的第一个检查点

1. 第一步：先单独验证 Ollama 接口能通用命令行拉一个模型、发一条测试请求，确认能拿到回复。这一步不过，后面所有 FastGPT 报错都别急着排查。
2. 第二步：再起 FastGPT 本体服务起来后先只用本地默认配置跑通一次对话，确认界面能正常响应，再动知识库相关的配置。
3. 第三步：最后在 FastGPT 里逐个填模型地址对话、向量、重排三类分别填，填完一类测一类，避免一次填完出错后分不清是谁的问题。

什么情况下不适用：只是想让模型读几份 PDF 随手问问，用更轻的单体工具更快。FastGPT 的价值在多用户、多知识库和流程编排，如果就你一个人偶尔查查资料，投入产出比不划算。

三类模型怎么配：对话、向量、重排各挑一个

选型优先级：向量和重排先按中文语义检索表现挑，对话模型再按你的显存余量挑。嵌入模型这块可以对照站内嵌入模型目录看当时的对比口径，别凭感觉选。

• 小显存机器可以把对话模型换成更小的量化档，向量模型单独常驻，重排模型按需加载或直接关掉
• 关掉重排后召回精度会掉，属于明确取舍，适合对答案要求不高的内部查询场景
• 判断标准：先用同一批文档跑十来个真实问题，觉得答非所问时先看召回段落对不对，别急着换对话模型
• 对话模型换档后记得重跑一遍测试问题，量化档不同，回答风格和稳定性都会有变化

需要提醒的是，模型规模、量化档、显存占用这些数字随硬件和版本会变，具体对照站内模型资料库和显卡规格库按你的卡型算一遍，别按别人的配置照抄。

切片与检索参数：答不准多半出在这一层

切片长度、重叠比例、单次召回条数是三个最该动的旋钮。切片太碎会丢上下文，模型拿到半句话答非所问；太长会让向量表征变糊，检索时匹配不上具体问题。这三个参数没有万能值，跟你的文档类型强相关。

1. 先看召回条数问一个问题，看返回的候选段落里有没有正确内容。完全没有就加召回条数，加完再看。
2. 再开重排候选里有正确段落但排在后面没被用上，就开重排把相关的往前排。
3. 重排压不住就回头改切片重排开了还是混进无关内容，说明切片粒度本身有问题，回到文档解析和切片配置重新调。

不适用的场景：问答型知识库和公文写作型知识库对切片的要求相反。前者要短要准，让检索精准命中；后者要保留完整章节，让模型看到完整上下文。别照抄别人的参数，先想清楚你的知识库用来干什么。

硬件不够时的降级顺序与验收

跑不动是本地部署最常见的现实问题。降级要按顺序来，别一上来就把整个知识库搬回云端。顺序建议：先关重排，再降对话模型的量化档，再把向量模型换成更小的，最后才考虑把整个知识库搬回云端按量调用。

• 接口能不能通：三类模型地址逐个测，确认都能响应
• 召回段落是不是相关：拿真实问题看返回候选，别只看最终答案
• 同一问题重复问两次答案是否稳定：不稳定说明模型或检索有波动
• 加载一批新文档后旧问题还答不答得对：验证新数据没把旧索引冲乱

显存与并发心里要有数，具体占用对照站内部署测算和显卡规格库按你的卡型算一遍，别按别人的配置猜。不适用的情况：数据不出内网是硬要求时，降级到云端这一步直接划掉，只能在本地继续砍模型规模，代价是回答质量会明显下降。

本地知识库的难点从来不是装得上，而是知道出问题时先动哪一处。