你可能已经在 Ollama、向量库、前端界面之间来回装了三天,模型能跑但知识库检索不通;也可能只是想让团队十几个人的文档能被问答,却被「自建一套」的教程劝退。这篇不讲部署原理,只给一条判断线:什么情况下值得上一站式软件、挑的时候看哪几项、装完先测什么。
你可能已经在 Ollama、向量库、前端界面之间来回折腾好几天,模型能跑起来,知识库检索就是不通;也可能只是想让团队十几个人的文档能被问答,却被「自建一套」的教程直接劝退。这篇不谈部署原理,只给判断线和可执行动作:什么情况值得直接上一站式软件、挑的时候看哪几项、装完先测什么。
先说结论方向:只要你没有专职运维、也不需要对检索链路做深度改造,把模型、切分、向量库和界面一次装好,比你自己拼四五个组件更省事,出问题也只有一个地方要查。下面按判断、结构、选型、验证四步走。
先判断:哪些情况根本不用自己拼
判断标准只有一条:你要的是「能查到你写的原句」,还是「靠模型推理出结论」。前者重检索链路是否通、文档是否全,一站式软件基本够用;后者要调重排、多路召回,拼装才留得住改造空间。先想清这一点,再考虑要不要自己拼。
- 可以直接上一站式:文档只在几个人到几十人之间流转;问答精度要求是能查到原句;没有专职运维,坏了只能靠业余时间救。
- 建议不要用一站式:需要自定义重排、多路召回融合;数据合规要求把模型、存储、检索每一层都写进备案材料,这时拼装反而更可控。
- 犹豫就先做四件事清点:装环境、调模型、配向量库、做前端,把每件事预计占用的时间写下来,多数人前两件就已经占了大头。
- 另一种情况也别硬上:团队只有一个偶尔查资料的人,直接用带联网问答的客户端就够了,知识库是给「反复问同一批文档」准备的。
一站式软件到底「一站」在哪四层
把「一个软件搞定」拆开看,它其实替你把四层收进了一个安装包或一个面板。评估时不要看它首页吹什么,而是逐层问「这层是我提供还是它内置」。这四层里哪一层你不清楚,装完就会卡在哪一层。
- 模型层
- 是内置下载与推理服务,还是只做连接器去接你已有的本地接口;内置省事但绑定它给的模型列表,连接器灵活但要先有端点。
- 索引层
- 切分策略、向量模型、是否带重排,这三项决定检索质量,比界面好不好看重要得多。
- 存储与权限层
- 文档存哪、能不能按人分库、删文档是否连带删向量;团队用一定要问清,个人用可以忽略权限。
- 接入层
- 网页问答、API、IM 机器人,缺哪一层就用别的工具补,别指望一个软件把这层全包。
常见的坑是把「内置模型」当成「随便换模型」。不少软件的内置模型和向量模型是绑定的,换模型就得重建整个索引。所以看完这四层,再回到上一条清单里「能不能换」那一项,答案基本就定了。
挑软件的六项对照清单
下面这张表把每项要问的问题和「什么情况下这条不重要」放在一起,方便你按自己的场景取舍。逐条问客服或看文档,答不上来的直接跳过这个候选。
| 要看的项 | 具体问什么 | 什么情况下这条不重要 |
|---|---|---|
| 模型与向量模型可换性 | 能否换模型、换向量模型,换完要不要全量重建 | 个人临时用、文档不超过几十份,重建也不痛 |
| 文档更新方式 | 支持增量重索引,还是每加一份就全量重建 | 文档几乎不变,只做一次性查询 |
| 并发与显存 | 几个人同时问会不会互相拖慢 | 只有一个人用,不看并发 |
| 许可证与商用边界 | 软件本体和模型权重分开看 | 纯内部研究、不对外提供服务 |
| 离线可用性 | 断网后还能不能检索和问答 | 本来就是联网办公环境 |
| 迁移成本 | 配置、文档、向量能不能导出带走 | 不打算长期用,用完就换 |
并发和显存的估算不要拍脑袋。先按「几个人同时问」估并发,再到 /models/deploy 按模型与量化档位算显存与卡数,别只看软件首页给的推荐配置。授权条款这块,参照 /ai-dict 里的术语把许可范围读一遍,比问客服靠谱。
装完先跑这套验证顺序
装完不要立刻把几百份文档全灌进去。先跑下面这套小步验证,每步都有明确的通过标准,哪步不过就停在那步排查,不要跳着换模型。
- 小样本命中测试只灌 5 份文档,问一个答案明确写在文档里的问题,确认检索命中。不命中先查切分粒度和向量模型,而不是换大模型。
- 跨段落拼接测试灌一份长文档,问一个需要跨段落拼接的问题,看它给的是原句还是编的。答不出来属正常,编答案才是问题。
- 并发压测同时开三到五个会话压一下,观察响应时间和显存占用,这时候再决定要不要降量化档位。
- 删除测试删掉一份文档,再问同一个问题,确认向量也被清掉,不然会一直答旧内容,越用越乱。
排查顺序记牢:检索不到先查切分与向量模型;检索到但答错看提示词与模型;答得慢看并发与量化。很多人一遇到问题就换模型,其实绝大多数卡点在前两步,换模型只是白折腾一轮。
如果你已经跑完这套顺序还有疑问,或者想对比不同方案的实测表现,站内有现成的资料可以查:模型与部署参数到 /models/deploy 核对当时的数字,工具选型到 /tools 看目录,中转与接口相关的问题到 /sites 找对应页面。
下一步先按四步验证跑一遍你手上的候选软件;跑完仍不确定用哪套,去 /tools 对照工具目录和各自的适用场景,再决定要不要换。→常见问题
一站式软件和 Ollama 加前端自己搭,差在哪?
差别不在能不能跑,在维护量。自己搭的好处是每一层都能改,坏处是升级、迁移、排错都得自己来;一站式把它们合成一个安装包,代价是底层通常不能随便换。如果你的需求就是文档问答,且没有专人维护,一体化更省事;要做检索策略实验就自己拼。
文档放进去后答不准,是模型不行吗?
多数时候不是。先看检索有没有命中原文,没命中就调切分粒度和向量模型;命中了但答偏,再改提示词;提示词也调不动才考虑换模型。另外知识库解决的是「查得到」,不是「会推理」,需要归纳推理的问题本身就不该指望它答准,去 /models 看当时的模型能力说明再决定。
把公司文档喂进去,要注意什么?
三条:一是这份软件是纯离线还是启动时会联网校验,内网环境要提前确认;二是权限,能不能按部门分库、谁看过哪份文档有没有记录;三是删除与备份,文档删了向量是否同步删。合规与授权口径可以拿 /safety 的内容对着过一遍,别只看功能演示。