装完 AnythingLLM、拉好 Ollama 模型,结果工作区里一提问就报错,或者干脆下拉框里没有模型可选。这种时候多数人第一反应是卸载重装,其实问题往往在最基础的一格:地址填的是 localhost 还是局域网 IP、模型名带没带 tag、Embedding 模型有没有单独拉。这篇按从外到内的顺序把排查路径摊开,每一步都给判断依据,照着走一遍基本能定位到是哪一层断的。
装完 AnythingLLM、拉好 Ollama 模型,结果工作区里一提问就报错,或者干脆下拉框里没有模型可选。这种时候多数人第一反应是卸载重装,其实问题往往在最基础的一格:地址填的是 localhost 还是局域网 IP、模型名带没带 tag、Embedding 模型有没有单独拉。这篇按从外到内的顺序把排查路径摊开,每一步都给判断依据。
说白了,AnythingLLM 和 Ollama 之间只靠一个 HTTP 接口说话。中间任何一环断了,界面上给你的报错都长得差不多,都是「连不上」或者「没模型」。所以别急着动手,先想清楚断在哪一层,再决定改哪一格。
先分清是哪一层断的,别一上来就重装
失败的表现其实分得开。Ollama 压根没在听,命令行敲请求直接报连接被拒;地址填错,服务在跑但你发的请求没人接;模型名对不上,列表能拉回来但下拉框里就是没那一项。这三种,从界面上看都是「不能用」,但改的地方完全不同。
最省事的确认办法是绕开 AnythingLLM,直接用浏览器或者 curl 去请求 Ollama 的模型列表端点。能把模型名一条条列出来,说明服务层是通的,问题一定在 AnythingLLM 那一侧的配置里。连本机命令行都拉不到列表,那就先去查 Ollama 服务本身有没有起来、监听在哪个地址和端口,容器和桌面端先放一边。
服务在跑但连不上,八成是地址那一格写错了
这是出现频率最高的一处。AnythingLLM 跑在 Docker 里的时候,容器内的 localhost 指的是容器自己,不是你的宿主机。填 127.0.0.1 看着很自然,实际必然连不上。要换成宿主机在局域网里的实际地址,宿主机换过网络、IP 变了,这一格也得跟着改。
还有一个更容易白费力气的地方:Ollama 默认只监听本机回环,跨容器或者跨机器访问要改绑定地址的环境变量。改完必须重启服务才生效,改完不重启,你会以为改动没用,然后开始怀疑别的地方。
| 现象 | 多半是哪一层 | 先做的动作 |
|---|---|---|
| 命令行请求被拒绝 | Ollama 服务没起来 | 查服务状态和监听端口 |
| 服务能通、界面报连不上 | AnythingLLM 地址填错 | 换成宿主机局域网地址后重启 |
| 同一台机浏览器能开、容器里不行 | 容器网络隔离 | 在容器环境里重测列表请求 |
| 列表能拉到、对话仍失败 | 模型名或 tag 不一致 | 比对拉取名和界面显示名 |
- 先用命令行确认服务在宿主机上直接请求模型列表端点,能列出来说明服务在跑。列不出来,先解决服务本身。
- 再在 AnythingLLM 环境里测一遍进到 AnythingLLM 所在的容器或者机器里发同样的请求,这一步才是地址那一格的真正判据。
- 改绑定地址并重启需要跨机器访问时改监听地址的环境变量,改完重启服务,再回到上一步复测。
模型名和嵌入模型,是两个独立坑
对话模型下拉为空,多半是模型名没带 tag。拉的时候是带 tag 的名字,填的时候只写了前半截,列表请求能返回,但界面匹配不上。先确认拉过的完整模型名,再对比界面里显示的那一项,一个字都不能差。
嵌入模型是另一回事,很多人卡在这。知识库能上传文件,但提问检索不到任何内容,就要单独去看嵌入模型那一栏有没有配置。向量化用的模型和聊天用的模型不是同一个,聊天模型配好了不等于嵌入配好了,漏配往往不报错,就是静默失败。
- 嵌入模型要单独拉取,不是在聊天模型那一栏里选一下就行
- 配置里要显式指定嵌入模型,留空会导致上传后没有向量
- 切换嵌入模型之后,旧文档的向量要重建,不重建检索一直为空
- 判断标准:随便提一个文件里明确写过的问题,看返回里有没有引用片段
知识库卡住时,按写入和检索分开查
上传后一直转圈,别盯着界面等。先看文档分块有没有生成,再去看 Ollama 那边有没有收到嵌入请求。两侧一对比,就知道是卡在上传解析这一段,还是卡在向量化那一段。前者多半是文件格式或者分块配置,后者才是模型和连接。
还有一种情况是能检索到片段,但回答里不引用。这通常不是连接故障,而是提示词模板或者相似度阈值的问题,往网络方向排查纯属浪费时间。排查顺序建议固定下来:服务通不通,模型列表有没有,嵌入有没有跑,检索有没有命中。每次只改一个变量,改完立刻复测,不然出了问题都不知道是哪一步带进来的。
如果你在比对不同接入方式或者中转方案的稳定性,站内有一些现成的检测工具可以先跑一遍,比自己一项项手测快。至于各家官方接口当时的报价和模型资料,数字会变,去站内页面看当时的那份就行,别拿旧截图当依据。
下一步把连通性和响应情况先跑一遍,比自己反复重装省事;顺便核对一下当前接入方式的价格与模型资料。→常见问题
AnythingLLM 里填了 Ollama 地址还是提示连不上,最该先看什么?
先确认填的地址在 AnythingLLM 运行的那个环境里能访问。跑在 Docker 里就別用本机回环地址,换成宿主机的局域网 IP;同时确认 Ollama 已经改了绑定地址并重启过服务,改完不重启等于没改。
模型列表能出来,但一问就报错,是什么原因?
多数是模型名和实际拉取的 tag 对不上,或者选中的模型在当前显存下加载失败。可以在命令行直接跑一次同一个模型,看是否正常出字,能出字再回来看 AnythingLLM 里选的模型标识是否完全一致。
知识库上传了文件却检索不到内容,要查哪几项?
先看嵌入模型有没有配置并且已经拉取到本地,再看文档分块是否生成成功,最后确认换过嵌入模型之后有没有重建向量。这三步里任何一步缺了,检索都会返回空结果,但界面不一定报错。