chatbox 连接到远程 ollama 服务

模型与算力

讲清 Chatbox 怎么连到另一台机器上的 Ollama 服务,包含开监听地址、填 API 地址、防火墙与常见连不上的排查顺序。

本地跑着 Ollama,想让同事的电脑或自己另一台设备上的 Chatbox 也能用,结果填了地址一直转圈或者报连接失败——多半不是模型的问题,而是 Ollama 默认只听本机、或者地址写法不对。这篇按顺序把要改的环境变量、要填的地址格式、以及连不上时先查哪几项讲一遍,照着做基本能通。

本地跑着 Ollama,想让同事的电脑、或者自己另一台设备上的 Chatbox 也能用,结果地址填进去一直转圈、或者干脆报连接失败。这种情况十有八九不是模型的问题,而是 Ollama 默认只听本机、或者地址写法不对。

这篇按顺序讲三件事:服务端要改什么、Chatbox 这边地址怎么填、连不上时先查哪一项。照着做基本能通,通不了也能快速定位是网络问题还是配置问题。

先分清「本机对话」和「远程调用」差在哪

Chatbox 本身只是个客户端,它不跑模型。模型算力始终在那台装了 Ollama 的机器上,Chatbox 只负责把请求发过去、把回复显示出来。所谓远程,就是这两者不在同一台设备:可以是同一个局域网里的另一台电脑,也可以是放在角落里的内网服务器。

  • 远程之后延迟主要来自网络往返加上那台机器的推理速度,跟 Chatbox 关系不大;先确认服务端机器性能够不够,可到 /models/deploy 做部署测算
  • 同一局域网是最省事的场景,跨网段或隔公网就会多出防火墙、路由这些变量
  • Chatbox 只关心「能不能拿到模型列表」和「请求能不能发出去」,这两点通了,剩下的就是你选的模型快不快

服务端要做的三件事:开监听、放端口、确认模型在位

Ollama 默认只绑定本机回环地址,别的机器根本访问不到。要让它对局域网开放,需要把 OLLAMA_HOST 改成监听所有网卡,改完必须重启 Ollama 服务才生效——这一步是最多人漏掉的。

OLLAMA_HOST
控制 Ollama 监听哪个地址和端口的环境变量,默认只本机可用,改成 0.0.0.0 表示监听所有网卡
重启服务
改完环境变量后不重启进程,配置不会生效,旧进程还在用老地址
模型在位
要用的模型必须已经在服务端拉下来,否则 Chatbox 的模型列表里根本不会出现
检查项怎么做通过的样子
监听地址改 OLLAMA_HOST 后重启服务别的设备能访问到接口根路径
端口放行检查系统防火墙和云安全组同网段设备 curl 能拿到响应
模型存在在服务端列出已有模型目标模型在列表里,能被选中
  1. 在本机验证服务活着在装了 Ollama 的那台机器上直接访问接口,能返回内容说明服务本身没问题
  2. 改监听并重启设置 OLLAMA_HOST 监听所有网卡,重启 Ollama 进程,再验证一次本机是否正常
  3. 从另一台设备试探用同一网段的另一台机器访问服务端 IP 和端口,通不过就是防火墙或网络的问题,不是 Chatbox 的问题

Chatbox 这一端怎么填:地址、端口、模型名

在 Chatbox 里新增一个 Ollama 类型的提供方,地址填服务端的 IP 加端口。两个常见坑:一是漏了端口;二是习惯性在后面加路径后缀,不同客户端对路径的处理不一样,多写一段可能直接报 404。

  • 地址用服务端对外可达的那个 IP,不是容器的内部地址
  • 端口别漏,也别想当然按默认值猜
  • 填完先点刷新或测试,能列出模型列表就说明通了
  • 列不出来就先别动模型参数,回到地址和网络去查
  • 隔着容器部署时,用宿主机对外可达的地址,而不是容器内部网络地址

连不上时按这个顺序排查,别乱试

很多人一失败就来回改配置,越改越乱。正确的做法是从服务端往客户端逐层缩小范围,每一步只排除一种可能。

顺序现象结论
服务端本机访问通服务正常,问题在网络或地址
服务端本机访问不通Ollama 没起来或监听没改
同网段另一台设备访问不通防火墙、安全组或不在同一网段
浏览器能开接口但 Chatbox 连不上—多为地址格式问题或客户端缓存

如果浏览器里能打开接口、Chatbox 却连不上,大概率是地址格式问题或者客户端缓存了旧的配置,把那个提供方删掉重新加一次,通常比反复改配置快。

开放监听之前,先想清楚安全边界

把监听改到所有网卡,等于同网络里任何人只要能访问这个端口,就能调用你的模型。这不是小事,别在有不可信设备的公共网络里这么干。

  • 只在自家局域网或受控内网里开放,是最常见的做法
  • 要跨公网访问,应该靠 VPN、内网穿透加上鉴权这类手段,而不是把端口裸暴露出去
  • 判断标准很简单:如果这个端口被陌生人调用你会不会介意,会介意就别裸奔
  • 开放之后,定期看服务端有没有异常调用量,发现不对及时收口
下一步想确认不同接入方式在延迟和稳定性上的差别,或者看看别的工具怎么连远程服务,去站内工具目录对照一下,再决定你的用法。

常见问题

在 Chatbox 里填了地址还是连不上,最先该查什么?

先在服务端那台机器上用 curl 直接请求接口,确认服务本身是活的。这一步通了,问题就在网络或地址写法上;这一步不通,多半是 OLLAMA_HOST 没改成允许外部访问,或者改完没重启服务。

改成监听所有地址之后,会不会有安全风险?

会。改成监听所有网卡后,同一网络里能访问到这个端口的设备都可以调用你的模型。只在可信的局域网或内网这么做,别放在公共网络里;要跨公网使用,走 VPN 或带鉴权的通道,不要直接暴露端口。

同一个 Ollama 服务,能让多台设备同时连吗?

可以,服务端本身支持多个客户端连接,但并发请求会一起抢同一块显卡。人少、轮流用基本没感觉;多人同时发请求会明显变慢甚至排队,具体能扛多少并发要按模型和显存算,可到 /compute/sizing 先估一遍再决定开不开放。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。