你可能已经在一台机器上装好 Ollama,本机能跑,但同事的电脑或另一台服务器就是连不上。这篇不比较模型好坏,只解决「怎么让局域网里别的设备调到这台机器上的模型」:从改监听地址、放行端口,到验证连通性和该不该加一层保护,按顺序走一遍。
你可能已经在一台机器上装好 Ollama,本机命令行跑得好好的,同事那台电脑就是连不上。这事跟模型好坏没关系,纯粹是网络配置没打通。下面只解决一个问题:怎么让局域网里别的设备调到这台机器上的模型。顺序是改监听地址、放行端口、验证连通、再判断该加到什么程度的保护。
整个过程里最容易踩的坑是把「服务开出去了」和「安全了」当成一回事。改监听只是让别的机器能听见你,至于谁能进来、能进来干什么,是后面单独一层要考虑的。按下面四节走一遍,多数内网场景能落地;如果你遇到的是完全不同的情况,文里也标了什么时候该换个思路。
先分清你缺的是哪一段
本机能跑、别人连不上,绝大多数情况是服务还绑在回环地址上,只接受本机发来的请求,外面敲门它根本不搭理。先确认这一点,比盲目去翻防火墙规则快得多。
接着要弄清调用方走哪条路:是直接用 Ollama 自己的接口,还是走它兼容 OpenAI 的那套格式。两条路地址写法不一样,客户端配置也跟着变。事先问清楚,能省掉一轮来回试错。
- 范围只有一台同事机器:设置最简单,改完监听加放行基本就够
- 整个办公网都要用:得考虑机器地址是否固定,以及要不要加一层统一的入口
- 几台服务器互相调用:重点变成稳定性和并发承担能力,而不是能不能通
- 机器直接挂在公网:这不属于本文讲的场景,先加鉴权与代理再说
什么情况下这套办法不适用:多人同时跑大模型、对响应时间要求高、或者机器本身就对外暴露。这类场景该先去看站内关于并发与显存测算的页面,算清楚这台机器能撑几个并发,再决定给多少人用。
把服务从「只听本机」改成「听内网」
关键动作就一个:改环境变量,把监听地址从回环改成对外可达的地址。改完必须重启服务才生效,停了再起,别在原地反复刷新等它变。
顺手确认两件事:模型文件放在哪个目录、服务用哪个端口。端口别和机器上已有服务撞车,一旦你改了端口,所有调用方的配置都要同步改,否则会出现「服务明明起来了但连不上」的假象。
- 监听地址
- 决定服务愿意接哪张网卡上的请求,从回环改成对外地址才对内网可见
- 端口
- 服务对外暴露的入口编号,被占用或改动后调用方要同步
- 模型目录
- 模型文件实际存放的位置,换机器或重装后最容易漏掉这一项
- 改监听地址在服务配置里把监听地址设为内网可达的那个地址,保存后重启服务;重启完在本机先自测一次,别急着叫别人试。
- 确认端口与模型目录查一下当前端口有没有被别的程序占用,模型目录是否可读;这两项没问题再往下走,否则后面排查会绕远。
- 本机自测在本机用命令行发一个最简请求,能拿到返回结果,说明服务本身是活的。这一步过了,问题就只剩网络。
注意区分两件事:改监听地址是决定「服务开给哪张网卡听」,不等于「谁能进来」。它只是把门打开,门里门外还有各自的规矩,别以为改完就安全了。
放行、连通性自测与排查顺序
改完监听还是连不上,按固定顺序查,卡在哪一步就治哪一步,不要跳着猜。
| 排查顺序 | 怎么验证 | 常见卡点 |
|---|---|---|
| 服务是否在跑 | 本机发一个最简请求,有返回就是活的 | 服务没起来,或改了配置没重启 |
| 本机能否连通 | 命令行请求本机地址,正常返回 | 地址或端口写错,模型目录不可读 |
| 同网段另一台机器 | 从另一台设备发同样的请求 | 本机防火墙没放行、监听地址没改对 |
| 跨网段访问 | 跨网段的机器再试一次 | 网段隔离、路由或安全组拦截 |
系统防火墙和网段隔离是最常见的拦路虎。先看本机防火墙规则有没有放行这个端口,再确认两台机器是不是真在同一个网段里。看着像同一个楼层的网络,实际上可能是两套隔离的子网。
验证别只看端口开着。用调用方的命令行直接发一个最简请求,能返回内容才算真通。把内网地址记下来,所有客户端都填这个地址,不要填主机名,避免名字解析问题干扰你的判断。
开了之后的安全边界与并发预期
局域网不等于安全网。能连到这个端口的人,就能用你的模型和这台机器的算力。办公室之外的人不该给访问,这条边界要自己心里有数。
- 只在内网用,就别把端口映射到公网,外面扫到就能白用你的机器
- 确实要给外网用,前面必须加反向代理和鉴权,别裸着开
- 多人同时调用会互相抢显存,响应变慢是正常的,不是坏了
- 租的云主机要额外看安全组和账单,端口开放后被扫到跑量,费用算在你头上
并发能撑多少,得自己摸。同一时间几个人在调、模型多大、显存剩多少,这三项决定了这台机器的实际上限。具体怎么估,去站内的并发与显存测算页面核对当时的数字,别凭感觉拍。
还有一种情况要单独说:如果调用方分布在多个网段、或者需要统一的访问入口,那就不该继续在单机上折腾监听和防火墙,而要考虑加一层网关。判断标准很简单——维护的客户端配置文件多到开始记不住时,就该换架构了。
内网能连通只是第一步,能连通、可管理、出事有人兜底,才算真的把它用起来。下一步想先看看别人踩过的坑和不同方案的对比,可以去站点导航页和内网部署相关的指南翻一翻;并发怎么估、显存怎么算,站内也有对应工具和测算页面,按当时的数字核对一遍再决定给几个人用。→
常见问题
改完监听地址,本机还能正常用吗?
能。改成对外地址后本机依然可以访问,只是不再只绑回环口。如果改完本机反而连不上,多半是服务没重启或端口被占,先看服务日志,再确认端口有没有被别的进程占着。
同事连不上,怎么快速定位是谁的问题?
按四步走:服务在不在跑、本机通不通、同网段另一台机器通不通、跨网段通不通。前两步都过,问题基本在防火墙或网段隔离;只有跨网段失败,就去查路由和网段策略,别一上来就重装。
这样开出去会不会有风险?
纯内网、只给可信设备用,风险可控。风险来自被映射到公网或者内网有不受控的设备。判断标准很简单:这个端口允许谁访问,出问题能不能立刻关掉。做不到这两点,就先加代理和鉴权再开。