在 Windows 上装 Ollama,装完那一刻往往挺顺,麻烦都藏在后面:拉模型卡住、跑起来只听到风扇响不见显存动、别的软件连不上它。这篇按「你怎么发现它不对」来分组,每类给一个排查顺序,先分清是哪一层出的问题,再决定改哪一格配置。判断标准写清楚,也写清什么情况下这些办法不适用。
在 Windows 上装 Ollama,装完那一刻往往挺顺,麻烦都藏在后面。拉模型卡住、跑起来只听到风扇响不见显存动、别的软件连不上它——都是装完之后才冒出来的事。这篇按「你怎么发现它不对」来分组,每类给一个排查顺序,先分清是哪一层出的问题,再决定改哪一格配置。
有个前提先说在前面:下面的判断标准只对「装完了、但用不顺」这种情况管用。如果是装都装不上、双击没反应,那是安装包和系统权限的问题,得先回去看安装那一步。
先分清是哪一层出的问题
把所有故障先压成三层:模型没下来、服务没起来、上层软件接不上。三层的症状长得不一样,处理顺序也不一样。混在一起查最容易越查越乱——重装一遍看着像解决了,其实只是碰巧绕过了某一层。
最快的分层动作是回到命令行。在终端里直接跟模型对话一句,能通就说明模型和服务都活着,问题出在第三方软件那一层;通不了,再往下面两层查。这个动作比看日志快,也比翻设置页面直观。
- 命令行直接跑一句打开终端,输入一条最简单的对话指令。能返回内容就跳到第三层去看,别再折腾模型和网络。
- 查服务是不是在后台活着命令行也没反应时,看系统托盘或服务列表里那个后台进程有没有在跑。装完直接关了窗口、重启机器后忘了它会随服务启动,都会表现成「连不上」。
- 确认模型是不是真的下来了用列表命令看本地有没有目标模型。列表是空的,问题在第一层,回到拉取那一段。
模型拉不动,先别怀疑网速
看到进度条长时间不动,第一反应往往是网不行,然后停掉重来。这一步最容易被做错。先等一会儿,看它是在慢慢走还是彻底停了——模型体积大、来源在境外,慢是常态,不是故障。
真停了也别反复重试。思路应该是换下载通道,或者把模型文件单独弄下来做离线导入。反复点开始只会让残留的半截文件越积越多,下一次拉取看起来更慢,你还以为是网络在恶化。
- 拉取前先确认本地盘空间够,盘满了的报错和网络卡住看着差不多
- 中断后定期用列表命令清点本地模型,把没用完的半截清掉
- 能走离线导入就走离线导入,比在进度条上赌运气稳
- 判断是否真卡住,看的是命令行有没有新输出,不是进度条那根线
这里也有不适用的情况:如果你连列表命令都跑不动,那问题根本不在网络,回去看上一节,服务有没有起来。
跑起来很慢,显卡到底有没有干活
打开任务管理器,盯着 GPU 占用和显存两项。显存一点没涨、只有 CPU 在满负荷跑,说明模型根本没加载到卡上。这时候调温度、调上下文长度都没用,先解决「有没有上卡」这件事。
常见的根因是驱动或加速后端没配好,不是模型选错了。我见过把加速组件装到另一个 Python 环境里的,命令行里一切正常,显存就是不涨——这种时候别怀疑模型,回头核对安装路径。Windows 上集显和独显的支持范围不一样,别人能跑通的配置直接套过来,大概率不灵。
| 你看到的现象 | 大概率是哪一层 | 先做什么 |
|---|---|---|
| 显存不涨、CPU 满载 | 加速后端没生效 | 核对驱动和安装路径,再看加速组件是否装在当前环境 |
| 显存涨了一部分,速度仍慢 | 模型比显存大,往内存分摊 | 换更小的量化版本,或接受分摊 |
| 能连上但直接报错退出 | 显存或内存不够 | 按机器容量重选模型规模 |
| GPU 占用忽高忽低 | 正常调度 | 不用管,去看生成速度是否可接受 |
显存和模型规模的对应关系别靠猜。到部署测算页按自己的卡和想跑的模型算一遍,能省掉很多「装了又卸」的循环。
别的软件连不上它,多半是地址和端口
Ollama 默认只听本机地址。局域网里的另一台机器、或者容器里的程序来访问,会直接失败。这不是软件坏了,是绑定地址的问题,改的是环境变量,不是防火墙一条条放行。
填地址时还有个高频错误:把网页界面的端口和 API 的端口当成一个。两个端口不是一个东西,填错了客户端就一直转圈,日志里还看不出明显报错。第三方客户端让你填密钥时也别急着找密钥,本地这条链路通常不是按密钥鉴权的方式工作,先确认那个输入框是必填还是可以留空。
绑定地址和端口的具体写法,环境变量那个页面里写得更细,照着核对比在客户端里盲试快得多。
什么情况下该停下来别折腾
有些卡点不是配置问题,是这台机器就不适合跑这个目标。分不清这一点,会在参数上耗掉一整个下午。判断办法很简单:先看部署测算页给出的容量结论,对不上就别硬上。
- 机器内存太小,模型加载一半就崩,调参数没用,换更小的量化版本或换机器
- 已经确认显卡不支持当前加速方案,继续换参数是浪费时间,改用 CPU 推理或者换卡更实际
- 目标本来就是内网长期对外提供服务,那默认姿态不合适,该看的是面向服务的方案,不是继续修本地这一套
- 反复重装三次以上仍复现同一症状,停下来记录现象,比再装一次有价值
说白了,能装、能用、能稳定对外服务是三件事。前两件在个人机器上折腾得动,第三件要看场景,硬撑只会把排查时间拉长。
下一步先按第一节的三层分法定位一次,再去看你手上这台机器的容量结论对不对得上目标模型,两件事都清楚之后再动手改配置。→常见问题
装完之后命令行能用,但我常用的那个客户端一直连不上,先改哪里?
先确认命令行能正常对话,说明模型和服务没问题。然后去客户端里检查接口地址填的是不是本机地址加正确的端口,两个端口不要搞混;如果客户端在容器或者另一台机器上,还得把服务改成本机以外也能访问的绑定地址,改完重启服务再测。
风扇很响但是回答很慢,是显卡没在用吗?
不一定。先看任务管理器里显存有没有被占上。显存几乎没动、只有 CPU 在跑,才是没加载到卡上,通常是驱动或加速后端的问题;显存占了但速度还是慢,更可能是模型被分摊到了内存,属于容量不够,换更小的量化版本会明显好转。
拉一个模型拉了很久没动静,要不要直接重来?
先等一会儿再判断,别一卡就重下,半截文件留着反而更乱。如果确实长时间没有进展,换成离线导入或者换下载通道比反复重试更省时间。另外可以用列表命令清一遍没用的模型,给磁盘腾地方,本地模型占的空间比想象中大。