很多人装完 Ollama 就卡住了:命令行敲进去没反应,或者模型名记不清、拉了半天不敢确定是不是在下;再不然就是拉下来跑起来了,但不知道输出到底算不算正常。这篇按顺序走一遍:先确认服务活着,再按显存和用途挑一个模型,拉取、启动、验证,最后给你一份出错时的排查顺序。不涉及选型结论和硬件采购,那些另开篇讲。
装完 Ollama 之后卡住的人,问题基本不在同一处:有人敲了命令没反应,有人模型名记不清、拉了半天不确定是不是在下,还有人拉下来跑起来了,却不知道输出算不算正常。这篇按实际顺序走一遍,从服务确认到验证收尾。
顺序是:先确认服务活着,再按显存和用途挑一个模型,然后拉取、启动、验证,最后给一份出错时的排查顺序。选型结论和硬件采购这里不碰。
第一步:确认 Ollama 这个服务是不是活着
要先分清两件事:命令行工具能在终端敲出来,和后台服务在跑,不是一回事。服务没起来时,所有拉取和对话都会失败,但报错看起来常常像是装坏了。
- 问一句版本在终端敲版本命令,能出结果说明命令行工具本身没问题;报「command not found」才是安装或 PATH 的事。
- 列一下本地模型再敲列模型的命令。这条能正常返回(哪怕列表是空的)说明服务和命令行通了;如果这里报连接错误,就是服务没在跑。
- 把服务拉起来去系统托盘或后台进程里找 Ollama,手动启动再重跑上面两条命令。两条都不报错,环境才算通。
- 检查监听地址跨机器或容器里用,要确认监听地址和端口对得上。默认只在本机可用,改过环境变量的话要连带检查。
具体的命令写法和术语对照,记不清就到 /ai-dict 查一下,比凭记忆试要快。
第二步:挑一个模型并把它拉下来
模型名由「名字加标签」组成,标签代表不同的体量或量化档位。不写标签往往拿到的是默认档,未必适合你的机器。挑之前先去 /models 按参数量和量化方式筛一遍,看到名字再拉。
| 先看什么 | 判断标准 | 不适用的情况 |
|---|---|---|
| 显存大小 | 能否装下目标档位的权重,装不下就得换更小的档 | 只打算用 CPU 跑、能接受很慢,显存就不是硬门槛 |
| 用途 | 日常问答、写代码、翻译对体量和能力的要求不同 | 只是想把流程跑通,任何档位都能先试 |
| 磁盘空间 | 大模型占的空间按量级算,拉之前先确认剩余空间 | 用完就删单次实验的情况,可以忽略长期占用 |
| 网络条件 | 体积越大对网络稳定性越敏感 | 本地已有离线包的情况另说 |
显存不够会退到内存甚至直接跑不动。档位取舍的判断标准在 /ai-dict/category/hardware,别凭模型名字大小猜。
- 拉取时间主要取决于网络和体积,几百 MB 和几十 GB 是两个量级,别用同一个心理预期去等。
- 下载中途断掉可以重跑同一条命令,已经下载下来的分层会复用,不必删了从头再来。
- 不确定要哪个,就先拉一个体量小的把全流程跑通,再换大的,避免第一次就把磁盘和时间全砸进去。
- 拉完确认一下本地列表里真的出现了,再进入下一步;列表里没有却直接启动,通常就是名字写错了。
第三步:启动对话,以及怎么判断它真的跑起来了
启动分两种用法:命令行里直接对话,适合快速验证;把服务挂着当本地接口用,适合接自己的程序。两者的入口不同,别在一个地方反复找另一个。
| 现象 | 大概率是什么 | 先做什么 |
|---|---|---|
| 首次提问很久没字 | 权重要从磁盘读进显存,首次加载慢是正常的 | 等它加载完,第二次问同样的问题对比 |
| 一直一样慢 | 没吃上加速卡,或者显存被别的东西占了 | 关掉无关进程,再对比一次速度 |
| 输出是乱码或空转 | 多半是档位或量化跟你的环境不匹配 | 换一个更小的档位重试 |
| 提问后没有任何输出 | 模型没真正加载起来 | 回到列表命令确认模型在不在本地 |
验证盯三件事就够了:模型进入了加载、提问后能连续输出、输出不是乱码或空转。只要有一项不对,先别怪模型,按下一节的顺序查。
第四步:不出结果时的排查顺序
按这个顺序走,别跳步:服务在不在、模型在不在本地列表、模型名和标签有没有写错、显存和内存够不够、网络能不能到仓库。跳步的结果往往是把网络问题当安装问题修。
- 报「找不到模型」大多是名字或标签写错,不是网络问题;报连接失败才是服务层面的事,两类错误别混着治。
- 拉取卡住或极慢,先分清是到仓库这一段的问题,还是磁盘写入太慢,换源和错峰重试都属于这一步。
- 能拉能跑但明显变慢或者中途卡死,优先怀疑显存被别人占了,先关无关进程再测一次。
- 折腾超过预期还没通,就退回到最小可跑的组合:小体量模型加默认参数,先把链路跑通再谈别的。
如果你是在做选型对比,想确认不同做法的成本差异,到 /price-watch 核对当时的数字,别用记忆里的值下判断。
本地跑模型大部分时间不是花在「会不会用」上,而是花在确认每一步到底成没成。把验证动作做在前面,比事后猜错误省事。下一步想让本地模型接进你的流程、或者顺便比一下用云端接口的成本,去 /sites 看看中转与工具目录,按用途筛一遍再决定。→
常见问题
Ollama 装好了,敲命令却提示连不上服务,是装坏了吗?
多数情况不是装坏,是后台服务没在跑。先在系统托盘或进程列表里确认服务起来了,再重试命令。如果服务明明在跑还连不上,检查一下监听地址和端口有没有被环境变量改过,本机用默认值一般不会出问题。
拉取模型要很久,怎么判断是卡住了还是在正常下载?
看进度有没有在动就行。Ollama 是按层下载的,你会看到一层一层完成,长时间完全不动才叫卡住。真卡住了直接中断重跑同一条命令,已下好的层会复用,不用把整个模型删掉重来。
本地跑起来之后,怎么接进自己的程序用?
Ollama 跑起来本身就是个本地服务,程序按接口地址去调就行,不需要额外装网关。地址、端口和接口路径可以先在站内对照页确认一遍,再接自己的代码,能少踩一轮连不上的坑。