ollama使用方法

你可能刚听说本地跑大模型不用显卡集群，于是搜到 Ollama，装完却不知道下一步敲什么；或者敲了命令半天没反应，分不清是没拉模型、服务没起还是网络在转圈。这篇按一条能走完的路径来：先确认你要的是哪种用法，再按顺序装、起、拉、跑，最后给出几种常见卡点的排查顺序。不承诺某台机器一定跑得动，只告诉你每一步该看到什么、看不到该去哪儿核对。

你可能是听说本地跑大模型不用显卡集群，于是搜到 Ollama，装完之后却对着空终端不知道敲什么；也可能命令发出去了半天没反应，分不清是模型没拉、服务没起，还是网络在转圈。这几个状态看起来都像「卡住」，但排查方向完全不一样，先搞清楚自己在哪一步，比反复重装有用得多。这篇按一条能走完的顺序来：先确认你要哪种用法，再按顺序装、起、拉、跑，最后给常见的卡点排查顺序。

这里不承诺某台机器一定跑得动，也不给死数字。每一步该看到什么、看不到该去哪儿核对，才是能带走的东西。凡是要看当下的价格、规格、榜单或硬件对应关系，一律去站内对应页面看当时的值。

装之前先分清：你要的是命令行还是图形界面

纯终端对话

只想要一个能在命令行里问答的本地模型，装 Ollama 本体就够，不用再配别的。

当后端接口

想让自己的脚本或程序调用本地模型，Ollama 自带的本地接口能顶一阵，注意端口和路径。

图形聊天窗口

想点鼠标聊天，通常要在 Ollama 之上再套一层界面工具，本体只负责加载和推理。

• 按操作系统选安装方式：桌面系统走图形安装包更省事；服务器和容器环境走命令行安装脚本更顺手，别在服务器上硬套桌面流程。
• 先规划模型放哪：默认路径往往落在系统盘，模型文件体积大，装之前就把存储目录想好，装完再挪很麻烦。
• 判断硬件下限：显存和内存决定能跑多大参数、哪个量化档位，具体对应关系到 /models/deploy 按你的卡和参数量算一遍。
• 先定一个近期目标：是验证链路能通，还是要长期日常用，两者的模型选择和存储规划不同。

安装与服务启动：确认它真的在跑

1. 确认安装成功新开一个终端窗口敲版本查询命令，能看到输出说明可执行文件已经在 PATH 里；提示找不到命令，多半是安装方式选的路径没进环境变量。
2. 确认服务在跑查版本之后紧接着做一次健康检查，比如用本地请求打一下默认端口。有响应才叫服务起来了，没响应先别去拉模型。
3. 记下监听地址和端口默认通常只监听本机。要让同网段别的机器访问得改环境变量，改法和暴露风险看 /ai-dict/category/infra。
4. 设成常驻或开机自启不然每次重启都要手动起一遍。Linux 下找不到服务名是高频坑，先确认你是脚本安装还是包管理器安装，再找对应的服务单元。

拉模型与第一条命令：从下载到出字

下载和运行是两件事。下载只把文件取到本地磁盘，运行才会把权重加载进内存或显存。很多人卡在「下载完了没反应」，其实是从没执行过运行那一步，或者运行了但模型根本装不下，被不停地换进换出。

所以先选一个体量小的模型把流程走通，别一上来就拉最大的那个，下载时间和服务负载都不划算。加载起来之后观察三种信号：加载耗时、第一个字出现的时间、之后每秒吐多少字。三个都正常，说明链路通了。

• 一直不出字：先看显存是不是被别的进程占满，再确认模型大小是否超出可用显存。
• 时快时慢：可能在做内存和显存之间的搬运，参数量或量化档位选大了。
• 报显存不足：换更小的模型或更激进的量化档位，别硬撑。
• 参数看不懂：到 /ai-dict/category/tips 对照参数含义，别凭猜改配置。
• 跑通之后把完整命令记下来：模型名加参数一起存，后面接工具、写脚本直接复制。

跑通之后接什么：接口、界面和下一步

命令行能用之后，才有必要考虑接图形界面、知识库或代码编辑器。常见的新手自阻塞是一次性装一堆东西，结果任何一环出问题都定位不了。一次加一个，每次加完都验证一遍原先那条命令还能不能跑。

一份可以照着打勾的检查清单

• 服务在跑：健康检查有响应。
• 命令能通：版本查询能返回。
• 模型拉下来了：本地能找到对应文件。
• 能出字：第一条命令有正常输出。
• 速度可接受：加载和输出不让人等到怀疑人生。

五步依次确认，跳过任何一步，后面都会加倍还回来。失败时先把范围缩小：是环境问题、网络问题还是模型本身的问题，这三条排查路径完全不同。另外，凡是改过环境变量的，记得重启服务再验证，很多「改了没生效」都栽在这一步。

最后一条经验：不要相信截图和口口相传的旧值。要看当下的价格、规格、榜单数字，一律去站内对应页面核对，页面上的才是当时的值。