很多人装完 Ollama 敲完一条命令,能对着终端聊了,就以为服务已经开好了;结果一接 Open WebUI 或者自己写的脚本,立刻报连不上。问题不在模型,在 run 和 serve 是两条不同的路。这篇把两者的分工、判断标准和具体做法讲清楚,也说明哪些场景下这套区分根本不适用。
很多人装完 Ollama,敲一条命令,终端里能对着模型聊了,就默认「服务已经开好了」。等接上 Open WebUI 或者自己写的脚本,立刻报连不上。问题不在模型没下载,也不在网络,在于 run 和 serve 干的是两件不同的事。
这篇不讲安装,只讲这两条命令各自的职责边界,以及你该怎么按接下来的动作去选。判断顺序比命令本身重要:先想清楚「谁要用这个模型」,再决定是开个对话窗口,还是让一个后台服务常驻等人来调。
run 和 serve 各自在替你干什么
run 是前台行为。它把模型拉起来,在当前终端里给你一个对话入口,你输入、它回复,退出这个终端,这轮就散了。它适合「我就想看看这模型中文顺不顺、回答合不合我口味」这种一次性的事。
serve 是后台行为。它把 Ollama 的本地服务跑起来,对外提供一个接口,自己不跟你聊天,只等别的程序来敲门。网页界面、知识库工具、你写的脚本,找的都是这个接口,不是你的终端窗口。
| 对比项 | run | serve |
|---|---|---|
| 主要用途 | 当前终端里直接对话 | 给别的程序提供本地接口 |
| 存活范围 | 跟着这个终端走,退出即止 | 常驻后台,直到你停掉它 |
| 谁在用 | 你本人 | 网页界面、脚本、工具 |
| 典型误判 | 以为聊完就等于服务好了 | 以为起了就一定能被外部访问 |
按你接下来要干的事选,而不是按哪个命令短
选哪个不该看命令长短,该看下一步动作。只是自己试模型,run 就够,别一上来折腾后台和配置文件,越折腾越容易在端口上卡住。要给别的程序调用,就得让服务常驻,这时候 run 那个窗口反而不重要。
还有一种情况容易归错类:要给局域网里另一台机器用。这时重点不在 serve 起没起,而在监听地址那一格有没有放开。默认只监听本机,别的机器连不上是配置问题,不是命令选错。
- 只想试模型答得顺不顺:用 run,退出再进不丢模型,不用改配置
- 要接网页界面、知识库或自写脚本:用 serve 常驻,先确认接口能被本机访问
- 要给同网段别的机器用:改监听地址,别只盯着 serve 有没有跑起来
- 系统装成后台服务了:多半已经被托管,别再手动起一次,容易撞端口
两条路各自要注意的几个动作
run 这条路上,想换模型直接在命令后面带名字,别去翻配置文件。退出再进不会丢模型,重复下载才是真浪费时间。唯一要留意的是终端别关,关了这轮就没了。
serve 这条路上,起完之后先自己拿浏览器或命令行敲一下本地地址,确认端口通,再接上层工具。跳过这步直接装界面,出错时你分不清是服务没起、端口不对,还是界面配置填错。
- 先确认服务进程在跑起 serve 之后看终端有没有报错;如果被系统托管,去查托管状态,别重复启动。
- 本机自测端口用浏览器或命令行访问本地接口地址,能返回内容说明服务通了,再往下走。
- 再接上层工具把接口地址填进网页界面或脚本的配置项,填完保存后重启那个工具,让它重新读配置。
- 调常驻时长想让模型在内存里多待一会儿,去找保持时长的那个参数,它管的不是 serve 本身。
这几种情况别照这套分
这套区分只适用于 Ollama 本身。机器上装的是别的推理框架,run 和 serve 这两个词的含义就不通用了,照着套只会把自己绕进去。
容器里跑的时候,宿主机看不看得见服务,取决于端口映射有没有做,跟你在容器里选 run 还是 serve 关系不大。企业里多人共用一台机器,问题会转到并发和显存上,那是另一层的事,命令选对也解决不了排队。
所以先认清你面对的是哪一类问题。命令层面的事,分清前台对话和后台接口就够;再往上,是网络、容器还是资源,得单独查。想对照不同接入方式的实际表现,可以去站内工具目录看看别人怎么配的,再到测速页面核对当时的数字,比自己盲试省时间。
下一步想对比不同接入方式和工具配置的差异,去工具目录和测速页面看当时的数据,再决定自己是该用前台对话还是让服务常驻。→常见问题
我只敲了 ollama run 就能用网页界面连上了,是不是不用 serve?
能用说明服务其实已经被带起来了,只是你没显式启动。这种状态不稳:终端一关、机器一重启可能就没了。要长期给别的工具调用,还是把它当服务来管。
ollama serve 之后终端卡住不动,是出问题了吗?
多数情况是正常的,它就是在前台跑着等请求,关掉窗口服务就没了。想让它常驻,得放到后台跑或者交给系统服务托管,别指望一个前台终端。
本地接口能通,上层工具还是连不上,该先查哪?
先确认你填进去的地址和端口跟服务实际监听的是不是同一个,再确认那台工具所在的机器(或容器)能不能访问到这个地址。地址写对了但网络隔离,照样连不上。