ollama run 和 serve 推荐清单:装完第一周就该这么试

模型与算力

用一份可执行的试用清单判断 ollama run 和 serve 该怎么配、配哪些模型、什么时候该换工具,避免装完就放着吃灰。

很多人装完 Ollama,敲一次 ollama run 看到能回话,就以为自己搞定了。真到要给别的程序调、要开机自启、要多人共用,才发现 serve 那一层根本没配。这篇给一份按天推进的试用清单:头几天拿 run 探路,后面几天拿 serve 验证它能不能当服务用,一周下来你自然知道值不值得继续。

装完 Ollama 敲一次 ollama run,看到模型能回话,很多人就觉得这事儿成了。过两天想给编辑器接上、想开机自己起、想让另一台机器也能调,才发现 serve 那一层压根没碰过。问题不在你不会,在于没人跟你说清楚:什么时候只用 run 就够,什么时候必须上 serve。

下面这份清单按天推进。前两三天拿 run 探路,把候选模型过一遍;第三四天开始摸 serve,看它能不能当服务用;一周后拿几个问题自检,决定留还是撤。每一步都给判断标准,不保证你装完就爽,但能保证一周下来你不糊涂。

前两三天:只用 run,把候选模型跑一遍

这个阶段最容易犯的错,是拿一句「你好」试完就下结论。真到写代码或者读长文档,表现能差出一截。先把你日常真会问的问题分三类:改代码、读文档、写文案,每类准备五六条,同一批问题喂给不同模型,对比才有意义。

  • 每个候选模型只跑一轮,别反复调,重点看首字多久出来、一句话说完要等多久、中文表达顺不顺
  • 速度感受比参数量更有参考价值,参数量大的模型未必适合你这台机器
  • 显存吃紧就别硬上大模型,先按站内测算口径估一遍能塞下哪一档,再回模型库挑具体的
  • 这一阶段别碰 serve、别装前端,免得把跑不动和连不上混成一件事

至于具体能塞下哪一档,去 /models/deploy 按当时的测算口径估一遍,再回模型库挑型号。不同量化档位对显存和出字速度影响很大,同一个模型换档位,手感能差出一档,这事在 run 阶段就该定下来。

第三四天:开始用 serve,检验它能不能当服务

判断标准很直接:除了你本机这个终端,还有没有第二个东西要调它。编辑器插件、脚本、局域网里另一台机器,只要占一样,就必须走 serve。一直自己在命令行里聊,run 就够了,别为了「看起来完整」去配服务。

  1. 先起服务,用 curl 打一次确认端口和模型名两格填对,能返回再往下走。这一步过了,后面出问题才分得清是服务没起还是客户端填错。
  2. 接客户端编辑器或脚本里把地址指过来,用同一批问题试,看返回是否一致。对不上就回查请求格式。
  3. 配开机自启要机器重启后还能用,就得固定服务。参数别背,按站内 ollama.service 相关文章对一遍,配完重启验证一次。
  4. 量一次延迟用 /tools/speed-test 记个基线,将来换模型或换机器时有对照,别凭感觉说变快了。

局域网访问这块,常见误判是只顾着改绑定地址,结果防火墙那头没放行,客户端一直转圈。先在本机 curl 通,再换另一台机器试,两层都过了再谈稳定。三步里任何一步卡住,都往回退一格排查,别同时改三处。

模型清单按任务分,不按排行榜分

本地部署最容易踩的坑是模型堆了一堆,常用的还是那一个,磁盘和加载时间全被拖累。按任务分档比按名次挑更靠谱,下面这张对照表可以直接照着填。

用途选型关注点留几个
对话与写作中文是否夹生、长回复是否啰嗦一到两个
代码补全补全速度、上下文长度一到两个
向量化 / 检索输出维度是否匹配你的库一个即可

三档之间不要互相代替。拿对话模型去做代码补全,速度先不说,格式经常对不上;拿向量模型当聊天用,更是白费。每档只留一到两个,多出来的删掉。榜单名次只当参考,真实任务差距有限,读法可以看站内榜单解读那几篇,别把分数当结论,具体数字以页面当时显示为准。

一周后:拿三个问题决定留不留

第一问,这一周你真正用它干了多少活;第二问,同一件事用线上 API 会不会更快、更省心;第三问,数据是不是真的不能出内网。三问里有两问答不上来,就别继续往里投时间了,装完吃灰的例子多半卡在这。

  • 结论是留:服务固定成开机自启,模型固定成那一两个,其余删干净,配置越少越不容易坏
  • 结论是只当玩具:降级回 run 层,别维护服务,省下的时间比什么都实在
  • 结论是换工具:先把现有配置和模型清单记下来,再去看别的方案,方便回头对照

这套清单不承诺你装完就离不开它,只保证一周之后你对它有个清楚的判断。需要横向比较不同方案时,去 /sites 和价格追踪页看当时的数据,别凭印象拍板。

下一步先把你这一周的问题清单和模型试跑记录整理出来,再决定留哪一档。上站内模型库和部署测算页对一遍,能少走不少回头路。

常见问题

run 和 serve 到底有什么区别,非得两个都用吗

简单说 run 是一次性的对话入口,敲完起一个模型聊一段;serve 是把它变成常驻服务,让别的程序按接口来调。不是非得都用,只自己聊天就 run,有第二个调用方就得上 serve。先想清楚有没有第二个调用方,再决定装哪套。

模型越大多就越值得装吗

未必。参数大意味着显存和加载时间都涨,日常那点问答和改代码,小一档的模型往往够用还更快。建议按任务分档挑,每档留一两个,别把整个列表都拖下来。显存能塞下多少,先按站内部署测算那页估一遍再动手。

装完用了一周觉得没意思,是不是白折腾了

不算。本地部署的价值要看场景:数据不能出内网的团队、要离线跑的机器、想省掉按量计费的长期小任务,这些才划算。如果只是偶尔问两句,用线上服务更快更省心。花一周把这件事试明白,本身就是收益。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。