ollama怎么打开本地大模型

模型与算力

手把手带新手在 Ollama 里拉取并启动本地大模型,从装好后确认服务、挑模型、拉到跑起来、再到验证和收尾的完整顺序。

很多人装完 Ollama 就卡住了:命令行敲进去没反应,或者模型名记不清、拉了半天不敢确定是不是在下;再不然就是拉下来跑起来了,但不知道输出到底算不算正常。这篇按顺序走一遍:先确认服务活着,再按显存和用途挑一个模型,拉取、启动、验证,最后给你一份出错时的排查顺序。不涉及选型结论和硬件采购,那些另开篇讲。

装完 Ollama 之后卡住的人,问题基本不在同一处:有人敲了命令没反应,有人模型名记不清、拉了半天不确定是不是在下,还有人拉下来跑起来了,却不知道输出算不算正常。这篇按实际顺序走一遍,从服务确认到验证收尾。

顺序是:先确认服务活着,再按显存和用途挑一个模型,然后拉取、启动、验证,最后给一份出错时的排查顺序。选型结论和硬件采购这里不碰。

第一步:确认 Ollama 这个服务是不是活着

要先分清两件事:命令行工具能在终端敲出来,和后台服务在跑,不是一回事。服务没起来时,所有拉取和对话都会失败,但报错看起来常常像是装坏了。

  1. 问一句版本在终端敲版本命令,能出结果说明命令行工具本身没问题;报「command not found」才是安装或 PATH 的事。
  2. 列一下本地模型再敲列模型的命令。这条能正常返回(哪怕列表是空的)说明服务和命令行通了;如果这里报连接错误,就是服务没在跑。
  3. 把服务拉起来去系统托盘或后台进程里找 Ollama,手动启动再重跑上面两条命令。两条都不报错,环境才算通。
  4. 检查监听地址跨机器或容器里用,要确认监听地址和端口对得上。默认只在本机可用,改过环境变量的话要连带检查。

具体的命令写法和术语对照,记不清就到 /ai-dict 查一下,比凭记忆试要快。

第二步:挑一个模型并把它拉下来

模型名由「名字加标签」组成,标签代表不同的体量或量化档位。不写标签往往拿到的是默认档,未必适合你的机器。挑之前先去 /models 按参数量和量化方式筛一遍,看到名字再拉。

先看什么判断标准不适用的情况
显存大小能否装下目标档位的权重,装不下就得换更小的档只打算用 CPU 跑、能接受很慢,显存就不是硬门槛
用途日常问答、写代码、翻译对体量和能力的要求不同只是想把流程跑通,任何档位都能先试
磁盘空间大模型占的空间按量级算,拉之前先确认剩余空间用完就删单次实验的情况,可以忽略长期占用
网络条件体积越大对网络稳定性越敏感本地已有离线包的情况另说

显存不够会退到内存甚至直接跑不动。档位取舍的判断标准在 /ai-dict/category/hardware,别凭模型名字大小猜。

  • 拉取时间主要取决于网络和体积,几百 MB 和几十 GB 是两个量级,别用同一个心理预期去等。
  • 下载中途断掉可以重跑同一条命令,已经下载下来的分层会复用,不必删了从头再来。
  • 不确定要哪个,就先拉一个体量小的把全流程跑通,再换大的,避免第一次就把磁盘和时间全砸进去。
  • 拉完确认一下本地列表里真的出现了,再进入下一步;列表里没有却直接启动,通常就是名字写错了。

第三步:启动对话,以及怎么判断它真的跑起来了

启动分两种用法:命令行里直接对话,适合快速验证;把服务挂着当本地接口用,适合接自己的程序。两者的入口不同,别在一个地方反复找另一个。

现象大概率是什么先做什么
首次提问很久没字权重要从磁盘读进显存,首次加载慢是正常的等它加载完,第二次问同样的问题对比
一直一样慢没吃上加速卡,或者显存被别的东西占了关掉无关进程,再对比一次速度
输出是乱码或空转多半是档位或量化跟你的环境不匹配换一个更小的档位重试
提问后没有任何输出模型没真正加载起来回到列表命令确认模型在不在本地

验证盯三件事就够了:模型进入了加载、提问后能连续输出、输出不是乱码或空转。只要有一项不对,先别怪模型,按下一节的顺序查。

第四步:不出结果时的排查顺序

按这个顺序走,别跳步:服务在不在、模型在不在本地列表、模型名和标签有没有写错、显存和内存够不够、网络能不能到仓库。跳步的结果往往是把网络问题当安装问题修。

  • 报「找不到模型」大多是名字或标签写错,不是网络问题;报连接失败才是服务层面的事,两类错误别混着治。
  • 拉取卡住或极慢,先分清是到仓库这一段的问题,还是磁盘写入太慢,换源和错峰重试都属于这一步。
  • 能拉能跑但明显变慢或者中途卡死,优先怀疑显存被别人占了,先关无关进程再测一次。
  • 折腾超过预期还没通,就退回到最小可跑的组合:小体量模型加默认参数,先把链路跑通再谈别的。

如果你是在做选型对比,想确认不同做法的成本差异,到 /price-watch 核对当时的数字,别用记忆里的值下判断。

本地跑模型大部分时间不是花在「会不会用」上,而是花在确认每一步到底成没成。把验证动作做在前面,比事后猜错误省事。
下一步想让本地模型接进你的流程、或者顺便比一下用云端接口的成本,去 /sites 看看中转与工具目录,按用途筛一遍再决定。

常见问题

Ollama 装好了,敲命令却提示连不上服务,是装坏了吗?

多数情况不是装坏,是后台服务没在跑。先在系统托盘或进程列表里确认服务起来了,再重试命令。如果服务明明在跑还连不上,检查一下监听地址和端口有没有被环境变量改过,本机用默认值一般不会出问题。

拉取模型要很久,怎么判断是卡住了还是在正常下载?

看进度有没有在动就行。Ollama 是按层下载的,你会看到一层一层完成,长时间完全不动才叫卡住。真卡住了直接中断重跑同一条命令,已下好的层会复用,不用把整个模型删掉重来。

本地跑起来之后,怎么接进自己的程序用?

Ollama 跑起来本身就是个本地服务,程序按接口地址去调就行,不需要额外装网关。地址、端口和接口路径可以先在站内对照页确认一遍,再接自己的代码,能少踩一轮连不上的坑。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。