Ollama(本地大模型运行工具)极简安装指南:Windows一键离线跑大模型

接入与开发

零基础在 Windows 上装好 Ollama 并跑通第一个本地模型,走命令行极简路线,不碰显卡参数也能起步。

很多人想在自己电脑上跑个大模型,结果卡在第一步:下载哪个文件、装完在哪打开、命令行敲什么。这篇按最省事的顺序走一遍,从安装包到第一条提问,中间那些容易卡住的点提前说清。如果你更想看图形界面点点点,那是 LM Studio 那条路;这篇只讲命令行,快、干净、适合以后接脚本和工具。

很多人想在 Windows 上跑个本地大模型,卡的第一步不是技术,是不知道下哪个文件、装完在哪打开、命令行敲什么。这篇按最省事的顺序走一遍:从安装包到第一条提问,中间容易卡住的点提前摊开说。整篇只讲命令行,快、干净,以后接脚本和工具也顺手。如果你更想看图形界面点点点,那是另一条路,这篇不展开。

先说明一件事:Ollama 装完不会弹一个聊天窗口给你,它是后台常驻的服务,你通过命令行跟它打交道。理解这点,后面就不会觉得「装了个寂寞」。整个流程可以拆成三段:装之前确认硬件和网络,安装本身三步,然后拉一个模型把它跑起来。哪一步卡了,最后有排查顺序。

装之前先确认两件事:硬件和网络

模型跑不跑得动,主要看可用显存和内存,以及你选的是哪个量化档位。这两个数是配套的:同一款模型,量化档位越高越占资源,回答质量通常也更好。具体怎么换算、当前哪些档位适合什么配置,别听别人拍脑袋,到 /models/deploy 看当时的测算口径,用自己机器的实际数字对一遍。

  • 内存与显存:先看任务管理器里的可用量,留出余量再选档位,别贴着上限跑
  • 磁盘空间:模型文件普遍不小,安装前留够空余,别装进快满的系统盘
  • 网络:安装包和模型拉取都走网;想完全离线,得提前在有网的机器上把模型导出来再拷过去
  • 权限:公司统一管理的电脑,先确认能不能装未经审批的软件,不行就换个人设备试

安装:三步走完,别在中间多做动作

  1. 下载并安装拿到对应 Windows 的安装包,双击一路默认。装完通常不弹窗口,这是正常的,它是后台服务不是聊天软件。装完顺手重启一次终端,否则新加进环境变量的路径可能不生效——这是后面「命令找不到」最常见的原因。
  2. 确认服务起来了看系统托盘里有没有对应图标,或者直接在命令行查一下版本,能返回版本号就说明装好了。第一步没返回任何东西,先别怀疑安装失败,九成是终端没重启。
  3. 验证服务地址它默认监听本机的一个端口,用浏览器或命令行访问一下这个地址,能出提示就说明服务在跑。这一步过了,才算真正可以拉模型。

这三步的顺序别乱:先确认服务在跑,再去拉模型。有人跳过验证直接拉,结果拉了半小时发现服务根本没起来,白等。装的过程中也别顺手去改配置、挪目录,默认路径最省事,等跑通了再考虑调整。

拉第一个模型并提问

第一次跑,目标是「跑通」,不是「跑好」。选一个体积小、量化档位低的模型先试,能正常出结果再换大的。不同模型的大小和量化选项会变,别记死某个名字,到 /models 查当时的清单,按自己机器的可用资源挑一个偏小的。

拉取用命令行,进度条走完就算下来了。这里有个坑:中途断网不会从零重来,但可能留下不完整的文件,再拉之前先把不完整的删掉,否则可能一直报错。拉完直接进对话模式提问,第一次加载进内存会明显慢,属于正常,之后就快了。

你想做的事命令行的动作方向注意点
看服务是否在跑查询版本或访问本机服务地址没反应先重启终端
下载模型用拉取命令指定模型名断网后先清残留再重拉
开始提问进入对话模式直接输入首次加载慢是正常现象
腾出磁盘单独删除不再用的模型退出对话不等于卸载模型

卡住了按这个顺序排查

按下面的顺序从上往下查,别跳步。大多数人的问题其实在最前面两条,只是习惯性地以为是模型或显卡的锅。每查完一条就重试一次,能定位到具体哪一步,比反复重装省事得多。

命令找不到
先重启终端,再确认安装路径进了环境变量,两条都对还不行再看安装是否完整
服务连不上
看后台进程在不在;进程在但连不上,多半是端口被别的程序占用了
回答极慢或直接崩
基本是模型太大,换更小的量化档位,或先降低上下文长度再试
下载慢、拉不动
换网络环境,或走离线导入;导入命令以当前官方帮助为准,别照抄旧文章里的写法

这套排查顺序不适用于一种情况:机器本身可用内存常年就很紧张。那种情况下怎么调参数都容易崩,先关掉点别的东西,或者换一台设备,比在参数上折腾划算。判断标准很简单——任务管理器里可用内存一直见底,就别在模型大小上找原因了。

第一次跑本地模型,跑通比跑好重要;先让它出字,再谈快不快、准不准。
下一步装好只是起点,模型选型、量化档位和实际速度的对照更适合边看数字边判断,去站内模型与部署资料页核对当前口径,再决定要不要换更大的模型或调整参数。

常见问题

装完在哪打开?为什么找不到图标?

Ollama 默认是后台服务,不是带界面的聊天软件,所以装完没窗口很正常。你在终端里敲命令就能用,也正因为它只提供本地接口,后面才能被别的客户端、脚本或开发工具直接调用。想要图形界面,可以另装前端,或者干脆用 LM Studio 那条路。

我的电脑没有独立显卡,能跑吗?

能跑,但只能跑很小的模型,速度会明显慢,适合先验证流程、做一点轻量文本处理。真要用它干日常活,还是先看内存和显存够不够,判断口径到 /models/deploy 那页对照当时的测算方式。跑不动就别硬撑,换回在线 API 更省事。

本地跑和用在线 API,什么时候该选哪个?

数据完全不想出本机、或者要断网用,就走本地;追求效果、速度、长上下文和稳定并发,在线 API 通常更划算。四条路的取舍对照可以顺着本地模型那条思路再想一遍,别只看「免费」两个字,电费、时间和维护也是成本。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。