很多人想在自己电脑上跑个大模型,结果卡在第一步:下载哪个文件、装完在哪打开、命令行敲什么。这篇按最省事的顺序走一遍,从安装包到第一条提问,中间那些容易卡住的点提前说清。如果你更想看图形界面点点点,那是 LM Studio 那条路;这篇只讲命令行,快、干净、适合以后接脚本和工具。
很多人想在 Windows 上跑个本地大模型,卡的第一步不是技术,是不知道下哪个文件、装完在哪打开、命令行敲什么。这篇按最省事的顺序走一遍:从安装包到第一条提问,中间容易卡住的点提前摊开说。整篇只讲命令行,快、干净,以后接脚本和工具也顺手。如果你更想看图形界面点点点,那是另一条路,这篇不展开。
先说明一件事:Ollama 装完不会弹一个聊天窗口给你,它是后台常驻的服务,你通过命令行跟它打交道。理解这点,后面就不会觉得「装了个寂寞」。整个流程可以拆成三段:装之前确认硬件和网络,安装本身三步,然后拉一个模型把它跑起来。哪一步卡了,最后有排查顺序。
装之前先确认两件事:硬件和网络
模型跑不跑得动,主要看可用显存和内存,以及你选的是哪个量化档位。这两个数是配套的:同一款模型,量化档位越高越占资源,回答质量通常也更好。具体怎么换算、当前哪些档位适合什么配置,别听别人拍脑袋,到 /models/deploy 看当时的测算口径,用自己机器的实际数字对一遍。
- 内存与显存:先看任务管理器里的可用量,留出余量再选档位,别贴着上限跑
- 磁盘空间:模型文件普遍不小,安装前留够空余,别装进快满的系统盘
- 网络:安装包和模型拉取都走网;想完全离线,得提前在有网的机器上把模型导出来再拷过去
- 权限:公司统一管理的电脑,先确认能不能装未经审批的软件,不行就换个人设备试
安装:三步走完,别在中间多做动作
- 下载并安装拿到对应 Windows 的安装包,双击一路默认。装完通常不弹窗口,这是正常的,它是后台服务不是聊天软件。装完顺手重启一次终端,否则新加进环境变量的路径可能不生效——这是后面「命令找不到」最常见的原因。
- 确认服务起来了看系统托盘里有没有对应图标,或者直接在命令行查一下版本,能返回版本号就说明装好了。第一步没返回任何东西,先别怀疑安装失败,九成是终端没重启。
- 验证服务地址它默认监听本机的一个端口,用浏览器或命令行访问一下这个地址,能出提示就说明服务在跑。这一步过了,才算真正可以拉模型。
这三步的顺序别乱:先确认服务在跑,再去拉模型。有人跳过验证直接拉,结果拉了半小时发现服务根本没起来,白等。装的过程中也别顺手去改配置、挪目录,默认路径最省事,等跑通了再考虑调整。
拉第一个模型并提问
第一次跑,目标是「跑通」,不是「跑好」。选一个体积小、量化档位低的模型先试,能正常出结果再换大的。不同模型的大小和量化选项会变,别记死某个名字,到 /models 查当时的清单,按自己机器的可用资源挑一个偏小的。
拉取用命令行,进度条走完就算下来了。这里有个坑:中途断网不会从零重来,但可能留下不完整的文件,再拉之前先把不完整的删掉,否则可能一直报错。拉完直接进对话模式提问,第一次加载进内存会明显慢,属于正常,之后就快了。
| 你想做的事 | 命令行的动作方向 | 注意点 |
|---|---|---|
| 看服务是否在跑 | 查询版本或访问本机服务地址 | 没反应先重启终端 |
| 下载模型 | 用拉取命令指定模型名 | 断网后先清残留再重拉 |
| 开始提问 | 进入对话模式直接输入 | 首次加载慢是正常现象 |
| 腾出磁盘 | 单独删除不再用的模型 | 退出对话不等于卸载模型 |
卡住了按这个顺序排查
按下面的顺序从上往下查,别跳步。大多数人的问题其实在最前面两条,只是习惯性地以为是模型或显卡的锅。每查完一条就重试一次,能定位到具体哪一步,比反复重装省事得多。
- 命令找不到
- 先重启终端,再确认安装路径进了环境变量,两条都对还不行再看安装是否完整
- 服务连不上
- 看后台进程在不在;进程在但连不上,多半是端口被别的程序占用了
- 回答极慢或直接崩
- 基本是模型太大,换更小的量化档位,或先降低上下文长度再试
- 下载慢、拉不动
- 换网络环境,或走离线导入;导入命令以当前官方帮助为准,别照抄旧文章里的写法
这套排查顺序不适用于一种情况:机器本身可用内存常年就很紧张。那种情况下怎么调参数都容易崩,先关掉点别的东西,或者换一台设备,比在参数上折腾划算。判断标准很简单——任务管理器里可用内存一直见底,就别在模型大小上找原因了。
第一次跑本地模型,跑通比跑好重要;先让它出字,再谈快不快、准不准。下一步装好只是起点,模型选型、量化档位和实际速度的对照更适合边看数字边判断,去站内模型与部署资料页核对当前口径,再决定要不要换更大的模型或调整参数。→
常见问题
装完在哪打开?为什么找不到图标?
Ollama 默认是后台服务,不是带界面的聊天软件,所以装完没窗口很正常。你在终端里敲命令就能用,也正因为它只提供本地接口,后面才能被别的客户端、脚本或开发工具直接调用。想要图形界面,可以另装前端,或者干脆用 LM Studio 那条路。
我的电脑没有独立显卡,能跑吗?
能跑,但只能跑很小的模型,速度会明显慢,适合先验证流程、做一点轻量文本处理。真要用它干日常活,还是先看内存和显存够不够,判断口径到 /models/deploy 那页对照当时的测算方式。跑不动就别硬撑,换回在线 API 更省事。
本地跑和用在线 API,什么时候该选哪个?
数据完全不想出本机、或者要断网用,就走本地;追求效果、速度、长上下文和稳定并发,在线 API 通常更划算。四条路的取舍对照可以顺着本地模型那条思路再想一遍,别只看「免费」两个字,电费、时间和维护也是成本。