ollama如何加载本地模型，怎么做和怎么选

刚装完 Ollama 的新手常卡在同一处：手上有模型文件却不知道该用哪个命令加载，跑了 pull 又分不清「下载」和「运行」，显存不够时也看不出是模型太大还是卸载策略不对。这篇按「先分清模型从哪来、再按机器选档、最后按症状排查」的顺序走一遍，每步给可执行的命令思路和判断标准，并说明哪些情况不适合继续硬上。

刚装完 Ollama 的人常常卡在同一个地方：手里有模型文件，却不知道该敲哪条命令；跑了 pull，又分不清「下载下来」和「跑起来」其实是两回事；显存不够时也只看到报错或慢，判断不了是模型选大了，还是卸载策略没配对。这篇按「先分清模型从哪来、再按机器选档、最后按症状排查」的顺序走一遍。

每一步都给能直接照着做的动作和判断标准，也标出哪些情况不适合继续硬上。注意所有涉及具体数字的选型，比如显存门槛、输出速度，别凭印象，到站内的模型资料库和价格追踪页核对当时的数字，不同时间差别不小。

先分清模型从哪来：三种加载路径选一条

加载本地模型不是一个命令的事，先要确定模型从哪来。路径选错，后面全是白折腾。最简单的判断方法是回答两个问题：我手里有没有权重文件？这台机器能不能联网？两问一答，路径基本就定了。

判断标准就一条：内网机不要先去试拉取，等半天没结果，还以为 Ollama 坏了。有权重文件就走构建，没文件又能联网就先拉一个最小模型把流程跑通。三种路径的详细写法，站内工具目录里对应的页面有逐步说明，照着改比从零摸索快。

按你的机器挑模型档位，别上来就挑最大的

选型的核心是先看机器再看模型，不是反过来。显存和内存决定你能装下多大的参数量，量化档位决定同一个模型占多少空间、输出质量掉多少。这两个变量组合起来，才是「这台机器能跑什么」。

• 先估机器能撑住的规模，估不准就去站内的模型资料库核对当时的数字，不要凭模型名字里的数字猜；
• 量化档位优先选能完整放进显存的那一档，放不下的部分会拖慢速度，质量再好也没意义；
• 任务类型影响取舍：闲聊问答可以往小里选，代码生成和长文摘要别压太小，效果差了很难判断是模型不行还是档位选错；
• 多模型并存时要把显存加总算，单看一个模型能跑不等于几个一起也能跑。

还有一类场景不适用上面的建议：机器是共享的、有人同时在跑别的推理任务。这时你的可用显存是浮动的，按空闲时的数字选型，高峰期就会被换出或者直接报错，最好在低峰期实测一次。

加载、运行、确认它在干活

很多人把「拉下来」当成「跑起来」，结果列表里有模型，对话却没反应。这两步是分开的，运行的时候一定要确认实际命中的是哪个模型名。机器上并存好几个模型时，最容易在这里出错。

1. 确认模型在本地列表里先查本地模型清单，能看到目标模型名再加下一步；看不到就是没拉下来或没构建成功，别急着调参数。
2. 跑一次短对话别一上来就问复杂问题，用一句能验证语言和格式的短指令，能正常回复说明加载成功。
3. 看显存和输出速度速度明显不对，多半是跑在了 CPU 上；检查卸载层数配置，把能放进显存的部分放上去。
4. 需要常驻就单独配置模型空闲一段时间会被换出，这是正常行为，和加载失败是两件事，长期挂着的服务要另外设置常驻。

速度合不合格没有统一标准，跟任务和机器都有关。站内工具目录里有速度测试相关的工具，可以拿自己的机器和同配置的机器对照当时的数字。唯一要记住的是：速度慢不一定说明模型选大了，先确认它到底跑在什么硬件上。

跑不通时的排查顺序

排查最忌讳东改一处西改一处。按从外到内的顺序走，每步只改一个变量，确认后进下一步。改了参数又换了模型，最后不知道是哪个动作修好的，下次再出问题还是不会。

有一种情况不适合按这个顺序硬排：机器本身驱动或运行时环境就有问题，任何模型都起不来。这时先拿一个最小的官方模型做基线，基线都跑不通，就别在模型上找原因了。排查完还拿不准是配置问题还是机器问题，可以到站内指南中心看对应的部署条目，或者把现象和配置原样贴过去对照。