很多人第一次装 Ollama，机器上命令敲完以为就成了，结果要么拉下来的模型跑不动，要么能聊天但速度慢到没法用，要么根本不知道自己这台机器该选哪个规格。这篇不讲原理，只按顺序走一遍：先量机器底子，再按显存选规格，然后跑通并做一轮有结论的测试，最后告诉你什么情况下这条路不值得走。
很多人第一次装 Ollama，命令敲完以为就完事了，结果要么拉下来的模型根本跑不动，要么能聊天但慢到没法用，要么压根不知道该选哪个规格。这篇不讲原理，只按顺序走一遍：先量机器底子，再按显存选规格，然后跑通并做一轮有结论的测试，最后说清楚什么情况下这条路不值得走。
下面每一步都能照抄，但顺序别跳。新手翻车基本都在第一步和第二步——跳过了机器体检和档位选择，后面所有排查都是在给前面的错误买单。
第一步：先量机器，别急着敲命令
打开命令行之前先把三件事查清楚：显卡型号与显存、可用内存、磁盘剩余空间。这三项里任何一项不够，后面都会以「拉取失败」「加载卡死」「答到一半断掉」这类看起来毫不相关的形式报出来，很容易让人误判成模型本身有问题。
- 显卡与显存：决定能不能把模型完整放进显卡，直接决定出字速度是能忍还是没法用
- 可用内存：显存不够时模型会往内存里塞，内存再不够就会拖到整机卡顿甚至无响应
- 磁盘剩余空间：模型文件比你想的大，空间不够会在拉取阶段直接失败，而不是跑起来才报错
- 系统盘容量：Ollama 默认把模型放系统盘，系统盘小的话提前规划好迁移方案
把自己显卡型号丢到站内算力规格库对一遍显存档位，别靠系统信息里那个数字猜。系统信息里的「共享显存」往往把内存也算进去了，看着漂亮，实际能用的独显显存没那么多，按它选规格十有八九要重来。
第二步：按显存挑量化档位，别硬上大参数
同样参数量的模型，量化档位不同，显存占用差别非常大。先定档位，再决定拉哪个标签，这个顺序反过来就会一直拉、一直跑不动、一直删。新手最常见的错误是一上来挑最大参数量的那个，结果显存爆了还得从头来。
| 机器情况 | 优先考虑 | 代价与适用场景 |
|---|---|---|
| 显存偏小（核显或入门独显） | 低比特量化 | 速度能接受，但复杂推理和长文任务更容易出错，适合问答、改写、简单整理 |
| 显存中等（主流消费级独显） | 中档量化 | 中文日常任务基本够用，长文摘要和代码任务会明显吃力 |
| 显存偏大（高端独显或多卡） | 高精度档 | 答案质量更稳，但吞吐下降，交互体验不一定比中档更好 |
| 只有内存没有独显 | 不建议本地跑 | 纯 CPU 推理速度通常低于可忍受阈值，先用线上接口试需求 |
显存紧张就优先低比特量化，别觉得这是「将就」。对问答和文本改写这类任务，低比特档位和更高档位的体验差距，往往没有出字速度的差距那么让人难受。拿不准就到站内部署测算页，按你的显卡和想跑的规格算一遍，再回去拉模型。
本地部署的取舍从来不是「能不能跑」，而是「跑起来你还愿不愿意用」。
第三步：拉模型并跑通第一句话
拉取阶段主要看磁盘和网络，跟算力无关。国内网络慢是常态，别反复重拉，越重拉越乱。第一次运行会有一段加载时间，模型要从磁盘读进内存或显存，属正常现象，别以为卡死就强杀，强杀之后下次还得从头加载。
- 改存放目录model 目录默认在系统盘，空间紧张就提前通过环境变量挪到数据盘，改完重启服务再拉，避免拉一半才发现装不下
- 拉取模型命令行执行拉取命令，耐心等进度条走完；网络很差就换源或先下好再导入，不要中途反复中断重来
- 跑第一句中文用一句中文短问题验证是否能正常出字，比如让它做个简单的自我介绍或复述一句话
- 确认状态出字正常说明链路通了，此时再进入正式测试；出字异常先按最后一节的排查顺序走，别急着换模型
跑通第一句话就算阶段性成功，别在这一步纠结答案质量。质量和速度的调优放在下一步，混在一起调只会让你分不清是配置问题还是能力问题。
第四步：显存、常驻与出字速度怎么调
速度慢最常见的原因不是模型大，而是层没全放进显存，一部分在显卡、一部分在内存，来回搬数据，慢得很有规律。用环境变量控制卸载到显卡的层数，从低往高逐步加，加到速度不再提升或者开始报错为止，那个点就是你机器的实际上限。
- 层数调优：从小往大试，观察速度和稳定性，找到自己机器的平衡点，不要一次拉满
- 常驻时间：配置模型在显存里的保留时长，避免每次对话重新加载；代价是这段时间显存被占着，跑别的任务会抢不到
- 基线测量：先量出字速度基线，再到站内推理速度资料对照，判断自己这台机器算正常还是偏慢
- 并发预期：单机单卡按个人使用来用，多人同时请求会明显掉速，别指望它当小服务端
想知道自己机器快不快，先记住一个基线数字，再对照站内推理速度资料页看当时的数字。不测基线就调参，等于闭着眼睛拧螺丝，改了半天也不知道是变快了还是错觉。
第五步：做一轮有结论的测试，而不是随便聊两句
随便聊两句只能得出「能用」这个结论，对判断该不该继续投入本地部署没帮助。测试要固定变量：同一批问题、同样的参数设置、同一台机器，否则结论没法比较，换台机器或者换个提问方式结果就全变了。
| 测试类别 | 怎么测 | 重点看什么 |
|---|---|---|
| 中文通顺度 | 给一段口语化中文让它改写 | 是不是自然、有没有书面腔或翻译腔 |
| 长文摘要 | 贴一段长材料让它总结 | 抓没抓住重点、有没有漏关键信息、有没有编 |
| 结构化输出 | 让它按指定格式输出清单或表格 | 格式是否稳定、字段有没有缺 |
| 多轮上下文 | 连续追问同一话题 | 前面说过的信息它记不记得住 |
每类题记录三件事：是否答对、答完耗时、有没有胡说。这三项比主观感觉可靠得多，也方便你前后对比。测完把结果和站内公开评测对照，但注意公开榜单和你的具体任务往往不是一回事，榜单强不代表你的场景强。
测试不通过时的排查顺序
测试结果不满意时，第一步不是换模型，而是分清是模型能力问题还是配置问题。方法很简单：换一道同类的简单题。简单题也答不对，多半是配置或档位问题；简单题正常、难题不行，才是能力边界。
- 查量化档位档位太低会让复杂任务明显变差，对照第二步的表格确认自己是不是选低了
- 查显存溢出层没全进显存会拖慢并影响稳定性，观察是否出现明显卡顿或答到一半断掉
- 查上下文长度上下文超长会被截断，表现为它忘了前面说过的内容，缩短输入再试一次
- 查提示写法问题太含糊时模型只能瞎答，把要求拆细、给出格式示例再问一遍
- 换问法验证同一问题换个问法就正常，说明是提示写法问题，不要着急换模型
答案答到一半断掉，多半是输出长度上限或显存不足，不是模型坏了。这个现象新手最容易误判，一看到断字就以为模型文件损坏，然后重拉一遍，浪费的是磁盘和网速。
什么情况下这条路不适合你
本地跑模型的真正理由通常是数据不外发和可离线，而不是「省钱」或「性能好」。想清楚自己的理由，再决定要不要在这条路上继续投入时间。
- 要处理大量并发请求、要高可用：单机 Ollama 不是这个场景的工具，该走服务化框架或直接调线上接口
- 机器只有核显或显存很小：跑起来的速度低于你能忍受的阈值，不如用线上接口，体验反而更稳定
- 需要最新最强的中文能力：本地能跑的规格和线上旗舰通常有差距，硬凑不划算
- 只是尝鲜试需求：先用站内免费或低价接口把需求跑一遍，确认值得长期用了再考虑本地
- 涉及敏感数据不方便外发：这才是本地部署最站得住脚的理由，值得为它折腾
跑通之后：存放、更新与清理
跑通只是开始，后面还有维护成本，这部分最容易被忽略，等到磁盘满了或者升级升坏了才想起来。定期清理和备份的习惯，比调参更能决定你半年后还用不用得上这套环境。
- 定期清理：模型文件占空间不小，清掉不再用的标签，别让磁盘慢慢满掉
- 升级前确认：先搞清楚新标签对应哪一档规格，别直接覆盖掉正在用的那个
- 备份迁移：把拉好的模型目录备份到内网机器，就不用再经历一次慢速下载
- 分层推进：想要图形界面、知识库或接进编辑器，那是下一层的事，先保证命令行这一层稳定
想要图形界面、接进编辑器或搭知识库，都属于上层应用，前提是命令行这层稳定。先把本地跑通、测试做完、维护习惯建立起来，再往上加东西，顺序错了后面全是坑。
下一步先到站内算力规格库确认自己机器能跑哪一档，再到部署测算页算一遍显存占用，然后回来拉模型，动手顺序对了能少走很多弯路。→常见问题
没有独立显卡，只用核显能不能跑起来通义千问 2.5？
能启动，但速度通常慢到不适合日常对话，长回答会等到失去耐心。核显更多是拿来做流程验证，比如确认接口通不通。真要天天用，优先考虑线上接口，或者把机器换成有大显存的独显平台，再回来本地跑。
拉模型特别慢或者中途失败，是不是模型有问题？
多数是网络和磁盘的问题，不是模型本身。先确认磁盘剩余空间够不够，再换下载源或改成先下载文件再本地导入。反复重拉会浪费时间和带宽，失败一次就先查这两项，不要连着重试。
跑起来很卡、出字一顿一顿的，先调哪里？
先看显存有没有被占满，再决定要不要降低量化档位，或者调整卸载到显卡的层数。其次是常驻设置，如果每次都重新加载，第一句话必然慢。最后再看是不是同时开了别的吃显存程序，把浏览器和游戏关掉往往立竿见影。
本地跑出来的效果和线上同名模型差很多，正常吗？
正常。本地受显存限制，通常跑的是量化后的低比特版本，参数规模也可能选得更小，复杂推理和长文任务上差距最明显。中文闲聊和简单改写差别不大，但涉及严谨推理的任务，别拿本地效果当线上效果用。
怎么判断自己这台机器值不值得继续投入本地部署？
用一个标准衡量：跑你最高频的那个任务，出字速度和答案质量你能不能接受。两项里有任意一项明显不行，就不值得再折腾硬件。反过来如果只是数据不能出内网，那就把预算花在显存上，而不是花在优化参数上。
