ollama qwen2.5本地部署

你可能只是想在自己电脑上跑个能用的中文模型，搜到 Qwen2.5 又搜到 Ollama，但不确定该拉哪个尺寸、装完之后怎么确认真的跑起来了、显卡有没有吃上。这篇按动作顺序走一遍：先定尺寸和量化口径，再拉模型起服务，最后验证和接入客户端，并把不适用的情况提前说清楚。

你可能只是想在自己电脑上跑个能用的中文模型，搜到通义千问又搜到 Ollama，但不确定该拉哪个尺寸、装完之后怎么确认真跑起来了、显卡到底有没有吃上。这篇按动作顺序走一遍：先定尺寸和量化口径，再拉模型起服务，最后验证并接入客户端。全程只讲判断标准和可执行动作，具体数字自己去站内对应页面核对。

先说清楚适用边界：这套做法适合想在自己机器上离线跑中文模型、做写作辅助或本地问答的人；如果你需要多人并发、长上下文稳定输出，或者机器只有核显且要求流畅对话，本地这条路会很难受，建议先去站内测算页确认自己的硬件档位再决定。

先定尺寸与量化档位，别急着敲 pull

尺寸不是越大越好，而是由你的显存和内存反推出来的。判断标准很简单：模型权重占用之外，还要给上下文缓存留出余量，显存刚好塞下权重时，长对话很容易直接失败。把机器型号和可用显存拿到 /models/deploy 的部署测算页对一遍，看当时给出的可跑档位，别凭感觉冲最大尺寸。

同一尺寸里 Ollama 默认给的往往是量化过的权重，量化档位越低占用越小、质量损失越明显。这套取舍逻辑不用自己推，量化词条在 /ai-dict/category/tech 有解释，看完再决定拉哪个标签，能省掉一次重复下载。

• 先确定用途：中文写作、翻译、本地知识库问答，对尺寸敏感度完全不同
• 用测算页把可用显存和能跑的档位对一遍，不靠猜
• 量化档位与质量取舍去 /ai-dict/category/tech 对照词条
• 决定后把尺寸标签写清楚，标签写错等于白下一遍

装 Ollama、拉模型、看下载到底有没有在走

安装本身没什么坑，真正的坑在拉取这一步。装完先用最简命令确认服务在跑，再执行拉取；模型名带不带标签决定了你拿到的是哪个尺寸，这一步写错，后面怎么调都没用。拉取慢或中断多半是网络问题，站内已有镜像与加速思路，别反复删了重下。

1. 确认服务在跑装完后先用一条最简单的请求确认服务已启动并能返回，别在这一步就上大模型。
2. 拉取指定尺寸模型名连同标签一起写全，执行后观察下载进度有没有在滚动，长时间不动就是卡住了。
3. 用最小请求测试拉完立刻发一条最短的 prompt，确认能出字，这一步只验证通路，不评价质量。
4. 再调参和接客户端通路稳定后再去折腾上下文长度、落盘位置、图形界面等可选项。

验证到底有没有吃上显卡

很多人以为装完就自动用上显卡了，其实不一定。判断顺序建议是：先看模型是否加载成功，再看进程有没有占用显存，最后看生成速度是否符合你对这个尺寸的预期。三步里任何一步对不上，后面的结论都不成立。

只有核显或驱动不匹配时，程序会静默退回 CPU 跑，表现是能出字但很慢。这种情况先查驱动与加速后端支持，而不是怀疑模型坏了。多卡机器还要确认用的是哪张卡，指定方式见站内显卡选择相关页面；笔记本双显卡环境尤其容易走错。

静默回退

没有报错但速度很慢，通常是从显卡退回了 CPU

显存占用

进程实际吃到的显存，是判断有没有用上显卡的直接依据

多卡指定

机器有多张卡时要明确指定用哪张，否则可能用在不合适的卡上

验收基线

同一台机器上先量一遍本机响应延迟，后面才有对照

什么情况下不用纠结：小尺寸模型在 CPU 上跑对话也够用，这时把精力放到上下文长度和提示词上更划算。反过来，如果你要求的是长文档连续处理，那有没有吃上显卡就是硬门槛，先解决驱动再谈其他。

接上客户端，从「能跑」变成「能用」

想用图形界面对话、想接成本地知识库、想给编程工具当后端，是三种完全不同的接法，别指望一个客户端全包。接之前建议先拿接口测速量一遍本机延迟基线，站内 /tools/speed-test 这类工具可以先跑一轮，避免后面把客户端卡顿误判成模型慢。

• 先确认服务地址和端口，再让客户端去连
• 接之前量一遍本机延迟，作为后续对照基线
• 连不上时按「地址→端口→防火墙→权限」顺序排查
• 验收标准：换一个没参与调试的客户端也能连上

最后给一个可落地的验收动作：找一台完全没参与过调试的设备或一个没配过的客户端，只按你写下的步骤连一次。能连通，说明这套本地服务是稳定的；只有某个工具能用，那就是配置依赖，不算真正跑通。