你想在自己电脑或公司内网服务器上跑通义千问 2.5，结果第一步就卡住：到底该下哪个权重、要不要量化、用 Ollama 还是 vLLM、显存不够怎么办。这篇按「先算资源、再选框架、后跑服务、最后排错」的顺序走一遍，每一步都给出判断标准和替代方案；具体显存数字和权重文件大小请到站内部署测算页按当时的口径核对。
你想在自己电脑或者公司内网服务器上把通义千问 2.5 跑起来，第一步往往不是敲命令，而是发呆：到底下哪个权重、要不要量化、用现成的桌面工具还是推理服务器、显存不够怎么办。这篇按「先算资源、再选框架、后跑服务、最后排错」的顺序走一遍，每一步都给出判断标准和替代方案，不合适的路直接告诉你绕开。
先说明一件事：具体显存占用、权重文件大小、参数量对应的量化档位这些数字，各家口径不一样，硬件和驱动版本也会影响结果，正文里不写死。你要用的数字到站内的部署测算页按当时的口径核对，下面的流程只讲怎么算、怎么选、怎么验证。
动手前先算一遍：你的机器能跑哪个档
别急着下载，先把机器的底摸清楚。先确认三件事：显卡型号与显存大小、能不能装上匹配的驱动和推理运行时、系统是 Windows 还是 Linux。这三项直接决定你后面能选哪些框架——有些推理服务器在 Windows 上就是跑不顺，有些一键工具在纯 Linux 服务器上反而没有图形界面可用。
- 列硬件清单记录显卡型号、显存、内存容量、CPU 核数、磁盘剩余空间。磁盘别忽略，权重文件加上缓存往往比你想象的大。
- 粗算占用按参数量乘量化位宽粗算权重占用，再额外留出上下文缓存和并发余量。具体系数和现成对照表到 /models/deploy 按当时口径算，别凭记忆估。
- 定档位显存明显不够就先降量化档位，而不是急着换卡。量化档位怎么取舍、精度损失边界，已有文章已经讲过，这里只讲怎么把它落到千问这一支的选型上。
- 判适用边界纯 CPU 或核显也能跑，但只适合试效果，不适合接业务。判断线很简单：你能不能接受字级、秒级的输出速度。不能就得上独显。
框架怎么选：三条路对应三种人
框架没有绝对的好坏，取决于你是谁、要干什么。三条路分别对应「只想试试」「要给程序调」「要长期多人用」，选错了后面全是返工。
| 你的场景 | 推荐路线 | 主要代价 |
|---|---|---|
| 自己电脑上试对话 | 一键式桌面工具 | 并发和参数可控性差 |
| 给内部系统提供接口 | 推理服务器 | 配置项多，初次上手陡 |
| 长期跑、多人共用 | 容器化部署 | 需要懂镜像和挂载 |
- 只想在自己电脑上试对话：走桌面式一键工具，装完拉到模型就能聊，代价是并发控制和参数调节很有限。
- 要开 HTTP 接口给别的程序调：走推理服务器路线，能配并发、显存占用和 OpenAI 兼容接口，适合接内部系统。
- 要长期跑、多人用：容器化部署更好迁移和回滚，环境隔离也干净；容器里怎么放模型权重、挂载路径怎么写是主要坑点。
- 选型拿不准时，先到 /tools/speed-test 量一下自己机器的基础延迟，再决定值不值得折腾重框架。
拉权重、起服务、验证端口
这一节是真正动手的部分。权重来源优先选官方或国内镜像，下载前核对文件清单和分片数量——缺片的报错通常发生在加载阶段而不是下载阶段，看起来像模型问题，其实是文件没下全。
- 拉权重按清单逐个核对分片，下载完成后校验文件数量与大小是否对得上，别用「看着下完了」当依据。
- 保守启动上下文长度别一上来就拉满，并发数从 1 开始。跑通之后再逐步加，加的过程中盯显存占用曲线，一旦接近上限就停。
- 两层验证先发一条短提示，确认能返回；再发一条长提示，确认上下文设置真的生效。只测短提示很容易漏掉上下文配置错误。
- 记录关键项把服务端口、模型名、上下文长度三项记下来，后面接客户端或迁移环境都要用，口头记忆一定会丢。
curl http://127.0.0.1:<你的端口>/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"<你的模型名>","messages":[{"role":"user","content":"你好"}]}'跑不起来时的排查顺序
报错的时候最容易乱试，一会儿改驱动一会儿改参数。正确的做法是固定一个顺序，逐层排除，哪一层过了就往下走，不要回头反复折腾已经确认没问题的环节。
- 驱动与运行时：确认版本匹配，运行时能正常识别显卡。
- 权重完整性：文件清单、分片数量、大小是否对得上。
- 显存是否够：加载阶段爆是权重放不下，运行阶段爆是上下文或并发超了，解法完全不同。
- 参数是否超限：上下文长度、批大小有没有设得比硬件承受能力还高。
- 端口与权限：端口被占、防火墙拦截、容器没映射端口，都会表现成「连不上」。
输出特别慢时，先看是不是有大量层被卸载到内存或 CPU 上跑。这个判断标准在站内的本地推理提速类文章里有对照，照着对一遍比盲目加显存有效。
还有一种情况是公司内网不许联外网。那就把拉取权重这一步挪到有网的机器上做完，校验完整再拷进目标机器，别在目标机上来回重试浪费整段时间。这套流程只适用于能停机拷贝的环境，如果是必须在线更新的集群，就得走内部镜像源方案，不适用自己拷。
下一步具体显存对照、权重清单和当前可用的部署路线，去测算页按当时的口径核对一遍，再决定你这台机器该走哪条路。→常见问题
我只有一张消费级显卡，能跑通义千问 2.5 吗？
能跑，但要选低量化档位并控制上下文长度。判断方法不是看参数名，而是先算权重占用加上上下文缓存够不够，再到 /models/deploy 用你实际的卡和量化档位算一遍。如果算下来只剩很小的余量，就只适合单人低频使用，不要接并发业务。
用一键工具和直接上推理服务器，到底差在哪？
差别在可控性：一键工具装完能聊，但你很难调并发、上下文和显存策略；推理服务器参数多、上手慢，但能对外提供稳定接口。只是自己用就选前者，要给别人或别的程序调就选后者，中途迁移成本不高，别纠结太久。
下载完启动就报错，先怀疑什么？
先怀疑权重不完整或版本不匹配，再怀疑显存。按顺序查：文件分片是否齐、框架版本是否支持这个权重格式、加载时显存峰值有没有超。多数「莫名报错」发生在加载阶段，把日志里第一条真正的错误找出来，比反复重启有用。
