很多人打算本地跑千问2.5，第一反应是「我这台机器行不行」，然后去论坛翻别人的配置单，结果别人报的是量化后的版本、自己下载的是全精度权重，一跑就爆显存。这篇不报具体数字，而是给你一套按参数量、量化档位和上下文长度倒推硬件的算法，照着算一遍就能定下自己该买什么卡、要不要加内存、能不能跑起来。
很多人打算本地跑千问2.5，第一反应是「我这台机器行不行」，然后去论坛翻别人的配置单。结果别人报的是量化后的版本，自己下载的是全精度权重，一跑就爆显存，白折腾一晚上。问题不在机器好坏，而在你俩说的根本不是同一个东西。
这篇不报具体数字，因为数字会变、你的场景也不一样。给你一套按参数量、量化档位和上下文长度倒推硬件的算法，照着算一遍，就能定下自己该买什么卡、要不要加内存、能不能跑起来。先承认一个前提：本文只解决「本地部署」这一件事，如果你只是拿它当接口后端，那属于自建还是调用的成本账，不在讨论范围。
先分清你要跑的到底是哪个规格
千问2.5是一个系列，不是一个模型。参数规模不同、是不是多模态、是不是蒸馏出来的小版本，对硬件的要求能差好几倍。同一个名字底下，有人跑的是几B的小家伙，有人跑的是几百B的巨无霸，聊配置之前先把这件事对齐。
- 参数规模
- 决定权重大小的第一变量，规模差一档，显存需求基本按比例走
- 多模态版本
- 除了语言权重还要加载视觉部分，占用比纯文本版高一块
- 蒸馏小版本
- 同系列里体积最小的一档，适合单卡或消费级显卡起步
- 原始权重与社区量化版
- 体积能差几倍，下载前一定看清文件名里的量化标记
实操上别猜，直接去模型库页面确认权重体积和参数量。看到文件体积明显小于你预期，那大概率是量化版，别拿它当全精度的参照。判断自己属于哪一档也简单：单张消费卡能跑通的，是小规格；需要多卡或者靠CPU卸载的，是大规格。这两条路径后面的选型逻辑完全不同。
显存怎么算：三个变量决定你能不能跑
显存占用不是一个数，是三个变量乘出来的：参数量、量化档位、上下文长度与并发数。只按参数量估的人，通常会在长上下文场景里翻车，因为那时候KV缓存能把权重挤到一边去。
- 第一变量：参数量，权重体积大致等于参数量乘每个参数占的字节数，这是地基
- 第二变量：量化档位，位宽越低体积越小，但质量和稳定性会跟着掉
- 第三变量：上下文长度和并发数，KV缓存随这两项线性增长，长上下文时它可能比权重还吃显存
- 固定余量：框架本身、CUDA上下文、临时缓冲区都要占一块，估完记得加一截再对卡
顺序别搞反：先按你打算用的量化档位估权重，再加一段余量给KV缓存和框架开销，最后拿这个总数去加速卡规格库对一遍卡。估算只是筛掉明显不行的方案，真实占用还受框架版本和推理引擎影响，最终以实测为准。
| 变量 | 变大意味着什么 | 先动哪个 |
|---|---|---|
| 参数量 | 权重整体上台阶 | 换规格档位或换卡 |
| 量化档位 | 位宽降低，占用下降 | 质量要求不高时优先降它 |
| 上下文长度 | KV缓存显著上涨 | 缩短上下文或减少并发 |
| 并发数 | 显存和算力同时承压 | 排队限流比加卡便宜 |
这张表的用法是从下往上试：并发和上下文是你自己能控的成本项，改动代价小；量化档位是质量和门槛的交换；换卡是最后手段。至于各张卡的具体显存数字，到部署测算页和加速卡规格库对一遍当时的参数更靠谱。
量化档位怎么选：质量和能跑之间做取舍
量化不是越低越好，也不是越高越保险，它是一笔交换。显存刚好卡在边界上时，降一档量化通常比换卡现实得多，但代价要认：长链推理、代码补全、多步工具调用这类任务，低比特下更容易出错。
判断标准可以简单点：任务容错高、结果有人复核，低比特够用；无人复核的自动化流程，优先留足显存跑高精度。别用同一个档位跑所有任务，问答和跑批本来就该分开配。不确定的时候，去部署测算页把几个档位各算一遍再决定。
整机配置清单：不只是显卡的事
很多人只盯显卡，结果卡买回来了，加载阶段就卡在内存上。整机是四件事：显卡、内存、硬盘、散热与电源，缺一块都能让你部署失败。
| 部件 | 看什么 | 不够时会怎样 |
|---|---|---|
| 显卡 | 显存容量优先，其次算力 | 显存不够直接跑不起来 |
| 内存 | 容量要能放下权重和卸载部分 | 加载阶段就失败 |
| 硬盘 | 顺序读速度，权重体积要留空间 | 启动和加载明显变慢 |
| 散热电源 | 持续负载下的稳定性 | 短测通过，长跑降速或宕机 |
显卡看显存容量优先于看算力：显存不够是能不能跑的问题，算力不够只是快慢的问题。内存和显存是两回事，CPU卸载、预处理、权重加载都吃内存，容量不足会在加载阶段直接失败。硬盘方面，全精度权重体积大，机械盘会明显拖慢启动。
散热和电源容易被忽略。短时间跑通不代表能稳定跑一整天，持续推理是长时间高负载，电源和散热建议留出冗余，否则跑批到一半掉速会很麻烦。
下单前先验证，别买完才发现跑不动
最贵的错误是按别人的配置单买完，再发现自己的场景跑不动。避免方式很土但有效：先用租卡跑一遍你自己的真实数据，确认速度和质量都能接受，再决定买什么。
- 用真实数据拿你平时真正要处理的那批输入去跑，别用示例文本测出来的感觉做决定。
- 按真实场景压测上下文长度、并发数、连续运行时长都按上线后的样子来，短测说明不了问题。
- 列验收线写清楚单次响应能不能接受、单位时间能产出多少内容、连续跑几个小时会不会掉速。
- 不达标就回退顺序是降量化档位、缩上下文、减并发，最后才是加硬件；别一上来就换卡。
这套验证流程的产出是一张对照表：什么配置、跑什么档位、在你的场景下什么表现。买机器照着这张表走，比照着论坛配置单走稳得多。速度相关的参考数据，可以到 速度测试工具（/tools/speed-test） 看当时的实测记录。
下一步把你要跑的规格、量化档位、上下文长度先定下来，再到部署测算页算一遍显存，顺便对一下加速卡规格库和速度测试的实测数据，这三样凑齐再下单比较稳。→常见问题
只靠CPU和内存能跑千问2.5吗？
能跑起来，但速度通常不适合交互式使用，更适合离线批处理这种对延迟不敏感的场景。内存容量要求比显卡方案更高，因为权重和中间结果都得放内存里。如果只是想先试效果、不追求速度，这条路成本最低；如果是给人用的对话或写作场景，建议还是上显卡。
显存不够的时候，第一件该做的事是什么？
先看能不能降量化档位，这是成本最低的一步；其次看能不能缩短上下文或减少并发。这两步都不行，才考虑加卡或换卡。很多人一上来就买新卡，结果发现只是跑了个低精度版本也能满足需求，白花一笔钱。具体各档位占用可以去部署测算页按参数量算一遍。
怎么判断我该买消费级卡还是专业卡？
看你要不要长时间稳定跑、要不要多卡扩展、对故障停机敏不敏感。个人试用和轻量小团队场景，消费级卡通常够用；要对外提供服务、多人在线并发、需要长时间连续运行，专业卡在稳定性和扩展性上省心一些。两者的差别不只在显存，也在驱动和长期可靠性上。
