很多人想在自己机器上跑模型，卡住的第一步不是装环境，而是不知道手上这张卡到底该配哪个模型：参数量写小了浪费硬件，写大了起不来，量化档位又看不懂。这篇按显存档位把选型思路理一遍，给你一张能对照的表和一个从上手到定型的流程，具体型号与版本号到站内模型库和部署测算页看当时的数字。
很多人想在自己机器上跑模型，卡住的第一步不是装环境，而是不知道手上这张卡到底该配哪个模型。参数量写小了浪费硬件，写大了起不来，量化档位又看不懂。这篇按显存档位把选型思路理一遍，给你一张能对照的表和一个从上手到定型的流程，具体型号与版本号到站内模型库和部署测算页看当时的数字。
先说清楚一件事：本文不给绝对结论，只给判断顺序。你的显卡型号、驱动版本、推理框架、以及你打算跑的是纯推理还是带微调，都会改变「能塞下多大」这个答案。所以下面每一档的结论都要回到你自己机器的实测上验证，别照抄别人的配置单。
先认清显存才是硬门槛
本地能不能跑，判断顺序是显存 > 量化档位 > 参数量，先看卡再看模型，反着来必踩坑。很多人先选好一个模型再想办法塞进显卡，结果一路降量化、降上下文，最后体验差到自己都不想用。正确的做法是先量出可用显存，再倒推能跑什么。
- 模型权重之外还要留出上下文缓存和框架开销，别把显存按权重数字刚好卡满，留出余量才稳
- 同一张卡跑推理和跑微调是两码事，微调要的余量更大，具体算法到部署测算页按你的卡算一遍
- 量化档位越低越省显存，但质量会掉，低比特档位要配合具体用途评估，不是越省越好
- 多卡张量并行能突破单卡上限，但门槛和调参成本另算，不在这篇范围
- 显存只是下限，内存和磁盘读取速度也会影响加载与切换模型的速度，别只看显卡
分档位对照：显存档位配什么规模的模型
下面这张表给的是选型方向，不是具体型号。每一档里到底哪个模型跑得顺，取决于你的框架、量化格式和驱动版本，具体参数量与版本号到站内模型库核对当时的数字。
| 显存档位 | 优先方向 | 量化倾向 | 什么时候不适用 |
|---|---|---|---|
| 入门档（小显存消费卡） | 小参数量模型，能跑起来比跑得好更重要 | 低比特量化，压缩换取可运行 | 要处理长文档或复杂推理时，质量明显不够 |
| 中档（主流消费卡） | 中等参数量，质量与速度二选一 | 中档量化，按用途调 | 想同时跑多个模型或开很大上下文时显存会紧 |
| 高档（大显存或专业卡） | 大参数量高质量档，可一卡多模型 | 高精度档，保留更多能力 | 只是做简单问答时属于浪费，电费和散热成本上去了 |
| 多卡或特殊配置 | 可尝试并行方案 | 按框架要求配 | 调参成本高，不适合只想快速上手的人 |
看表的时候注意：同一档位里，「高质量」和「高速度」通常只能挑一个。你如果既想秒回又想答得好，多半要往上跳一档显存，而不是在同一张卡上硬调参数。选型前先想清楚你更在意哪一个。
按用途挑，而不是按参数最大挑
参数越大不代表越适合你。本地部署的体验主要由「响应速度」和「是否满足任务下限」决定，很多场景里一个跑得顺的中等模型，比一个每次等半天的大模型更实用。
- 日常问答与写文案
- 中等规模加中档量化就够，速度优先，响应快比答得漂亮更影响体验
- 长文档与知识库问答
- 先看上下文长度和检索链路，模型规模反而是次要项，别只顾着堆参数
- 代码补全
- 对延迟敏感，宁可小模型跑得顺，也别大模型每次等半天
- 复杂推理与正式产出
- 本地小配置往往不够，该考虑换思路而不是硬压参数
判断标准可以简化成一句话：如果这个任务你每天要调用很多次，速度权重调高；如果只是偶尔跑一次、结果要给人看，质量权重调高。两者都占的场景，通常意味着本地这张卡不是最优解。
从上手到定型的四步动作
- 量出真实可用资源跑一次系统监控，记录推理时的峰值显存和内存占用，不要用显卡型号标称值，系统和后台程序会占掉一部分
- 先用低比特量化跑通流程挑一个低比特版本把加载、推理、输出整条链路走通，确认能出结果，再谈质量优化
- 同机横向比两三个候选用你自己的真实任务测，不看跑分榜，记录每个候选的响应速度和输出可用度
- 定型并记录配置把最终选择的模型、量化档位、框架参数记下来，升级显卡或换模型时按同一流程重走一遍
第三步最容易偷懒，但恰恰最关键。别人的评测环境和你的机器不一样，同样的模型在你这里可能因为驱动或框架版本表现完全不同。用自己的任务测一遍，比看十篇推荐都管用。
容易翻车的几个点
- 显存没满但速度奇慢：多半是部分层被卸载到内存，检查卸载比例和框架参数
- 第一次能跑、多轮对话就崩：上下文变长后缓存吃掉了余量，去站内显存优化清单排查
- 下载的权重跑不起来：量化格式与推理框架不匹配，换对应框架或换权重格式
- 别拿别人的配置单直接抄：同型号卡的显存版本、驱动和框架版本都可能不一样
- 模型能加载但输出乱码或重复：多半是对话模板或提示词格式没对上，检查模型自带的模板说明
这些问题的共同点是：报错信息往往不指向真正原因。所以排查顺序建议从「资源是否够」到「格式是否对」再到「参数是否偏」，一层层排除，别一上来就怀疑模型本身。
下一步拿你机器的实际显存去部署测算页算一遍能跑多大，再到模型库对照当时的型号与量化档位，最后用站内工具测一下响应速度，三步走完你的配置就定型了。→常见问题
显存不大，是不是就完全没法本地跑大模型？
不是。低比特量化能把权重压缩到原来的几分之一，很多小显存卡也能跑中等规模模型，代价是质量有损失、速度变慢。判断标准是看你的任务能不能容忍这点损失：日常问答、改写、摘要通常可以，需要严格事实或复杂推理就要谨慎。具体哪些模型有低比特版本，到站内模型库筛一下。
参数量越大是不是效果一定越好？
不一定。参数量只在同代同训练条件下才有可比性，跨模型、跨量化档位直接比参数没意义。更实际的做法是拿你自己的几个真实任务，让候选模型各跑一遍，看谁错得少、谁快。榜单和跑分只能当筛选线索，不能当结论，读法可以参照站内榜单解读类文章。
本地部署一次性配好就不用管了吗？
不是。换了驱动、换了推理框架版本、换了量化格式，表现都可能变，还有可能出现加载失败。稳妥做法是把可用配置记下来，升级前后各跑一次同样的任务对比，出问题就回退到记录里的版本。定期到站内模型库看有没有更适合你显存档位的新权重，比一直用老配置划算。
