很多人搜这个问题时,手里已经有一台机器了,或者正准备下单。真正卡住的地方往往不是「配置够不够高」,而是没分清自己要跑的是训练还是推理,以及模型规模和量化档位落在哪一档。这篇把这两件事拆开讲,给判断标准和一套能照着走的配置核对顺序。
搜这个问题的人,通常手里已经有一台机器,或者购物车已经装好。但翻一圈答案会发现,大家讲的配置差得离谱——有人说一张卡就够,有人说没几万块别碰。差这么多不是谁在骗人,是「训练」和「推理」被混成了一件事。这两件事对机器压的地方根本不一样。
还有一种情况:配置单看着漂亮,跑起来还是崩。多半不是硬件买错了,是顺序搞反了——先买卡,再发现模型装不下;先加大内存,结果卡在加载那一步。下面按「先分清活、再算显存、最后看整机」拆开讲,每一步给判断标准。
训练和推理,压根不是同一台机器的活
分水岭在显存里塞什么。推理只要装下权重,再加一份随着上下文增长而增长的缓存;训练要装整个模型、优化器状态、梯度,还要给中间激活留余量。同样一个模型,推理能跑,训练不一定能训——爆显存是常态,不是意外。
- 推理
- 权重 + KV 缓存,压力集中在加载和并发上,单卡跑得动的情况多
- 微调 / 训练
- 权重 + 梯度 + 优化器状态 + 激活,倍数高出一大截,显存是硬门槛
- 只做推理的机器拿去做微调
- 基本直接 OOM,不是调参能救回来的
先算显存,其他件往后排
显存是第一道闸,也是唯一一道算错了会直接崩的闸。粗算方法是参数量乘以每参数字节数得到权重占用,再按量化档位打折;推理再加上 KV 缓存,上下文越长、并发越多,这块涨得越快。具体名词和单位换算,到 硬件词条(/ai-dict/category/hardware) 对一遍,别自己拍脑袋估。
算完发现差一点,别急着换卡。先做减法:降量化档位、拆成多卡分片、把部分层挪到内存里跑。这几招都有代价——量化掉精度、分片增加通信、offload 拖慢速度,什么场景下该用哪一种,站内已有文章讲透了,这里不重复。
- 显存估算:参数量 × 每参数字节数,再乘量化折算系数
- 推理加项:KV 缓存,随上下文长度和并发数增长
- 训练加项:梯度、优化器状态、中间激活,倍数明显更高
- 估算结果当底线用,不要当目标值
显存够了,剩下的四样才轮到说话
很多人以为显存过了就万事大吉,结果卡在别的地方。内存不够,模型加载到一半就挂;盘太慢,每次启动像等开机;多卡机器 PCIe 通道不够,卡间通信拖死整体速度。这些不是玄学,都有具体的排查点。
| 部件 | 管什么环节 | 不够时的典型表现 |
|---|---|---|
| 内存 | 模型加载、数据预处理、量化转换 | 加载阶段卡住或直接失败,不是跑不动 |
| 存储 | 权重文件读取、缓存落盘 | 启动和切换模型极慢,运行中偶发卡顿 |
| PCIe 通道 | 多卡之间的数据交换 | 单卡正常,多卡反而变慢 |
| 电源与散热 | 长时间满载 | 跑几分钟没事,持续跑就降频或重启 |
单卡场景下 CPU 主要是喂数据,别在这上面堆预算;多卡场景反过来,通道数和主板选择值得多花点心思。电源按训练那头的持续功耗选,聊天式和满载跑是两种完全不同的负载。
按模型规模倒推配置,别按预算正推
按预算正推的典型结局是:买了台「差不多」的机器,回来发现目标模型差一截显存。反过来做——先把模型规模、量化档位、要不要微调这三项列清楚,配置区间基本就锁死了,剩下的只是在不同方案之间取舍。
- 定模型和档位写下目标模型的参数量和打算用的量化档位,两项一填,权重占用范围就有了
- 跑一遍部署测算到 部署测算(/models/deploy) 输入参数,把结果当显存下限,不是目标值
- 选路线台式机、笔记本、统一内存的苹果机器、租卡,四条路的瓶颈不一样,别拿一条路的结论套另一条
这里最容易犯的错,是拿笔记本上跑小模型的体验,去推断服务器上跑大模型够不够。统一内存架构的机器显存上限高但带宽不同,租卡按小时计费和买断比又是另一笔账,这些差异在 部署测算(/models/deploy) 的结果里会体现出来。
一份从软到硬的核对顺序
最后给一套能照着走的顺序。原则只有一条:从软到硬,从装得下到跑得快。反着来,钱花了问题还在。
- 第一轮:装得下吗先确认显存够不够,再看内存能不能把模型加载进来,最后看盘读得动吗;三关都过再谈速度
- 第二轮:跑起来了吗驱动、框架版本、并行设置挨个对一遍;跑不起来先查软件,别怀疑硬件
- 第三轮:够快吗速度问题十有八九出在量化档位和并行参数上,先调这两个,再考虑换硬件
配置不是买来的,是算出来的。先算清楚要跑什么,再决定买什么。下一步拿不准自己的机器差在哪一环,可以先到部署测算跑一遍估算,再去硬件词条把显存和量化的名词对清楚,两页看完基本就有答案了。→
常见问题
只想本地聊天,需要按训练配置买吗?
不用。推理对显存的要求比训练低不少,权重加上上下文缓存装得下就能跑。预算有限时优先把显存取到能覆盖你想跑的模型和量化档位,其他件按普通主机配就行。
显存差一点能不能靠内存补?
能补一部分。CPU offload 和分片能让更大的模型跑起来,代价是速度掉得明显,训练场景下基本不具备可操作性。所以补内存是应急手段,不是配置方案。
多卡一定比单卡强吗?
不一定。多卡要看并行方式和通信开销,小模型拆到多卡上反而更慢,还要额外考虑主板通道和电源。先确认单卡确实装不下,再考虑多卡。