想在自己笔记本上跑大模型,最先卡住的往往不是装不上工具,而是不知道买哪台:商家只写显卡型号不写显存能不能被吃满,内存和硬盘又常常被忽略,买回来发现模型加载不了或者慢到没法用。这篇不推具体机型,只给一套按显存和预算倒推配置的判断顺序,让你去店里对参数时心里有数。
想在自己笔记本上跑大模型,最先卡住的往往不是装不上工具,而是不知道买哪台。商家页面只写显卡型号,不写显存到底够不够用;内存和硬盘又常常被一句话带过。买回来才发现模型加载不了,或者跑起来慢到没法用。这篇不推具体机型,只给一套按显存和预算倒推配置的判断顺序,让你去店里对参数时心里有数。
下面四节分别讲显存怎么定、量化档位怎么选、内存硬盘散热怎么查、下单前怎么对照。每节末尾都标了不适用的情况,别把任何一条当成铁律。数字类的行情会变,到站内对应页面看当时的参数就行。
先定显存档位,再谈品牌和预算
本地跑模型的第一约束是显存,不是处理器也不是硬盘。显卡型号里只有显存容量是硬门槛,同一型号不同版本显存可能差出一倍,下单前一定把容量数字单独确认一遍,别被型号名糊弄过去。
- FP16 粗算
- 一 B 参数大约占两 G 显存,这是不打折的算法
- INT4 粗算
- 大约是 FP16 的四分之一,但质量会有损失
- 额外开销
- 上下文长度、推理框架和缓存都会再吃掉一部分显存
集成显卡和统一内存架构的机器算法不太一样:显存和系统内存共享,能跑多大取决于你能划多少内存给它,不是看显卡叫什么都行。买这类机器前,先查清楚内存上限和可分配策略。
量化档位决定你能塞进哪台机器
同一台笔记本,换个量化档位就能从跑不动变成勉强能跑。所以选机器之前先想清楚你接受哪一档:质量优先就上大显存,能接受轻微掉分就用低比特量化。顺序是先定要跑哪类模型,再定量化档位,最后反推显存,而不是先买机器再想办法把模型塞进去。
| 量化倾向 | 显存要求 | 适合谁 |
|---|---|---|
| 质量优先,尽量少掉分 | 最高,机器门槛也最高 | 对输出质量敏感、预算宽松 |
| 折中档,质量和体积兼顾 | 中等,多数主流笔记本能覆盖 | 大多数个人自用场景 |
| 低比特压缩,能跑就行 | 最低,但小模型损失更明显 | 先验证流程、后续再换机器 |
低比特量化对小模型的质量损失更明显,参数越小的模型越不建议压得太狠;大模型压缩之后通常更耐造一些。另外量化格式和推理框架的兼容性也要对上,否则装完跑不起来。具体格式差异,到 模型底层概念随手对照(/ai-dict/category/tech) 先把名词过一遍。
别只盯显卡:内存、硬盘和散热同样卡人
- 系统内存要留够:加载权重、做 CPU offload 和跑长上下文都吃内存,内存不够会出现模型下好了但加载直接失败。
- 硬盘决定你同时放得下几个模型:权重文件动辄十几到几十 G,机身固态容量小就得反复删装,选型时把可用空间当成一个约束条件。
- 散热和持续性能是笔记本特有的坑:推理时 GPU 长时间满载,轻薄本容易降频,短测没问题、连着用就变慢。
- 内存是否可扩展要提前查清,很多轻薄本焊死不可换,后面想加都加不了。
这三项里,内存和硬盘属于加钱就能缓解的,散热基本由机身结构决定、买之后很难改。所以如果候选机器价格接近,优先选散热结构更扎实的那台。只做离线批处理、跑完就关机的话,散热和续航这些体验项的权重可以调低。
- 第一步:抄参数把每台候选机器的显存、内存、可用硬盘空间抄成一行,放在一起对比。
- 第二步:粗算一遍用前面说的换算方法估算你想跑的模型够不够,跑不动的那台直接划掉,不用纠结其它参数。
- 第三步:核对散热查机身尺寸、出风口和是否支持性能模式,判断连续跑推理会不会明显降频。
- 第四步:确认可扩展查内存和硬盘能不能自己加,不能加的话按未来需求往上选一档。
下单前的对照清单
前面的判断落到最后就是一张清单。把你想跑的两三个模型写下来,标好参数量和打算用的量化档位,到 AI 模型库(/models) 核对它们的规格,再开始比机器,顺序别反。
| 检查项 | 怎么确认 | 不合格怎么办 |
|---|---|---|
| 显存容量 | 商品页单独找容量数字,不看型号名 | 容量不够直接换机型 |
| 系统内存 | 查上限和是否可扩展 | 焊死不可换就往上选一档 |
| 可用硬盘空间 | 减去系统和常用软件占用的部分 | 小于常用模型体积总和就考虑外接或换机 |
| 散热结构 | 看机身厚度、出风口位置、性能模式 | 连续推理会降频就降优先级 |
| 框架兼容 | 确认量化格式和你要用的推理工具能对上 | 不兼容就换格式或换工具 |
预算分配上,如果两边都能接受,优先加到显存和内存上,处理器和屏幕对跑模型的影响小得多。具体档位对应的价格区间会变,到 部署测算(/models/deploy) 按当时的参数算一遍再决定。别只看商品页的宣传话术,重点始终是显存容量、内存是否可扩展、散热结构这三项。
本地跑模型,先回答「显存够不够」,再回答「哪台好看、哪台便宜」。下一步把候选机型按上面的清单过一遍,再用部署测算页按当时参数粗算一轮,能省掉来回退换的麻烦。→
常见问题
笔记本能跑多大的模型,有没有一条硬线?
没有统一硬线,取决于显存容量、量化档位和你能接受的输出速度。同一台机器,小模型低比特能跑得挺顺,大模型高精度就只能勉强加载。建议先定你要用的模型和量化档位,再去算显存需求,别反过来问「这台能不能跑大模型」。
买之前怎么确认一台笔记本真的跑得动?
看三个数字:显存容量、系统内存、剩余可用硬盘空间。用参数量乘量化位宽除八,加上上下文开销估一遍显存占用,再留出余量。如果拿不准,可以在别的机器或云上先按同配置试一次,确认能加载再下单。
游戏本和轻薄本,哪个更适合本地跑模型?
多数情况下游戏本更合适,因为它的独显有独立显存、散热余量也大,能顶住长时间满载。轻薄本如果只有集成显卡,显存和内存共享,能跑的规模会明显受限,而且持续跑容易降频。但如果你只偶尔试小模型,轻薄本的便携性也值钱。