你手里有一张显卡，想本地跑 Gemma3 4B，装完才发现报显存不足，或者跑起来慢得没法用——问题多半不在模型大小，而在量化档位、上下文长度和框架的预留开销上。这篇不堆参数，只给一条能自己动手算的路径：显存由哪几块组成、不同精度大致落在什么区间、你的卡该配哪一档、跑不动时按什么顺序降级。
你手里有一张显卡，想本地跑 Gemma3 4B，结果装完就报显存不足，或者勉强跑起来慢到没法用。多数时候问题不在模型本身有多大，而在量化档位选得太高、上下文开得太长、框架默默预留了一大块。这篇不堆参数，只给你一条能自己动手算的路径：显存由哪几块组成、你的卡该配哪一档、跑不动时按什么顺序降级。
先说结论方向：4B 这个体量，权重本身在消费级显卡上通常不是瓶颈，真正把人卡住的是 KV 缓存和框架预留。所以判断够不够，得按峰值算，还要给系统和桌面环境留出一块，不能用标称显存去对号入座。
4B 模型的显存到底花在哪
显存占用不是一个固定值，它由三块叠加：权重、KV 缓存、框架预留。权重只是其中一块，而且往往不是你最先撞上的那堵墙。很多人第一次装完能跑，第二次塞进去一篇长文档就崩了，原因就在后两块。
- 权重
- 模型参数本身占的显存，大小约等于参数量乘以每个参数占的字节数，所以精度档位直接决定这个基数。
- KV 缓存
- 推理时缓存的注意力键值，随上下文长度和并发数线性增长，单轮短对话几乎不占，长上下文时能反超权重。
- 框架预留
- CUDA 上下文、计算缓冲、推理框架自己的预分配，跑起来就存在，跟模型大小关系不大。
判断够不够，别盯任务管理器里的瞬时值去下结论。峰值和稳定占用差得挺多，前者才是决定你会不会报显存不足的那个数。留余量的时候按峰值再往上加一点，别把标称显存当成可用上限。
不同量化档位对应什么硬件档
精度档位决定权重的基数：半精度是 8 位的大约两倍、4 位的大约四倍。所以同一张卡，换一档量化，能不能跑往往是两个结果。反过来说，档位越低，输出质量的损失越明显，但不是所有任务都看得出来。
| 档位 | 显存特点 | 适合的场景 | 什么情况不适用 |
|---|---|---|---|
| 半精度 | 权重基数最大，占用最高 | 显存充裕、追求输出稳定的场景 | 消费级显卡单卡，通常直接放不下 |
| 8 位 | 约为半精度的一半，质量与占用的折中 | 中等显存、对质量有要求 | 显存本身就紧张时，仍可能不够 |
| 4 位 | 消费级显卡最常用的起步档 | 短问答、代码补全、日常对话 | 长链推理和精细格式输出，差异更容易看出来 |
具体每一档落在什么显存区间、对应哪些型号的显卡，别照抄别人截图里的数字，那些会随模型库和框架版本变。去站内模型资料库按当时的记录核对，再结合自己实测的可用显存做判断。
- 短问答和代码补全这类任务，档位差异通常不明显，可以把档位压到最低先跑起来。
- 长链推理、需要严格格式输出、要稳定复现的任务，才值得为更高的档位去腾显存。
- 判断用哪档之前，先确认可用显存，再对照站内 部署测算（/models/deploy） 里当时的区间，别用标称值估。
- 同一张卡上，先按低档跑通，再往上试一档，跑不动就退回去，比一上来就赌高档稳妥。
换个框架，同样的卡可能就跑得动
同一张卡、同一个模型，换个运行方式结果可能完全不同，差别就在框架预留和上下文默认值上。这条经常比换量化档位更快见效，而且不用动模型本身。
- 先调上下文长度把默认上下文改小，很多工具的预设值偏大。改完重启，看能不能起来，这是成本最低的一步。
- 再降量化档上下文压过还不行，就往下换一档量化，跑通后再往上试，找到一个稳定点。
- 调 GPU 卸载层数把部分层留在内存里、部分放显存，用速度换空间。设成中间档位，往往比硬塞全部层更实用。
- 换更轻的框架面向吞吐的推理框架会预分配 KV 池，单人本地跑反而更费显存；个人用换成更轻的工具通常更划算。
这里的顺序很重要：先动配置，再动模型档位，最后才考虑换运行方式。很多人一遇到跑不动就去换卡，其实前面几步里就有一两步能解决。
卡不够时，三条退路怎么选
如果上面几条都试过还是不够，就该考虑换硬件路线，而不是继续在参数上纠结。三条常见退路各有适用边界，按你的使用频率和延迟要求来选。
- 纯 CPU 加内存：能跑，但速度慢，适合离线批处理和功能测试，不适合交互式对话。
- 统一内存的设备：显存和内存共用，跑 4B 这类中小模型比较舒服，代价是别把内存全占满，否则整机都卡。
- 按量租卡：偶尔用一次就别买卡，先估清单次使用时长，再拿租用成本和购卡成本对比。
- 直接调线上 API：当任务对延迟不敏感、只是偶尔跑一次，本地折腾的性价比可能并不高，尤其是不想维护环境的时候。
租卡的计价口径差别很大，按小时、按卡型、有没有最低时长，算下来结论能差出不少。要看当时的价目，去站内对应的算力页面核对，自己列个使用时长再算一遍，别只看单价。
显存够不够，不是看模型多大，是看你怎么跑、跑多长上下文、框架替你占了多少。下一步想按自己手里的卡反推该用哪档量化、哪种运行方式，去部署测算页对着当时的区间算一遍，比在论坛里刷别人的配置单靠谱。→
常见问题
Gemma3 4B 用 4 位量化，8GB 显卡够吗？
短上下文、单人使用通常够，但 8GB 里能用的实际不到 8GB，系统和其他进程会先占一部分。真正的风险在上下文拉长之后 KV 缓存膨胀，所以别只看权重能不能装下，要留出一块余量，并且把上下文长度设保守一点。跑不动的第一反应应该是调上下文，而不是怀疑卡坏了。
为什么我按别人的配置能装下，一对话就报显存不足？
多半是两件事：一是对方跑的是空载或极短提示，你喂了长文档，KV 缓存随长度涨；二是框架在启动时按默认上下文预留了空间。排查顺序是先把上下文长度和批大小调小试一次，再看是不是同时开了别的占显存的程序，最后才考虑换量化档位或减少卸载到显存的层数。
4B 这种小模型值得为它单独配一张卡吗？
看使用频率。每天都要用、且在意数据不出本机，配卡或买统一内存的设备划算；只是偶尔试一下、或者任务本身不挑延迟，先在线上调接口或者租按量算力更理性。这个判断和你跑多大的模型无关，取决于你一个月实际用多少小时，把这笔账算一遍再决定。
