量化模型是什么

你可能遇到过这种情况：同一个模型，别人说 4-bit 能塞进一张消费卡，你下载下来却跑不动；或者量化后回答明显变笨、偶尔胡言乱语。这篇不堆公式，从「权重为什么要压缩」讲起，把常见精度档位、掉质量的典型表现、以及选档前的实测步骤一条条说明白。

你可能遇到过这种情况：同一个模型，别人说低位宽能塞进一张消费卡，你下载下来却跑不动；或者量化后回答明显变笨、偶尔胡言乱语。问题多半不在模型本身，而在「用哪种精度存这份权重」上。这篇不堆公式，从权重为什么要压缩讲起，把常见精度档位、掉质量的典型表现、以及选档前的实测步骤一条条说明白，让你下次看到一堆量化文件名时不至于抓瞎。

先给一个预期：量化不是玄学，也不是免费午餐。它是一笔很明确的交易——用一点输出质量换显存、带宽和吞吐。交易划不划算，取决于你的任务对细节有多敏感、你的卡有多紧、以及你愿不愿意做一轮小样本对照。下面按这个思路拆。

量化模型到底是什么：把权重从「小数」变成「整数」

原始权重是浮点数，占位大、算得慢；量化就是把它映射到更少的离散档位，用更小的数据类型存下来。一句话类比：把高清原图压成小尺寸图，肉眼看差不多，但放大会丢细节。关键认知是——量化不是模型变小了，而是同一套参数的存储和计算方式变了，参数量本身一个没少。

权重

模型训练完存下来的那一大堆数字，推理时主要就是它们在占显存、在显存和计算单元之间搬来搬去

精度档位

每个权重用多少位来存，位越少文件越小，但能表示的细节档位也越少

训练后量化

拿现成的权重直接压，拿来即用，绝大多数人走的是这条路

量化感知训练

在训练过程里就模拟量化误差，效果通常更好，但要动训练流程，成本和门槛都高

为什么要分清这两类做法？因为你在模型广场下载到的量化文件，几乎全是前者。前者省事，代价是压缩过程中没人替模型「适应」这种误差，所以掉不掉分、掉在哪，得靠你自己测，不能指望发布者替你保证。

为什么非要量化：显存、带宽、吞吐三笔账

很多人以为量化只是为了省显存，其实推理时更常见的瓶颈是带宽——卡在把权重从显存搬进计算单元这一步。位宽越小，同样时间搬得越多，吞吐就上去了。所以就算你显存够，量化也可能让你在同样硬件上塞下更多并发或更长上下文。

• 显存账：权重占大头，精度降一档，权重占用大致按比例缩，但 KV 缓存另算，长上下文下它可能反超权重
• 带宽账：推理多数时候卡在搬运权重，位宽越小搬得越快，这是低精度提速的主要来源
• 吞吐账：同样的卡，低精度往往能塞下更多并发或更长上下文，具体能翻多少到站内部署测算页按你的卡算
• 质量账：省下的资源不是白来的，掉分风险随位宽下降而上升，且不同任务敏感度差别很大

常见精度档位对照：从高到低各是什么

市面上的量化文件名字五花八门，但按位宽归类其实就那么几档。下面这张表是判断用的框架，不是让你记数字——每一档的实际显存占用和质量损失，到「量化档位怎么选」那篇看当时的对照结论，因为不同模型、不同格式差别不小。

怎么读这张表？从上往下，省资源的能力越来越强，掉分的概率也越来越高。中间的档位是大多数人的舒适区，两头则各有明确的适用边界——高位宽用于对照，最激进的低位宽用于跑通流程，都别拿去做正式交付。

原理不玄：缩放因子、分组与误差从哪来

核心动作只有一个：找一个缩放系数，把一段权重压进整数区间，还原时再乘回去。误差就出在这个「一段」怎么切上。切得越细，每组共用的缩放系数越贴合组内数值，精度越好，但额外开销也越大。各家量化格式的主要差异，说白了就在这个分组策略上。

1. 先理解离群值为什么难缠模型里总有少数特别大的权重，它们会把整组的缩放范围拉大，同组其他正常值能用的档位就变少了，精度跟着变差。绝大多数格式的优化手段，都是在想办法把这几颗「刺头」单独处理掉。
2. 再看格式名对应什么取舍不同格式解决离群值的手段不同——有的分组更细，有的把关键通道单独保留，有的在压缩前做一次等价变换。你不需要背实现，只要知道：格式不同，文件就不能随便互换，必须和你的推理框架匹配。
3. 最后确认框架支持下载前先确认你的推理框架能不能加载这个格式，别下完了才发现加载报错。名词看不懂就去 AI 术语词典的底层概念分类里对照，那里按主题归类，比搜索引擎快。

量化之后哪些能力先掉、哪些基本不变

量化掉分不是均匀的，它挑软柿子捏。经验上，对细节容错高的活基本不受影响，比如常见问答、摘要改写、简单分类；而需要多步推理、精确计算、冷门知识或者严格格式输出的任务，往往是第一批受害者。

• 先掉的通常是：长链条推理、精确数值计算、冷门知识细节、严格格式输出
• 基本不变的是：常见问答、摘要改写、简单分类这类对细节容错高的活
• 掉质量的典型信号：答案莫名变短、开始车轱辘话、格式不听话、同一个问题多次回答波动明显
• 最容易被忽略的一条：多轮对话里错误会累积，单轮测着没事，聊长了就开始跑偏

怎么自查才靠谱？别拿几条随手编的问题测，那测不出东西。正确做法是把你业务里真实出现过的十几条输入做成小样本集，覆盖你最在意的几类任务，然后用同一个模型的高精度版本和低精度版本各跑一遍，逐条对比。看的是「错在哪类题上」，而不是「错了几条」——错误集中在哪，决定了你能不能接受这一档。

选档前的实测流程：四步定下来

前面讲的都是判断标准，这一步给动作。顺序别乱，先估再试、先单机再并发，能省掉大量返工。

1. 第一步，先估显存按参数量乘每参数字节数粗算权重占用，再给 KV 缓存和框架开销留出余量。上下文拉长后 KV 缓存可能比权重还吃显存，这一项别拍脑袋，按你实际要用的最大长度算。
2. 第二步，从稳妥档位起跑先跑一个质量损失小的档位，确认你的业务能接受它的输出，再考虑往下压。反过来做——先压到最低再往上加——你会花大量时间在判断「这次掉分到底是量化的锅还是提示词的锅」。
3. 第三步，做对照同一批提示词跑两档，记录正确率、平均输出长度和响应时间三个指标。平均输出长度这个指标很值钱，它掉下来往往意味着模型开始偷懒，比正确率更早报警。
4. 第四步，看吞吐而不是单次耗时单机单人测的时候两档差别可能不明显，并发上去之后才拉开。你自己的延迟基线可以用站内接口测速先摸清楚，有了基线再看量化带来的变化，判断才有参照物。

几个常见误解和踩坑点

下面这几条是新手最容易栽的地方，共同点是——都以为自己省了资源，实际把成本挪到了别处。

• 以为量化等于「模型变小了」：参数没少，少的只是每个参数占的位，理解错这一点后面全歪
• 以为越低越划算：省下的显存可能换来反复重试和人工校验，这笔账要一起算进去
• 只看文件大小不看格式：同名模型不同量化格式，框架不一定能加载，白下几个 G
• 忽略上下文对显存的影响：低精度权重救不了长上下文的 KV 缓存膨胀
• 忽略硬件差异：同一份量化权重在不同卡上的实际速度和稳定性可能差很多，租卡前先看规格库对照

把这些坑按「误判对象」归一下类会更清楚：前三类是认知和文件层面的，后两类是运行环境层面的。认知层面的问题靠看文档和实测解决，环境层面的问题只能靠换配置验证——同一个文件换张卡跑一遍，很多争论自然就没了答案。

落地清单：五分钟决定你要不要量化

最后给一个能直接照着走的判断清单。它不是绝对结论，边界条件写在了每一条里，你的情况落在哪条就按哪条办。

用完这张表，你应该能得出三个结论之一：不量化、选中间稳妥档、或者先做对照再定。无论哪一个，都比「看到文件小就下」靠谱得多。