AWQ

AWQ（Activation-aware Weight Quantization，激活感知权重量化）是一种面向大模型推理的量化方法。其核心观察是权重重要性并不均匀：与较大激活值相乘的少数通道对输出的影响远大于其余通道，统一量化会把它们的误差放大。做法是先找出这些关键通道并加以保护，再对其余权重统一量化。

与同类方法的差异

与逐列误差补偿的量化思路不同，AWQ 把注意力放在激活分布上，认为保护少量显著通道比精确补偿每一列更划算。它通过通道级的缩放变换把量化难度从敏感通道转移到不敏感通道，计算过程较轻，也不需要反向传播或复杂的数值求解。这种思路换来的是更短的量化时间与更好的部署兼容性，代价是对激活统计的依赖更强。

量化时究竟改了什么

量化本身只是把浮点权重映射到有限的整数档位，关键在于缩放因子怎么选。AWQ 先在通道维度上做一个等价的缩放变换：把难以量化的通道对应的权重除以一个大于一的系数，同时把该通道的激活乘以相同系数，保持数学结果不变。经过变换后，敏感通道在权重侧的数值范围收窄，落到整数格点上的误差随之变小。因为变换是等价代换，推理时只需把缩放合并进相邻算子即可。

实际优势

• 效果稳定：低比特下对生成质量的损伤通常小于简单截断量化
• 校准轻量：只需少量样本即可完成统计，量化流程耗时较短
• 部署友好：量化结果可直接嵌入常规推理内核，推理开销低
• 通用性广：不依赖特定网络结构，对主流生成式模型均可套用
• 需测效果：不同任务的容忍度不一样，上线前仍应做任务级评测

与推理引擎的配合

量化方法的价值最终要通过推理引擎兑现。缩放变换属于等价代换，实现时可以把系数合并进相邻的归一化或线性算子，从而在推理阶段几乎不增加额外计算；但如果引擎只提供通用的反量化路径，收益就会打折。部署前值得确认几件事：内核是否针对低比特权重做了专门优化，批处理与长序列场景下是否仍能保持优势，以及在显存紧张时能否与键值缓存的其他优化共存。

实践要点

• 按任务定比特：对话类任务对生成质量更敏感，可保留更高比特或只量化部分层
• 保留原始权重：量化前留存未压缩版本，便于回退与做效果对照
• 对齐推理引擎：确认目标引擎支持该量化格式与对应算子，避免性能不升反降
• 做长文本评测：短问答上看不出的退化，常常在长上下文与多轮场景才暴露

常见误区

• 把量化当免费午餐：任何压缩都有信息损失，只是程度不同，需要明确可接受的底线
• 只看困惑度：困惑度变化不大也可能出现格式或推理能力退化，必须跑任务评测
• 沿用别人的配置：不同模型与业务的敏感通道分布不同，别人的分组与比特不必然适用
• 忽略端到端收益：量化收益要放进完整链路衡量，预处理与后处理开销同样计入