权重衰减（Weight Decay）

模型参数越大，对输入的微小变化越敏感，越容易过拟合。权重衰减在每步更新后把权重乘上一个略小于一的系数，让参数持续朝零收缩，是最常用的正则手段之一。

与 L2 正则的关系

• 经典等价：在朴素梯度下降下，把 L2 惩罚项加进损失，对参数求导得到的更新与权重衰减完全一致。
• 自适应优化器下不等价：按参数梯度尺度缩放的优化器会连正则项的梯度一起缩放，收缩量被逐参数的梯度平方根缩放，于是大梯度参数被正则得更弱、小梯度参数被压得更狠，衰减强度随参数而异。
• 解耦写法：把衰减直接作用在权重更新步骤上，与梯度路径分离，效果更符合预期，也便于单独调系数。
• 适用对象：通常只衰减矩阵权重，偏置与归一化参数不衰减，否则会损害表达能力。
• 与学习率的关系：解耦写法下收缩幅度由衰减系数与学习率共同决定，学习率调度变化时实际正则强度也随之改变。

调参与坑

系数过大会让权重被持续压向零，模型欠拟合、有效容量下降；过小则起不到约束作用。它与批次大小、训练步数和学习率相互影响，做超参数对比时要固定其他变量。衰减并不等于稀疏，权重只会变小而不会精确为零，需要稀疏解应改用 L1 类惩罚或阈值裁剪。在微调场景里，过强的衰减可能抹掉预训练阶段学到的细节，通常需要比从头训练更小的系数。衰减对嵌入层的影响尤其明显，低频词元的向量容易被压得过小。在归一化层普及的结构里，衰减对尺度不变的部分作用有限，把系数从极小值调大往往不会带来预期中的正则效果，需要结合其他手段一起判断。

与相近方法的区别

• 与 L1 正则：L1 在零点不可导，能把部分权重精确压到零、产生稀疏解；权重衰减只做比例收缩，不产生零。
• 与丢弃法：丢弃法在训练时随机屏蔽激活值，作用于表示层；权重衰减作用于参数本身，两者常同时使用。
• 与早停：早停靠验证集判断何时停止训练，权重衰减从更新规则上限制参数规模，可以配合使用。
• 与数据增强：数据增强从数据侧扩大有效样本量来缓解过拟合，权重衰减从参数侧施加约束。

实践建议是把衰减系数与学习率一起做小规模搜索，并分别观察训练损失与验证损失的变化趋势：训练损失下降而验证损失上升说明正则不足，两者都高则可能正则过强。切换到解耦写法后，原有系数往往需要重新标定，不要直接沿用旧值。把每次实验的衰减系数与验证曲线一起记录下来，比记住一个所谓的最优值更有用。