跑 LoRA 微调时,配置文件里除了 rank 还有个 alpha,很多人直接照抄别人的数值,结果要么学不动、要么一改就崩。这篇不解释论文推导,只讲 alpha 在训练里实际起什么作用、它和 rank 是什么关系、调它之前该先固定什么,以及哪几种情况调 alpha 纯属白费功夫。
跑 LoRA 微调时,配置文件里除了 rank 还有个 alpha,很多人直接照抄别人的数值,结果要么学不动、要么一改就崩。这篇不解释论文推导,只讲 alpha 在训练里实际起什么作用、它和 rank 是什么关系、调它之前该先固定什么,以及哪几种情况调 alpha 纯属白费功夫。
先说个前提:下面所有讲法都建立在「你真的在用 LoRA 类低秩适配」这个前提上。如果你用的是别的适配方式或者干脆全参微调,alpha 这个概念根本不存在,套错文档只会越调越乱。另外所有涉及具体数值的地方,别人给你的默认值都只能当起点,不能当结论,最终要看你自己那轮验证集的表现。
alpha 在训练里到底动了什么
LoRA 不直接改原模型权重,而是旁挂一对低秩矩阵,训练只更新这两个小矩阵;alpha 就是这对矩阵输出回到主权重时的缩放系数。它本身不是被训练的参数,是你手工给定的一个放大倍数,训练过程里不会自己变。
- 比值调大,相当于把这次微调的改动幅度放大,模型更快贴近你的数据,也更容易过拟合或把原有能力带偏
- 比值调小,改动更保守,学得慢但更稳;这不是好坏问题,取决于你离目标分布有多远
- alpha 改的是「改动幅度」,不改「能学多少」——容量上限由 rank 决定,这两个别混
- 同样的 alpha,在不同基座和不同任务上表现可以完全不一样,所以跨项目照抄数值风险很高
定初始值的实操顺序
新手最容易犯的错是 rank 和 alpha 一起改,然后看着结果猜是谁的功劳。正确顺序是先固定一个,再动另一个,否则你得到的结论没有可复用性。
- 第一步:先固定 rankrank 决定「能学多少」,alpha 决定「学得多用力」。把 rank 定下来之后再单独调 alpha,这样每次对比都能归因。
- 第二步:从比值约等于 1 起步也就是 alpha 取和 rank 同量级的数,先跑一轮看验证集表现,再决定往上还是往下挪,别一上来就抄一个夸张的值。
- 第三步:把 alpha 当粗调、学习率当细调先用 alpha 确定改动幅度的量级,再用学习率微调收敛。两个一起动,出问题很难定位。
- 第四步:一次只改一个并记录把配置和对应结果都存下来。想先看看别人默认怎么设,可以到 /stacks/fine-tuning 对比口径,再回来自建对照。
| 你的处境 | 先动哪个 | 理由 |
|---|---|---|
| 任务简单、数据干净 | 先试比值约等于 1 | 没必要放大,稳一点就行 |
| 任务难、模型明显学不动 | 先确认 rank 够不够 | 容量不够时加 alpha 只会过拟合 |
| 验证集开始退化 | 往下调 alpha | 通常是改动幅度过大 |
| 刚换基座模型 | 重新从小比值试 | 原参数不一定迁移得过来 |
这几种情况调 alpha 基本没用
调参的前提是「问题出在改动幅度上」。如果卡点根本不在这一层,你在 alpha 上花的时间基本是白费,下面这几种最常见。
- 数据本身量少、噪声大或标注口径不一致时,再调缩放也只是把噪声放大,先回头清洗数据
- 训练样本和基座预训练分布差太远、任务几乎是新能力时,瓶颈在 rank 不在 alpha,加缩放只是把欠拟合变过拟合
- 只跑了很短步数就下结论:alpha 的影响要在训练收敛后才看得出来,中途对比容易误判
- 已经用全参微调或别的适配方式时,alpha 根本不存在,别套错文档
出问题时的排查顺序
训练出问题的时候,最忌讳同时怀疑所有东西。下面这个顺序是从「最可能、最容易验证」往「最麻烦」排的,按顺序走能省不少时间。
- 第一步:看 loss 曲线形状训练 loss 猛掉、验证 loss 抬头,一般是比值偏大,先往下调,而不是先去改数据。
- 第二步:检查通用能力是否退化模型开始胡言乱语、原有通用能力明显退化,也先怀疑缩放过大,而不是先怀疑数据脏。
- 第三步:确认容量够不够任务明明简单却怎么都学不会,先确认 rank 够不够,再去动 alpha,否则方向就错了。
- 第四步:做 A/B 时固定变量固定随机种子与数据切分,否则你看到的差异可能跟 alpha 没关系。想横向对照不同方案,可以到 /rankings 看当时的对比口径。
最后提醒一句:alpha 不是一个「调到某个数就对」的参数,它是你控制改动力度的旋钮。旋钮的意义在于配合 rank、学习率和数据质量一起用,单独盯它没意义。什么样的默认值适合当前基座,去站内对应页面核对当时的数字,比自己凭感觉试要靠谱。
下一步如果你想先看看常见微调栈的默认配置长什么样,再去自建对照,可以到 /stacks/fine-tuning 看一眼,会比较快建立量级感。→常见问题
alpha 设得比 rank 大很多会怎样?
改动幅度被放大,训练集上表现可能很快变好,但验证集容易变差,模型也更容易丢掉原来的通用能力。除非你的任务就是要在特定风格上打得很重,否则不建议一上来就用很大的比值,先按同量级起步更稳。
alpha 和 learning rate 是不是一回事?
不是。alpha 调的是这次微调改动回到主权重时的缩放幅度,学习率调的是每次参数更新的步长。两者都会影响模型跟数据贴得多紧,所以实践上要分开动:先用 alpha 定量级,再用学习率修收敛过程。
换了个 rank,alpha 要跟着改吗?
要。因为真正起作用的是比值而不是绝对值,rank 变了但 alpha 不动,等于顺手把强度也改了,你就分不清效果变化是谁带来的。改 rank 时按原来的比值同步换算 alpha,能少一个变量。