lora_alpha是什么

入门与上手

讲清 LoRA 微调里 alpha 这个缩放参数到底在调什么、怎么定初始值、什么时候该动它、什么时候动了也没用。

跑 LoRA 微调时,配置文件里除了 rank 还有个 alpha,很多人直接照抄别人的数值,结果要么学不动、要么一改就崩。这篇不解释论文推导,只讲 alpha 在训练里实际起什么作用、它和 rank 是什么关系、调它之前该先固定什么,以及哪几种情况调 alpha 纯属白费功夫。

跑 LoRA 微调时,配置文件里除了 rank 还有个 alpha,很多人直接照抄别人的数值,结果要么学不动、要么一改就崩。这篇不解释论文推导,只讲 alpha 在训练里实际起什么作用、它和 rank 是什么关系、调它之前该先固定什么,以及哪几种情况调 alpha 纯属白费功夫。

先说个前提:下面所有讲法都建立在「你真的在用 LoRA 类低秩适配」这个前提上。如果你用的是别的适配方式或者干脆全参微调,alpha 这个概念根本不存在,套错文档只会越调越乱。另外所有涉及具体数值的地方,别人给你的默认值都只能当起点,不能当结论,最终要看你自己那轮验证集的表现。

alpha 在训练里到底动了什么

LoRA 不直接改原模型权重,而是旁挂一对低秩矩阵,训练只更新这两个小矩阵;alpha 就是这对矩阵输出回到主权重时的缩放系数。它本身不是被训练的参数,是你手工给定的一个放大倍数,训练过程里不会自己变。

  • 比值调大,相当于把这次微调的改动幅度放大,模型更快贴近你的数据,也更容易过拟合或把原有能力带偏
  • 比值调小,改动更保守,学得慢但更稳;这不是好坏问题,取决于你离目标分布有多远
  • alpha 改的是「改动幅度」,不改「能学多少」——容量上限由 rank 决定,这两个别混
  • 同样的 alpha,在不同基座和不同任务上表现可以完全不一样,所以跨项目照抄数值风险很高

定初始值的实操顺序

新手最容易犯的错是 rank 和 alpha 一起改,然后看着结果猜是谁的功劳。正确顺序是先固定一个,再动另一个,否则你得到的结论没有可复用性。

  1. 第一步:先固定 rankrank 决定「能学多少」,alpha 决定「学得多用力」。把 rank 定下来之后再单独调 alpha,这样每次对比都能归因。
  2. 第二步:从比值约等于 1 起步也就是 alpha 取和 rank 同量级的数,先跑一轮看验证集表现,再决定往上还是往下挪,别一上来就抄一个夸张的值。
  3. 第三步:把 alpha 当粗调、学习率当细调先用 alpha 确定改动幅度的量级,再用学习率微调收敛。两个一起动,出问题很难定位。
  4. 第四步:一次只改一个并记录把配置和对应结果都存下来。想先看看别人默认怎么设,可以到 /stacks/fine-tuning 对比口径,再回来自建对照。
你的处境先动哪个理由
任务简单、数据干净先试比值约等于 1没必要放大,稳一点就行
任务难、模型明显学不动先确认 rank 够不够容量不够时加 alpha 只会过拟合
验证集开始退化往下调 alpha通常是改动幅度过大
刚换基座模型重新从小比值试原参数不一定迁移得过来

这几种情况调 alpha 基本没用

调参的前提是「问题出在改动幅度上」。如果卡点根本不在这一层,你在 alpha 上花的时间基本是白费,下面这几种最常见。

  • 数据本身量少、噪声大或标注口径不一致时,再调缩放也只是把噪声放大,先回头清洗数据
  • 训练样本和基座预训练分布差太远、任务几乎是新能力时,瓶颈在 rank 不在 alpha,加缩放只是把欠拟合变过拟合
  • 只跑了很短步数就下结论:alpha 的影响要在训练收敛后才看得出来,中途对比容易误判
  • 已经用全参微调或别的适配方式时,alpha 根本不存在,别套错文档

出问题时的排查顺序

训练出问题的时候,最忌讳同时怀疑所有东西。下面这个顺序是从「最可能、最容易验证」往「最麻烦」排的,按顺序走能省不少时间。

  1. 第一步:看 loss 曲线形状训练 loss 猛掉、验证 loss 抬头,一般是比值偏大,先往下调,而不是先去改数据。
  2. 第二步:检查通用能力是否退化模型开始胡言乱语、原有通用能力明显退化,也先怀疑缩放过大,而不是先怀疑数据脏。
  3. 第三步:确认容量够不够任务明明简单却怎么都学不会,先确认 rank 够不够,再去动 alpha,否则方向就错了。
  4. 第四步:做 A/B 时固定变量固定随机种子与数据切分,否则你看到的差异可能跟 alpha 没关系。想横向对照不同方案,可以到 /rankings 看当时的对比口径。

最后提醒一句:alpha 不是一个「调到某个数就对」的参数,它是你控制改动力度的旋钮。旋钮的意义在于配合 rank、学习率和数据质量一起用,单独盯它没意义。什么样的默认值适合当前基座,去站内对应页面核对当时的数字,比自己凭感觉试要靠谱。

下一步如果你想先看看常见微调栈的默认配置长什么样,再去自建对照,可以到 /stacks/fine-tuning 看一眼,会比较快建立量级感。

常见问题

alpha 设得比 rank 大很多会怎样?

改动幅度被放大,训练集上表现可能很快变好,但验证集容易变差,模型也更容易丢掉原来的通用能力。除非你的任务就是要在特定风格上打得很重,否则不建议一上来就用很大的比值,先按同量级起步更稳。

alpha 和 learning rate 是不是一回事?

不是。alpha 调的是这次微调改动回到主权重时的缩放幅度,学习率调的是每次参数更新的步长。两者都会影响模型跟数据贴得多紧,所以实践上要分开动:先用 alpha 定量级,再用学习率修收敛过程。

换了个 rank,alpha 要跟着改吗?

要。因为真正起作用的是比值而不是绝对值,rank 变了但 alpha 不动,等于顺手把强度也改了,你就分不清效果变化是谁带来的。改 rank 时按原来的比值同步换算 alpha,能少一个变量。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。