Janus框架:清华与滴滴提出大模型抗遗忘新范式,先微调后矫正
罗马神话中的时间之神 Janus,有两张面孔,能够同时望见过去和未来。可大模型学会了新技能,却往往忘了旧知识。这种现象被称为「灾难性遗忘」(Catastrophic Forgetting),是大模型微调面临的经典难题。长期以来,研究者一直试图在训练过程中为模型设置约束,让它学习新知识的同时,尽量不忘记过去。但现在,一项
罗马神话里有一位时间之神叫
Janus,长着两张脸,一张看向过去,一张望向未来。
可放到大模型身上,学了新本事之后,旧知识常常被丢在一边。
这种毛病有个名字,叫「灾难性遗忘」(Catastrophic Forgetting),微调大模型时绕不开。
过去很长一段时间,研究者的做法是在训练过程中给模型加约束,指望它学新东西的时候别把老本行忘了。
不过,清华大学和滴滴自动驾驶联合做的一项研究,换了个角度想问题:
与其在训练时步步小心地防遗忘,不如先让模型把微调跑完,再回过头对参数做针对性修正。
他们提出的JANUS框架走的就是这条路:原有微调流程一点不动,只对微调完成的模型做后处理,受损的历史知识能捞回来一部分,新任务的能力也尽量留住。
在LLaMA-2-7B上做数学和代码任务实验,JANUS把历史知识保持指标从67.55%和79.71%分别拉到106.16%和109.83%,新任务能力指标只掉了约1个百分点。
目前,该工作已被
论文标题:Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
论文链接:https://arxiv.org/abs/2609.19985
代码链接:https://github.com/zhengzl18/JANUS
01 大模型为什么总是「学了新的,忘了旧的」?
对大模型来说,学新任务和留旧知识,这两件事往往顾此失彼。
前者要的是可塑性(Plasticity),后者要的是稳定性(Stability)。
麻烦在于两边互相牵扯。模型得不停调参数去适应新任务和新数据;可参数一动,预训练阶段攒下的知识表示又可能被搅乱。
现有的抗遗忘微调方法里,有一种用「子空间正交」约束,把参数更新挡在可能干扰旧知识的方向之外。
但JANUS研究团队发现,这种限制也许比真正防住遗忘所需的条件苛刻得多。
JANUS的突破口就在这里。
02 解锁模型潜能:从「充分条件」到「充要条件」
JANUS先做的一件事,是把抗遗忘要满足的数学条件重新捋了一遍。
子空间正交约束要求ΔW与历史知识M各自张成的子空间互相正交,也就是:ΔW · M = 0
这确实能压住干扰,可同时也把大量方向上锁。历史样本一多,留给模型学新任务的空间就缩得很快。
说白了,这个条件充分,但不必要。
JANUS的出发点是:网络里的参数是一个整体在起作用,彼此配合就能把抗遗忘的担子分着扛。
于是方法把「每一行参数各自实现抗遗忘」改成「所有参数共同协作实现抗遗忘」,即:Tr(ΔW · M) = 0
这个改动看着不起眼,背后却藏着一次视角上的转换。
在 ΔW · M = 0 里,看的是 ΔW 的行空间和 M 的列空间,要求这两个维度都不高的子空间彼此正交;换成 Tr(ΔW · M) = 0,两个矩阵就被当成高维参数空间里的两个向量,约束的是向量之间的正交。
这个条件既充分又必要。
模型因此能在保住旧知识的同时,腾出更大的参数更新空间去学新任务。
子空间正交和参数空间正交的对比。
研究团队据此设计出 JANUS(JAcobian NUll Space Projection)算法。整个过程不用嵌进原来的训练流程:模型先做全参数微调、
这也让 JANUS 和现有的训练时抗遗忘方法区分开来——它想等模型把新任务学会之后,再去修补微调给旧知识留下的损伤。
03 一次矫正不够:让模型沿「安全路径」逐步修复记忆
不过,训练后的参数矫正并不是做一次投影就完事。
旧任务梯度给出的无遗忘更新方向只在一个局部成立。参数变化一大,最早算出来的那个方向就可能不准了。
一次性完成大跨度投影的话,最终参数仍可能跑出历史损失保持不变的那片区域。
为此,研究团队又提出了「
每走完一步,JANUS 都会重新计算当前所在位置的雅可比矩阵,给出下一步的无遗忘更新方向。
算法还引入 JANUS shift 指标,比较不同位置上雅可比矩阵行空间的变化,据此自适应地挑选步长。
可以把它想成沿着历史任务损失的等高线往前走:每次迈一小步,重新确认等高线的走向,再迈下一步。
研究还用了 Ghost 操作和 SVD 压缩等手段,压低大模型参数矫正过程中的时间和空间开销。
对 7B 参数的模型来说,修正只要 1 张 A100 显卡、30 分钟。
多步自适应矫正
04 旧知识恢复至预训练水平以上,新能力损失约 1 个百分点
JANUS 到底能把灾难性遗忘缓解到什么程度?
研究团队在 LLaMA-2-7B 和 LLaMA-3-8B 上做了系统评测,覆盖数学、代码、指令遵循三类下游任务。
对照的基线里既有常规微调做法(全参数微调,也就是更新全部参数),也包含其他的抗遗忘微调方案。
稳定性与可塑性由三个综合指标来刻画:AP₁反映旧知识留住了多少,属于稳定性;AP₂反映新任务学得怎么样,属于可塑性;AP 则是这两项的算术平均值。
放到 LLaMA-2-7B 上跑,JANUS-P 的表现格外亮眼。
下面是 LLaMA-2-7B 上的实验结果。
数学任务里,JANUS-P 把稳定性指标 AP₁由 67.55% 拉到 106.16%,可塑性指标只掉了 1.02 个百分点。代码任务同样如此,AP₁ 从 79.71% 升到 109.83%,AP₂ 的降幅仅有 0.75 个百分点。
指令遵循任务上,JANUS-P 把稳定性推到了接近预训练模型的水平,综合指标也更高。跟其他抗遗忘微调方法比,它基本都能同时抬高稳定性和可塑性。
下图为稳定性与可塑性的对比。
后续实验还表明,这种恢复效果在不同基础模型、不同下游任务和不同原始微调方法上都能稳定复现。换句话说,JANUS 并没有绑死在某种训练方案上。
05 结语:从「训练时限制」转向「训练后修复」,大模型持续学习多了一条新思路
JANUS 真正值得留意的地方,可能不只在性能涨了多少,而在于它换了一种处理抗遗忘问题的思路。
以往不少方法是在模型学新任务的过程中动手,靠限制参数更新来防止旧知识被破坏。
JANUS 把这道约束挪到了训练结束之后。
这样一来,抗遗忘机制就不必跟某个具体的微调算法捆在一起,而有望变成一个相对独立的模型后处理环节。
对那些要频繁适配不同任务、能力还得持续更新的大模型来说,这条路有实际落地的潜力,也打开了一种新的可能:
学新知识和留住旧知识之间的矛盾,未必只能靠训练时加更严的限制来化解。
先让模型学会,再回头修正,有时候反而是更灵活的一条路。
作者团队简介
论文第一作者是郑志龙,清华大学智能驾驶课题组(iDLab)博士生,导师为清华大学车辆学院、人工智能学院李升波教授。这项工作由清华大学与滴滴自动驾驶深穹远航实验室(DiDi Voyager Labs)合作完成。