Janus框架:清华与滴滴提出大模型抗遗忘新范式,先微调后矫正

资讯 腾讯网 作者:机器之心 全文 2954 字 · 约 8 分钟读完 配图 1 张 分类大模型自动驾驶

罗马神话中的时间之神 Janus,有两张面孔,能够同时望见过去和未来。可大模型学会了新技能,却往往忘了旧知识。这种现象被称为「灾难性遗忘」(Catastrophic Forgetting),是大模型微调面临的经典难题。长期以来,研究者一直试图在训练过程中为模型设置约束,让它学习新知识的同时,尽量不忘记过去。但现在,一项

所属频道 模型发布智能汽车与出行

罗马神话里有一位时间之神叫Janus,长着两张脸,一张看向过去,一张望向未来。

可放到大模型身上,学了新本事之后,旧知识常常被丢在一边。

这种毛病有个名字,叫「灾难性遗忘」(Catastrophic Forgetting),微调大模型时绕不开。

过去很长一段时间,研究者的做法是在训练过程中给模型加约束,指望它学新东西的时候别把老本行忘了。

不过,清华大学和滴滴自动驾驶联合做的一项研究,换了个角度想问题:

与其在训练时步步小心地防遗忘,不如先让模型把微调跑完,再回过头对参数做针对性修正。

他们提出的JANUS框架走的就是这条路:原有微调流程一点不动,只对微调完成的模型做后处理,受损的历史知识能捞回来一部分,新任务的能力也尽量留住。

在LLaMA-2-7B上做数学和代码任务实验,JANUS把历史知识保持指标从67.55%和79.71%分别拉到106.16%和109.83%,新任务能力指标只掉了约1个百分点。

目前,该工作已被

  • 论文标题:Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification

  • 论文链接:https://arxiv.org/abs/2609.19985

  • 代码链接:https://github.com/zhengzl18/JANUS

01 大模型为什么总是「学了新的,忘了旧的」?

对大模型来说,学新任务和留旧知识,这两件事往往顾此失彼。

前者要的是可塑性(Plasticity),后者要的是稳定性(Stability)。

麻烦在于两边互相牵扯。模型得不停调参数去适应新任务和新数据;可参数一动,预训练阶段攒下的知识表示又可能被搅乱。

现有的抗遗忘微调方法里,有一种用「子空间正交」约束,把参数更新挡在可能干扰旧知识的方向之外。

但JANUS研究团队发现,这种限制也许比真正防住遗忘所需的条件苛刻得多。

JANUS的突破口就在这里。

02 解锁模型潜能:从「充分条件」到「充要条件」

JANUS先做的一件事,是把抗遗忘要满足的数学条件重新捋了一遍。

子空间正交约束要求ΔW与历史知识M各自张成的子空间互相正交,也就是:ΔW · M = 0

这确实能压住干扰,可同时也把大量方向上锁。历史样本一多,留给模型学新任务的空间就缩得很快。

说白了,这个条件充分,但不必要。

JANUS的出发点是:网络里的参数是一个整体在起作用,彼此配合就能把抗遗忘的担子分着扛。

于是方法把「每一行参数各自实现抗遗忘」改成「所有参数共同协作实现抗遗忘」,即:Tr(ΔW · M) = 0

这个改动看着不起眼,背后却藏着一次视角上的转换。

在 ΔW · M = 0 里,看的是 ΔW 的行空间和 M 的列空间,要求这两个维度都不高的子空间彼此正交;换成 Tr(ΔW · M) = 0,两个矩阵就被当成高维参数空间里的两个向量,约束的是向量之间的正交。

这个条件既充分又必要。

模型因此能在保住旧知识的同时,腾出更大的参数更新空间去学新任务。

子空间正交和参数空间正交的对比。

研究团队据此设计出 JANUS(JAcobian NUll Space Projection)算法。整个过程不用嵌进原来的训练流程:模型先做全参数微调、

这也让 JANUS 和现有的训练时抗遗忘方法区分开来——它想等模型把新任务学会之后,再去修补微调给旧知识留下的损伤。

03 一次矫正不够:让模型沿「安全路径」逐步修复记忆

不过,训练后的参数矫正并不是做一次投影就完事。

旧任务梯度给出的无遗忘更新方向只在一个局部成立。参数变化一大,最早算出来的那个方向就可能不准了。

一次性完成大跨度投影的话,最终参数仍可能跑出历史损失保持不变的那片区域。

为此,研究团队又提出了「

每走完一步,JANUS 都会重新计算当前所在位置的雅可比矩阵,给出下一步的无遗忘更新方向。

算法还引入 JANUS shift 指标,比较不同位置上雅可比矩阵行空间的变化,据此自适应地挑选步长。

可以把它想成沿着历史任务损失的等高线往前走:每次迈一小步,重新确认等高线的走向,再迈下一步。

研究还用了 Ghost 操作和 SVD 压缩等手段,压低大模型参数矫正过程中的时间和空间开销。

对 7B 参数的模型来说,修正只要 1 张 A100 显卡、30 分钟。

多步自适应矫正

04 旧知识恢复至预训练水平以上,新能力损失约 1 个百分点

JANUS 到底能把灾难性遗忘缓解到什么程度?

研究团队在 LLaMA-2-7B 和 LLaMA-3-8B 上做了系统评测,覆盖数学、代码、指令遵循三类下游任务。

对照的基线里既有常规微调做法(全参数微调,也就是更新全部参数),也包含其他的抗遗忘微调方案。

稳定性与可塑性由三个综合指标来刻画:AP₁反映旧知识留住了多少,属于稳定性;AP₂反映新任务学得怎么样,属于可塑性;AP 则是这两项的算术平均值。

放到 LLaMA-2-7B 上跑,JANUS-P 的表现格外亮眼。

下面是 LLaMA-2-7B 上的实验结果。

数学任务里,JANUS-P 把稳定性指标 AP₁由 67.55% 拉到 106.16%,可塑性指标只掉了 1.02 个百分点。代码任务同样如此,AP₁ 从 79.71% 升到 109.83%,AP₂ 的降幅仅有 0.75 个百分点。

指令遵循任务上,JANUS-P 把稳定性推到了接近预训练模型的水平,综合指标也更高。跟其他抗遗忘微调方法比,它基本都能同时抬高稳定性和可塑性。

下图为稳定性与可塑性的对比。

后续实验还表明,这种恢复效果在不同基础模型、不同下游任务和不同原始微调方法上都能稳定复现。换句话说,JANUS 并没有绑死在某种训练方案上。

05 结语:从「训练时限制」转向「训练后修复」,大模型持续学习多了一条新思路

JANUS 真正值得留意的地方,可能不只在性能涨了多少,而在于它换了一种处理抗遗忘问题的思路。

以往不少方法是在模型学新任务的过程中动手,靠限制参数更新来防止旧知识被破坏。

JANUS 把这道约束挪到了训练结束之后。

这样一来,抗遗忘机制就不必跟某个具体的微调算法捆在一起,而有望变成一个相对独立的模型后处理环节。

对那些要频繁适配不同任务、能力还得持续更新的大模型来说,这条路有实际落地的潜力,也打开了一种新的可能:

学新知识和留住旧知识之间的矛盾,未必只能靠训练时加更严的限制来化解。

先让模型学会,再回头修正,有时候反而是更灵活的一条路。

作者团队简介

论文第一作者是郑志龙,清华大学智能驾驶课题组(iDLab)博士生,导师为清华大学车辆学院、人工智能学院李升波教授。这项工作由清华大学与滴滴自动驾驶深穹远航实验室(DiDi Voyager Labs)合作完成。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  2. Anthropic上市首日市值破2万亿:25位华人员工分享造富盛宴

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 图虫创意AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。

    来源 腾讯网
  3. TML开源新模型,循环Transformer架构,笔记本就能跑

    编辑|Panda昨晚,黎曼猜想的一份 AI 证明声明,把大模型的推理能力再次推到聚光灯下。Anthropic 数学家 Levent Alpöge 宣称,自己与 Claude 合作找到了证明,并公布了形式化材料。虽然这项声明仍待独立核验,但已经让人们重新追问:AI 究竟能完成多复杂的工作?而刚刚,Thinking Mac

    来源 腾讯网
  4. Anthropic教AI“忏悔”引牧师质疑:硅谷自己该忏悔什么?

    【文/观察者网 阮佳琪】最近,美国人工智能巨头Anthropic整出了一场颇具戏剧性的“神学风波”。过去一年里,这家市值刚刚飙升至万亿美元的AI巨头,被曝出曾秘密召集全球各地的宗教学者与神职人员,试图向他们宣扬一个惊人观念:其旗下的大模型Claude,可能已经拥有“意识”和“灵魂”。在闭门会议上,Anthropic团队

    来源 腾讯网
  5. 读懂Harness、MCP与循环工程:8个AI新词帮你判断工具能力

    神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。 编者按:大模型时代,大家熟悉提示词、幻觉这些基础词汇,但 AI 行业迭代很快,智能体、MCP、GEO 等新名词正在成为行业通用语言。读懂这些概念,不只是看懂新闻,也能帮你理性评估各类 AI 工具的真实能力、权限与风险。

    来源 AI 行业观察
  6. 试题经过大模型测试?国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评

    IT之家 11 月 22 日消息,11 月 21 日晚,国家中医药管理局中医师资格认证中心通过官方公众号发布声明称,该中心从未公开历年真题,未与任何大模型企业合作,亦未开展测评。 声明称,中心从未以任何形式向社会公开、发布或出售中医类别医师资格考试历年试题(含真题、原题)、参考答案及相关考试资料,亦未授权任何单位或个人

    来源 AI 行业观察
  7. 华中科技大学联手阿里巴巴建AI安全研究中心,首批9个课题启动

    IT之家 11 月 21 日消息,华中科技大学与阿里巴巴集团于 11 月 18 日签署合作协议,聚焦 AI 安全共建“智能攻防与前沿安全联合研究中心”,首批启动 9 个课题。 IT之家获悉,联合研究中心首批启动的 9 个课题,覆盖大模型安全攻防、智能体与终端安全、智能化系统与软件安全、数据协同与隐私保护四大方向,以下为

    来源 AI 行业观察
  8. 摩尔线程周苑与腾讯云石梅:AI落地卡在哪,如何跨过三道坎

    从芯片、大模型到真正落地人工智能(AI)提效,“硅基”世界的演进逻辑正在发生根本重构。产业场景里的真实需求正在倒逼算力与产品的同步进化。算力底座、模型引擎与终端应用,谁在牵引谁?场景数据又如何反哺技术突破?三方共生的临界点将在何时到来?在2026年《财富》中国500强论坛上,来自AI全景生态链中不同站位的四位...

    来源 腾讯网
  9. Mythos遭实测质疑:中美AI漏洞挖掘走向两条路

    文 观察者网 吕栋一场关于AI漏洞挖掘的争论近日在海外社媒上悄然发酵,主角是“Mythos vs 360”。此前,美国大模型厂商Anthropic高调发布了号称在漏洞发现上“危险地强大”的新模型Mythos,并联合约40个关键基础设施厂商搞了一个“提前修补联盟”,营销声势浩大。然而几乎在同一时间,中国企业360悄悄发布

    来源 腾讯网
  10. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  11. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  12. 姚顺雨回应混元为何不追5万亿参数:Hy4仍待改进,计划训更大模型

    IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还

    来源 AI 行业观察
  13. Robotaxi混战一年,谁都没吃到商业化红利

    进入2026年尾声,L4成为业内普遍认可的、最具颠覆式的驾乘体验技术,但率先冲刺商业化的并非乘用车,而是Robotaxi。 过去十余年,全球Robotaxi赛道累计烧掉超千亿美元真金白银,可对于大多玩家而言也是有苦说不出,Robotaxi赚钱并不容易。 2026年被称作Robotaxi从技术验证走向规模化商用的关键一年

    来源 AI 行业观察
  14. 西北工大ROSE框架:多模态大模型连续知识更新如何不再乱套?

    多模态大模型在持续更新事实知识时,常面临“灾难性遗忘”和“局部性退化”两大痛点。西北工业大学团队提出的ROSE框架,通过风险感知的正交编辑机制和多粒度知识整合策略,在LLaVA-7B模型上实现了1000次连续编辑后仍保持95%以上的可靠性,且几乎不干扰无关知识。该成果已入选NeurIPS 2026 Spotlight。

    来源 AI 应用前沿
  15. 国星宇航港股首日破发:AI卫星转型未改营收结构,2026亏损预增

    中经记者 陈婷 赵毅 深圳报道11月13日,国星宇航(06935.HK)在香港联交所挂牌上市,公司股价开盘报24.44港元/股,较发行价24.9港元/股跌1.85%。截至当日收盘,报24.02港元/股。招股书显示,国星宇航是国内聚焦AI卫星的商业航天企业,于2018年12月发射了中国第一颗AI应用卫星,于2024年9月

    来源 腾讯网
  16. 大模型首Token激活为何巨大?清华北大团队找到梯度调节解释

    大语言模型中,序列开头的Token常出现注意力汇聚和数值巨大的异常激活。清华与北大团队通过反向传播分析发现,这种“巨大激活”并非冗余,而是通过RMSNorm层衰减局部集中梯度的自适应机制。研究提出V-scale验证了这一假设,为理解Transformer训练动力学提供了新视角。

    来源 AI 应用前沿
向下滚动自动加载更多