西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?
NeurlPS 2026 Spotlight|西工大提出ROSE:多模态终身知识编辑新范式
企业CEO会换人,产品信息随发布迭代而更新,赛事结果也在一场场产生——现实中的事实知识从来不是静态的。多模态大模型要想让知识不过时,就得把这些新信息及时吃进去。问题是,新事实持续涌入时,新旧知识容易互相打架,预训练阶段攒下的通用能力也可能被冲掉,这仍是眼下待解的难题。
围绕这一难题,西北工业大学宋凌云教授与尚学群教授共同指导的研究团队给出了多模态终身知识编辑框架ROSE。其思路分两步:知识编辑阶段约束参数更新方向,压低新旧知识间的干扰;推理阶段则按需激活对应的编辑知识,让连续更新带来的遗忘和原有能力退化得到缓解。该论文入选NeurIPS 2026 Spotlight。
-
论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
-
论文链接:https://arxiv.org/abs/2611.09770
-
代码链接:https://github.com/sunlitsong/ROSE
连续更新知识面临哪些挑战?
知识编辑的目标,是在不重新训练整个模型的前提下纠正错误、更新特定事实。放到真实场景里,新事实会随现实事件接连冒出来,已有事实也可能变样。于是多模态终身知识编辑要同时做到两件事:学新知识,留住此前的编辑结果,并在无关输入上维持原有表现。这一挑战被归纳为两个方面:
1. 灾难性遗忘(Catastrophic Forgetting):后面的知识更新会干扰先前的编辑结果,已编辑的事实性知识因此难以保住。比如苹果公司的CEO先前已经纠正过,后续更新之后模型又答错了。
2. 局部性退化(Locality Erosion):知识更新会让模型在无关知识上给出意料之外的输出,连原有的预训练能力也可能被削弱。举例来说,纠正苹果公司 CEO 的信息之后,模型对其他公司 CEO 的回答也出现了没必要的变动。
而视觉与文本表示之间又存在关联,这让编辑范围更难控制。一次事实更新,可能同时波及图像理解和语言回答,因此既要保住历史编辑,也要维持无关知识与原有能力的稳定。
连续编辑为什么容易相互干扰
知识编辑的目标,是用较小代价纠正模型里的特定事实,不必每更新一次就重训整个模型。模型可能接连收到多条知识更新:先把苹果公司的 CEO 从蒂姆・库克换成约翰・特努斯,接着更新特努斯的任职经历和他此前负责的业务,再补充库克卸任 CEO 后的职务变化。这些编辑做完,模型不光要准确记住每一条新信息,还得保证先前写入的知识不被后面的事实更新改错。
难点在于,大模型里不同事实所依赖的知识空间并不彼此独立。一次新编辑,可能改变此前编辑所依赖的特征方向,也可能让无关输入上的输出发生变化。结果就是,即便新事实写进去了,后续编辑仍可能让历史知识被遗忘,或者改变模型在无关问题上的回答。
下图用优化路径把这个过程画了出来:更新太保守,新事实可能写不进去;更新太激进,又容易干扰其他知识。ROSE 的思路是,在编辑时避开那些可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,让新知识写入和原有知识保持之间取得平衡。
ROSE 如何写入和使用新知识
编辑阶段,ROSE 把原模型主干冻结,在选定 Transformer 层的 FFN 下投影矩阵里加一个辅助分支,连续到来的新知识都写进这个分支。到了推理阶段,模型先判断输入是不是已编辑过的知识,再决定两个分支的表示怎么结合。
面对后续编辑可能干扰已有修改的问题,ROSE 采取的做法是风险感知的正交编辑机制。
具体来看,ROSE 会先把历史编辑中的视觉特征和文本特征分别提取出来,再据此搭建对应的知识子空间,用于记录以往编辑所涉及的特征方向。进入新一轮编辑时,梯度被投影到历史知识子空间的正交补空间上,与历史编辑方向重合的梯度分量被剔除,新的参数更新便尽量绕开已有编辑涉及的特征方向,新旧知识之间的相互干扰随之降低。
不过,只守住历史编辑涉及的特征子空间,还不足以让模型原有知识和通用能力保持稳定。ROSE 因此加入动态风险掩码机制:以固定的原始权重为锚点,挑出变化较大的参数空间留给后续更新,其他参数位置的更新则被压制。这个掩码在梯度更新过程中会动态重算,用来进一步护住大模型预训练阶段形成的通用知识与能力。
多粒度知识整合策略
辅助分支里写进的编辑知识,并不是对任何输入都适用。比如更新苹果公司 CEO 的信息,模型对其他无关企业的回答就不该受影响。ROSE 为每次编辑分别提取视觉和文本语义原型,把本次修改涉及的知识特征记下来。新问题进来后,模型计算输入特征与历史语义原型之间的相似度,据此判断当前输入和已有编辑是否相关。没通过语义门控的输入,直接沿用原始主干的输出。
通过门控的输入还要再走一步:ROSE 比较原始主干与辅助分支的特征表示差异,按这个差异构建动态融合掩码,只在差异较为显著的位置引入编辑后的特征表示,其余位置保留原始表示。知识整合由粗到细,编辑知识被选择性调用,对无关知识和原有能力的干扰也就少了。
ROSE 在长编辑序列下的表现
测试在 VLKEB 和 MMEdit 两个基准上展开,任务覆盖视觉问答和图像描述。其中可靠性看的是模型有没有正确完成目标知识的更新;泛化性考察问题表述或图像发生变化时,模型能否依然准确回答;局部性则关注知识编辑会不会波及别的无关输入,确保模型在这些输入上的输出尽量和编辑前一致。
下表给出的是 LLaVA-v1.5-7B 在 VLKEB 上连续完成 1000 次编辑后的结果。
结果如下:
ROSE 把灾难性遗忘压了下来。
表格数据能说明问题:编辑次数往上加,多数基线方法的可靠性跟着往下掉。VLKEB 上做完 1000 次编辑,FT-L 的可靠性掉到 68.14%,ROSE 还有 95.24%。从 1 次到 1000 次,ROSE 只降 4.76 个百分点,FT-L 降了 26.15 个百分点。原因在风险引导的正交编辑机制:正交约束让新旧编辑的方向少打架,动态风险掩码把参数更新的范围收窄,对预训练知识和能力的干扰也就小了。
2. 知识泛化表现更好。
VLKEB 上,ROSE 的文本泛化和多模态泛化都拿得出手,1000 次编辑后两项都超过最强基线 LiveEdit。文本泛化 92.74%,LiveEdit 是 83.97%;多模态泛化 84.53%,LiveEdit 是 82.75%。背后是扰动引导的知识子空间融合机制:比较两个分支的特征差异,变化明显的部分挑出来融合,其余原始表示留着不动。
3. 局部性表现突出。
保住无关知识的完整性,是不少编辑方法的老大难。SERAC 在 VLKEB 上的多模态局部性只有 15.04%。ROSE 这边,文本局部性 100%,多模态局部性 88.39%。靠的是从粗到细的知识整合策略:语义对齐门控让无关查询绕开辅助分支,扰动引导的融合只对相关输入做细粒度修改,对其他事实知识的误伤因此变少。
成本上,单张 RTX 4090 加 LLaVA-v1.5-7B 的测试配置里,1000 次编辑设置下平均单次编辑约 1.31 秒,每条查询推理约 1.13 秒,有一定实用价值。
结语
风险感知的正交编辑机制减少了连续知识更新对已有知识的干扰,多粒度知识整合策略则按需调用编辑后的知识,局部性退化风险随之降低,新知识学习和原有能力保持之间因此更平衡。实验结果也验证了这套框架在多模态终身知识编辑任务上的有效性。