西工大ROSE:多模态终身知识编辑如何破解新旧干扰?
NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式,模态,西工大,模型权重,spotlight

企业CEO会换人,产品信息随发布和迭代不断更新,赛事结果也在持续产生——现实世界的事实知识从来不是静止的。多模态大模型要想保持知识时效性,就得及时把这些新信息吸收进来。问题是,持续引入新事实的过程中,新旧知识容易互相干扰,模型在预训练阶段积累的通用能力也可能被削弱,这仍是待解的关键难题。
西北工业大学宋凌云教授与尚学群教授共同指导的研究团队,针对上述挑战提出了多模态终身知识编辑框架ROSE。思路有两步:编辑阶段约束参数更新方向,压低新旧知识间的干扰;推理阶段按需激活相关编辑的知识,减少连续更新造成的知识遗忘与原有能力退化。该论文已入选NeurIPS 2026 Spotlight。

- 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
- 论文链接:https://arxiv.org/abs/2611.09770
- 代码链接:https://github.com/sunlitsong/ROSE
连续更新知识面临哪些挑战?
知识编辑的目标是不重训整个模型,就能纠正错误或更新特定事实。真实场景里,新事实随现实事件不断冒出,已有事实也可能改变。多模态终身知识编辑因此要求模型在学习新知识的同时,保住先前的编辑结果,并维持无关输入上的原有表现。这一挑战可归为两类:
1. 灾难性遗忘(Catastrophic Forgetting):后续知识更新干扰先前的编辑结果,模型难以保持已编辑过的事实性知识。比如先前已纠正过苹果公司的CEO,在后续更新后又回答错误。
2. 局部性退化(Locality Erosion):知识更新使模型在无关知识上的输出发生非预期变化,甚至损害原有的预训练能力。比如更新苹果公司CEO的信息后,模型对其他公司的CEO也产生了不必要的回答变化。
视觉与文本表示之间的关联,让控制编辑范围更难。一次事实更新可能同时影响图像理解和语言回答,历史编辑的保持、无关知识与原有能力的稳定,两头都得兼顾。
连续编辑为什么容易相互干扰
知识编辑想以较小代价纠正模型中的特定事实,避免每次更新都重新训练整个模型。模型可能先后接收到多条知识更新:先把苹果公司的CEO从蒂姆・库克更新为约翰・特努斯,随后更新特努斯的任职经历及其此前负责的业务,再补充库克卸任CEO后的职务变化。完成这些编辑后,模型不仅要准确掌握每一条新信息,此前已经写入的知识也不能因后续其他事实的更新而被错误修改。
困难在于,大模型中不同事实所依赖的知识空间并非相互独立。一次新编辑可能改变此前编辑所依赖的特征方向,也可能影响无关输入上的输出。结果就是,即便新事实成功写入,后续编辑仍可能让历史知识被遗忘,或改变模型在无关问题上的回答。
下图用优化路径直观解释了这个现象:更新过于保守,新事实可能编辑不成功;更新过于激进,又容易干扰其他知识。ROSE 的思路是在知识编辑过程中避开可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,在新知识写入与原有知识保持之间取得平衡。

ROSE 如何写入和使用新知识
编辑阶段,ROSE 冻结原模型主干,在选定 Transformer 层的 FFN 下投影矩阵中引入一个辅助分支,连续到来的新知识都写入这个分支。到了推理阶段,模型先判断输入是否为已编辑过的知识,再决定如何结合两个分支的表示。

风险感知的正交编辑机制
为减少后续编辑对已有修改的干扰,ROSE 分别提取历史编辑中的视觉和文本特征,构建对应的知识子空间,用来记录历史编辑涉及的特征方向。新一轮编辑时,ROSE 将梯度投影到历史知识子空间的正交补空间,移除与历史编辑方向重合的梯度分量,让新的参数更新尽量避开已有编辑所涉及的特征方向,从而降低新旧知识之间的相互干扰。
不过,只保护历史编辑涉及的特征子空间,还不足以保证模型原有知识与通用能力的稳定。ROSE 因此引入动态风险掩码机制,以固定的原始权重为锚点,筛选出变化较大的参数空间参与后续更新,抑制其他参数位置的更新。该掩码在梯度更新时动态重新计算,以此进一步保护大模型在预训练阶段形成的通用知识与能力。
多粒度知识整合策略
辅助分支学到的编辑知识,并不能套用到任何输入上。比如把苹果公司CEO的信息改掉,模型回答其他不相干企业时就不该受影响。ROSE 的做法是:每次编辑都单独抽取视觉和文本两方面的语义原型,把这一回改动牵涉到的知识特征记下来。等新问题进来,模型就算输入特征跟以往这些语义原型的相似度,据此判断这条输入和已有编辑有没有关系。语义门控没放行的输入,输出还是走原来的主干,不做改动。
通过门控的输入,ROSE 会进一步比较原始主干与辅助分支的特征表示差异,据此构建动态融合掩码,仅在差异较为显著的位置引入编辑后的特征表示,其余位置仍保留原始表示。这种由粗到细的知识整合方式,实现了对编辑知识的选择性调用,减少对无关知识和原有能力的干扰。
ROSE 在长编辑序列下的表现
测试在 VLKEB 和 MMEdit 两个基准上展开,覆盖视觉问答与图像描述两类任务。其中可靠性看的是模型有没有把目标知识真正更新对;泛化性看的是问题说法或图像一变,模型还能不能答准;局部性盯的是编辑会不会波及别的无关输入,让模型在这些输入上的输出尽量跟编辑前一致。
下表是 LLaVA-v1.5-7B 在 VLKEB 上完成 1000 次连续编辑后的结果。

从结果中不难看出:
先看灾难性遗忘这一关。ROSE 把它压了下来。
编辑次数往上走,多数基线方法的可靠性就往下掉,表格里的数据说得很清楚。VLKEB 上做完 1000 次编辑,FT-L 的可靠性只剩 68.14%,ROSE 还有 95.24%。从 1 次编辑加到 1000 次,ROSE 只掉了 4.76 个百分点,FT-L 掉了 26.15 个百分点。背后起作用的是风险引导的正交编辑机制:正交约束让新旧编辑之间的方向冲突变少,动态风险掩码则把参数更新的范围收窄,对预训练知识和能力的干扰随之降低。
第二项是知识泛化。ROSE 表现同样不错。
在 VLKEB 上,文本泛化和多模态泛化两条线ROSE都跑得稳,1000 次编辑之后两项都压过最强基线 LiveEdit。文本泛化方面,ROSE 为 92.74%,LiveEdit 是 83.97%;多模态泛化方面,ROSE 为 84.53%,LiveEdit 是 82.75%。这套结果来自扰动引导的知识子空间融合机制——两个分支的特征差异被拿来比较,变化显著的部分做选择性融合,其余原始表示照旧保留。
第三项是局部性。ROSE 在这方面的表现很突出。
很多编辑方法都卡在同一个地方:无关知识能不能完整留住。SERAC 在 VLKEB 上的多模态局部性掉到 15.04%。ROSE 这边,文本局部性为 100%,多模态局部性为 88.39%。靠的是从粗到细的知识整合策略:语义对齐门控让无关查询绕开辅助分支,扰动引导的融合只对相关输入做细粒度修改,其他事实知识被意外波及的概率因此变小。
运行成本也有数据。测试配置是单张 RTX 4090 加 LLaVA-v1.5-7B,1000 次编辑设置下,平均单次编辑耗时约 1.31 秒,每条查询推理约 1.13 秒。这个开销说明它有一定的实用价值。

结语
整体来看,ROSE 用风险感知的正交编辑机制削弱连续知识更新对已有知识的干扰,再通过多粒度知识整合策略按需调用编辑后的知识,把局部性退化的风险压下去,新知识学习和原有能力保持之间因此更平衡。多模态终身知识编辑任务上,这套框架的有效性也得到了实验结果的支撑。