西北工大ROSE框架:多模态大模型连续知识更新如何不再乱套?
多模态大模型在持续更新事实知识时,常面临“灾难性遗忘”和“局部性退化”两大痛点。西北工业大学团队提出的ROSE框架,通过风险感知的正交编辑机制和多粒度知识整合策略,在LLaVA-7B模型上实现了1000次连续编辑后仍保持95%以上的可靠性,且几乎不干扰无关知识。该成果已入选NeurIPS 2026 Spotlight。
现实世界里的知识一直在变,模型记东西却容易乱套
假如你现在问AI“苹果公司的CEO是谁”,它多半会答蒂姆·库克。可要是明天库克卸任、新人接棒,这个信息模型该怎么改?

最省事的思路是把整个模型重训一遍,代价高得没法接受。更普遍的做法是“知识编辑”,只动模型里跟这条事实相关的那部分参数。听着挺简单吧?可真实场景中,知识更新从来不是一次性的,而是一条停不下来的河。今天改苹果CEO,明天改特斯拉股价,后天再纠正某场球赛的比分。这些更新接连发生,麻烦就冒出来了:新改动会不会把旧改动盖掉?改了一条事实,模型会不会在其他八竿子打不着的问题上犯糊涂?


这正是多模态大模型碰上的“终身知识编辑”难题。西北工业大学宋凌云教授和尚学群教授指导的团队近日提出一个叫 ROSE 的新框架,想在“记住新知识”和“不忘旧知识”之间找平衡。该研究已入选 NeurIPS 2026 Spotlight。

连续更新为什么这么难

想看明白 ROSE 的价值,得先摸清现有方法踩过的坑。知识编辑领域有两只著名的“拦路虎”。头一个是灾难性遗忘(Catastrophic Forgetting),好比在黑板上写字,擦掉旧字写新字,手一抖把旁边还没过期的重要笔记也蹭花了。比如你先告诉模型“苹果CEO是A”,它记住了;接着告诉它“特斯拉CEO是B”,回头再问苹果CEO是谁,它可能又答回错的,甚至胡言乱语。第二个是局部性退化(Locality Erosion),说的是“牵一发而动全身”的副作用。你只想改苹果公司的信息,结果模型回答微软或谷歌的问题时准确率也掉了。原因在于大模型参数高度耦合,动了一个角落,整个网络都可能跟着震。

对多模态模型(既能看图又能读字的模型)来说,情况还要复杂。一次知识更新可能同时牵扯图像特征和文本语义。控制不好,模型不光记错事实,连基本的图像识别能力都可能受损。
传统优化路径往往在两难里摇摆:更新太保守,新知识写不进去;更新太激进,旧知识被破坏。ROSE 的核心思路,就是给这条优化路径装一个“导航仪”,绕开那些高风险的参数区域。
ROSE 是怎么干活的
ROSE 全称 Risk-Aware Orthogonal Subspace Navigation(风险感知正交子空间导航)。名字挺长,逻辑可以拆成两段:怎么改(编辑阶段),怎么用(推理阶段)。
编辑阶段:给新知识修一条“专用车道”
ROSE 没有直接去动模型原本的主干参数,做法是冻结原模型,在 Transformer 层的 FFN(前馈神经网络)下投影矩阵里加一个“辅助分支”。可以把它想成在主路旁边修了条辅路,新知识先全写在这条辅路上。
不过光有辅路不够,还得保证新车上路不会撞到旧车。ROSE 在这里用了两招:
正交编辑机制:模型先提取历史编辑中的视觉和文本特征,搭出一个“历史知识子空间”。新知识来了,ROSE 就把更新的梯度投影到这个子空间的“正交补空间”里。说白了,新知识的更新方向尽量跟旧知识的存储方向垂直,两边互不干扰。这样一来,新参数更新就不会盖掉旧参数的特征方向。
动态风险掩码:只护住历史编辑还不够,模型原本的“常识”也得护。ROSE 以原始权重为锚点,动态算出一个掩码,只让变化较大的参数参与更新,其余参数的变动压住。好比施工时只挖需要改造的地基,周围稳的地基一律不动,预训练阶段攒下的通用能力就这么保住了。
推理阶段:按需调用,不相关的不打扰
知识写进去了,用的时候也有讲究。ROSE 并不打算每次答题都去混辅助分支的信息,那样只会添噪声。
语义门控:用户输入一个问题(比如一张图加一段文字),模型先算输入特征和历史编辑的“语义原型”相似度。相似度低,说明这问题和已编辑的知识没关系,直接走原始主干,输出原汁原味的答案。
动态融合:相似度高,说明问题沾上了已编辑的知识,模型这时才启动辅助分支。它会比对原始主干和辅助分支的特征差异,建一个动态融合掩码。只在差异明显的位置引入编辑后的特征,其余位置照旧保留原始表示。
这套“由粗到细”的策略,保证编辑知识只在必要时被激活,把对无关任务的干扰压到最低。
效果如何,看数据
团队用 LLaVA-v1.5-7B 模型,在 VLKEB 和 MMEdit 两个主流基准上对 ROSE 做了测试。考察的指标有三项:可靠性,看改得对不对;泛化性,看换个问法还认不认;局部性,看没动过的地方有没有被带乱。
连续编辑 1000 次的长测里,ROSE 站得很稳:
先看抗遗忘。编辑次数一多,基线方法 FT-L 的可靠性从高位一路滑到 68.14%,掉了 26 个百分点还多;ROSE 只从初始值回落 4.76 个百分点,最后停在 95.24%。上千次修改之后,它照样能把先前写入的事实准确 recall 出来。
再看泛化。文本泛化这一项,ROSE 拿到 92.74%,最强基线 LiveEdit 是 83.97%;多模态泛化上,ROSE 为 84.53%,LiveEdit 为 82.75%。可见 ROSE 学到的是更稳的特征表示,并非死记硬背的参数。
局部性近乎完美,这是 ROSE 最突出的地方之一。VLKEB 测试中,SERAC 等多模态局部性指标掉到 15.04%,模型碰到无关问题几乎“崩坏”;ROSE 的文本局部性守住 100%,多模态局部性为 88.39%。语义门控加动态融合这套策略,确实把无关干扰隔开了。
落地还得看效率。单张 RTX 4090 上,ROSE 每完成一次编辑平均约 1.31 秒,每条查询推理约 1.13 秒。对实时性要求偏高的场景来说,这个速度有一定实用价值。
结语
大模型的知识更新本就是个动态、持续的过程,并非一锤子买卖。ROSE 的贡献在于没有硬把知识往里塞,而是靠“正交导航”和“按需激活”,顺着模型原有的知识结构来。
局限也有。比如跨模态推理极端复杂时,语义原型的匹配精度够不够?辅助分支的存储开销随编辑次数线性上涨,长期跑下去怎么优化?这些都是往后可以探的方向。
但对想做出“活”的、跟得上时代的 AI 系统的开发者而言,ROSE 给出了一条清楚、走得通的技术路径。它也提醒人:拓展模型能力边界的时候,别把它原有的根基弄坏了。
参考文献与资源
- 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models