西工大ROSE:多模态终身知识编辑如何破解新旧干扰?

资讯 网易科技 作者:网易 全文 3259 字 · 约 9 分钟读完 配图 6 张 分类多模态

NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式,模态,西工大,模型权重,spotlight

所属频道 模型发布

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 1)

企业CEO会换人,产品信息随发布和迭代不断更新,赛事结果也在持续产生——现实世界的事实知识从来不是静止的。多模态大模型要想保持知识时效性,就得及时把这些新信息吸收进来。问题是,持续引入新事实的过程中,新旧知识容易互相干扰,模型在预训练阶段积累的通用能力也可能被削弱,这仍是待解的关键难题。

西北工业大学宋凌云教授与尚学群教授共同指导的研究团队,针对上述挑战提出了多模态终身知识编辑框架ROSE。思路有两步:编辑阶段约束参数更新方向,压低新旧知识间的干扰;推理阶段按需激活相关编辑的知识,减少连续更新造成的知识遗忘与原有能力退化。该论文已入选NeurIPS 2026 Spotlight。

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 2)

  • 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
  • 论文链接:https://arxiv.org/abs/2611.09770
  • 代码链接:https://github.com/sunlitsong/ROSE

连续更新知识面临哪些挑战?

知识编辑的目标是不重训整个模型,就能纠正错误或更新特定事实。真实场景里,新事实随现实事件不断冒出,已有事实也可能改变。多模态终身知识编辑因此要求模型在学习新知识的同时,保住先前的编辑结果,并维持无关输入上的原有表现。这一挑战可归为两类:

1. 灾难性遗忘(Catastrophic Forgetting):后续知识更新干扰先前的编辑结果,模型难以保持已编辑过的事实性知识。比如先前已纠正过苹果公司的CEO,在后续更新后又回答错误。

2. 局部性退化(Locality Erosion):知识更新使模型在无关知识上的输出发生非预期变化,甚至损害原有的预训练能力。比如更新苹果公司CEO的信息后,模型对其他公司的CEO也产生了不必要的回答变化。

视觉与文本表示之间的关联,让控制编辑范围更难。一次事实更新可能同时影响图像理解和语言回答,历史编辑的保持、无关知识与原有能力的稳定,两头都得兼顾。

连续编辑为什么容易相互干扰

知识编辑想以较小代价纠正模型中的特定事实,避免每次更新都重新训练整个模型。模型可能先后接收到多条知识更新:先把苹果公司的CEO从蒂姆・库克更新为约翰・特努斯,随后更新特努斯的任职经历及其此前负责的业务,再补充库克卸任CEO后的职务变化。完成这些编辑后,模型不仅要准确掌握每一条新信息,此前已经写入的知识也不能因后续其他事实的更新而被错误修改。

困难在于,大模型中不同事实所依赖的知识空间并非相互独立。一次新编辑可能改变此前编辑所依赖的特征方向,也可能影响无关输入上的输出。结果就是,即便新事实成功写入,后续编辑仍可能让历史知识被遗忘,或改变模型在无关问题上的回答。

下图用优化路径直观解释了这个现象:更新过于保守,新事实可能编辑不成功;更新过于激进,又容易干扰其他知识。ROSE 的思路是在知识编辑过程中避开可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,在新知识写入与原有知识保持之间取得平衡。

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 3)

ROSE 如何写入和使用新知识

编辑阶段,ROSE 冻结原模型主干,在选定 Transformer 层的 FFN 下投影矩阵中引入一个辅助分支,连续到来的新知识都写入这个分支。到了推理阶段,模型先判断输入是否为已编辑过的知识,再决定如何结合两个分支的表示。

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 4)

风险感知的正交编辑机制

为减少后续编辑对已有修改的干扰,ROSE 分别提取历史编辑中的视觉和文本特征,构建对应的知识子空间,用来记录历史编辑涉及的特征方向。新一轮编辑时,ROSE 将梯度投影到历史知识子空间的正交补空间,移除与历史编辑方向重合的梯度分量,让新的参数更新尽量避开已有编辑所涉及的特征方向,从而降低新旧知识之间的相互干扰。

不过,只保护历史编辑涉及的特征子空间,还不足以保证模型原有知识与通用能力的稳定。ROSE 因此引入动态风险掩码机制,以固定的原始权重为锚点,筛选出变化较大的参数空间参与后续更新,抑制其他参数位置的更新。该掩码在梯度更新时动态重新计算,以此进一步保护大模型在预训练阶段形成的通用知识与能力。

多粒度知识整合策略

辅助分支学到的编辑知识,并不能套用到任何输入上。比如把苹果公司CEO的信息改掉,模型回答其他不相干企业时就不该受影响。ROSE 的做法是:每次编辑都单独抽取视觉和文本两方面的语义原型,把这一回改动牵涉到的知识特征记下来。等新问题进来,模型就算输入特征跟以往这些语义原型的相似度,据此判断这条输入和已有编辑有没有关系。语义门控没放行的输入,输出还是走原来的主干,不做改动。

通过门控的输入,ROSE 会进一步比较原始主干与辅助分支的特征表示差异,据此构建动态融合掩码,仅在差异较为显著的位置引入编辑后的特征表示,其余位置仍保留原始表示。这种由粗到细的知识整合方式,实现了对编辑知识的选择性调用,减少对无关知识和原有能力的干扰。

ROSE 在长编辑序列下的表现

测试在 VLKEB 和 MMEdit 两个基准上展开,覆盖视觉问答与图像描述两类任务。其中可靠性看的是模型有没有把目标知识真正更新对;泛化性看的是问题说法或图像一变,模型还能不能答准;局部性盯的是编辑会不会波及别的无关输入,让模型在这些输入上的输出尽量跟编辑前一致。

下表是 LLaVA-v1.5-7B 在 VLKEB 上完成 1000 次连续编辑后的结果。

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 5)

从结果中不难看出:

先看灾难性遗忘这一关。ROSE 把它压了下来。

编辑次数往上走,多数基线方法的可靠性就往下掉,表格里的数据说得很清楚。VLKEB 上做完 1000 次编辑,FT-L 的可靠性只剩 68.14%,ROSE 还有 95.24%。从 1 次编辑加到 1000 次,ROSE 只掉了 4.76 个百分点,FT-L 掉了 26.15 个百分点。背后起作用的是风险引导的正交编辑机制:正交约束让新旧编辑之间的方向冲突变少,动态风险掩码则把参数更新的范围收窄,对预训练知识和能力的干扰随之降低。

第二项是知识泛化。ROSE 表现同样不错。

在 VLKEB 上,文本泛化和多模态泛化两条线ROSE都跑得稳,1000 次编辑之后两项都压过最强基线 LiveEdit。文本泛化方面,ROSE 为 92.74%,LiveEdit 是 83.97%;多模态泛化方面,ROSE 为 84.53%,LiveEdit 是 82.75%。这套结果来自扰动引导的知识子空间融合机制——两个分支的特征差异被拿来比较,变化显著的部分做选择性融合,其余原始表示照旧保留。

第三项是局部性。ROSE 在这方面的表现很突出。

很多编辑方法都卡在同一个地方:无关知识能不能完整留住。SERAC 在 VLKEB 上的多模态局部性掉到 15.04%。ROSE 这边,文本局部性为 100%,多模态局部性为 88.39%。靠的是从粗到细的知识整合策略:语义对齐门控让无关查询绕开辅助分支,扰动引导的融合只对相关输入做细粒度修改,其他事实知识被意外波及的概率因此变小。

运行成本也有数据。测试配置是单张 RTX 4090 加 LLaVA-v1.5-7B,1000 次编辑设置下,平均单次编辑耗时约 1.31 秒,每条查询推理约 1.13 秒。这个开销说明它有一定的实用价值。

西工大ROSE:多模态终身知识编辑如何破解新旧干扰?(配图 6)

结语

整体来看,ROSE 用风险感知的正交编辑机制削弱连续知识更新对已有知识的干扰,再通过多粒度知识整合策略按需调用编辑后的知识,把局部性退化的风险压下去,新知识学习和原有能力保持之间因此更平衡。多模态终身知识编辑任务上,这套框架的有效性也得到了实验结果的支撑。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  2. 智能体不会交代“为什么”:因果锚用660项编码搭中立底座

    过去一年,行业的力气大多花在给 Agent 补记性。办公协同平台陆续把 Agent 作为独立协作主体接进组织,一批创业公司接着做共享记忆、交接单、经验池,逻辑都对:Agent 有手有脑,不能没有记性。 但当一个 Agent 真的接手一件事,组织问的第一句话不是“你记住了吗”,而是“这事为什么没办成”。 这句话,现在没人

    来源 AI 行业观察
  3. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  4. 英伟达7连跌市值蒸发2.74万亿美元,美股AI板块集体重挫

    智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%,亚马逊暴跌4%。 芯片股也愁容惨淡。美国芯片股费城半导体指数周五

    来源 AI 行业观察
  5. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  6. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  7. Anthropic上市造富:25位华人员工赶上1.5万亿美元估值

    AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。 11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。公司IPO发行价为每股83美元,公开发行规模高达813.4亿美元,加上260亿美元的同步私募配售,整体交易规模超过1073亿美元,公

    来源 AI 行业观察
  8. Claude称证出黎曼猜想,陶哲轩等数学家回应

    智东西11月21日报道,昨夜,Anthropic数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站上发布声明,宣称自己与Claude合作,找到了黎曼猜想及其更强版本——广义黎曼猜想(GRH)的证…

    来源 搜狐科技
  9. 国产算力的含金量,曙光8000用世界级奖项作答!

    当地时间11月19日,2026年国际超级计算大会的颁奖环节,为这个问题提供了一份来自中国的样本:依托全国产十万卡AI超集群曙光8000开展的两项科研应用,一项摘得ACM戈登·贝尔奖,另一项成功入围戈登·贝尔气候建模奖决赛。这套国产算力,已经被真正的科研团队用起来了,而且用到了世界级的水准。曙光8000是全程支撑项目研发

    来源 TechWeb
  10. 曙光8000连获国际大奖:国产算力从建成走向用好的样本

    当地时间11月19日,2026年国际超级计算大会的颁奖环节,为这个问题提供了一份来自中国的样本:依托全国产十万卡AI超集群曙光8000开展的两项科研应用,一项摘得ACM戈登·贝尔奖,另一项成功入围戈登·贝尔气候建模奖决赛。这套国产算力,已经被真正的科研团队用起来了,而且用到了世界级的水准。曙光8000是全程支撑项目研发

    来源 TechWeb
  11. 韩歆毅:AI已走进临床多个环节,可成连接医患的可靠纽带

    IT之家 11 月 22 日消息,据新浪科技今天报道,蚂蚁集团 CEO 韩歆毅今日在 2026 蚂蚁阿福医疗健康生态大会表示,AI 这几年已经走到了临床的很多环节。 韩歆毅表示:“我们看到从门诊到病房,从随访到科研,其实需要思考一个根本的命题,当 AI 走进了医院,走进了患者的日常生活,到底应该怎样服务医学、服务医生、

    来源 AI 行业观察
  12. 谷歌50天连发4款模型:Gemini 4 Neon登场,世界模型同步开放

    OpenAI时隔75天的顶级模型刚刚发布,社区里的吐槽就炸开了。有人直言新模型“几乎没法用”,有人抱怨它过分谨慎、难以指挥,还有人认为,这家伙解释起自己的工作就像在“说外星话”。甚至有人用漫画玩了个梗,吐槽GPT-6.2 Astra的语言风格,根本是防御过当。图片来源网络前·赛博义父Tibo在X上表示,他已经收到了关于

    来源 腾讯网
向下滚动自动加载更多