西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?

资讯 AI 行业观察 全文 3274 字 · 约 9 分钟读完 配图 6 张 分类多模态

NeurlPS 2026 Spotlight|西工大提出ROSE:多模态终身知识编辑新范式

所属频道 模型发布
西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 1)

企业CEO会换人,产品信息随发布迭代而更新,赛事结果也在一场场产生——现实中的事实知识从来不是静态的。多模态大模型要想让知识不过时,就得把这些新信息及时吃进去。问题是,新事实持续涌入时,新旧知识容易互相打架,预训练阶段攒下的通用能力也可能被冲掉,这仍是眼下待解的难题。


围绕这一难题,西北工业大学宋凌云教授与尚学群教授共同指导的研究团队给出了多模态终身知识编辑框架ROSE。其思路分两步:知识编辑阶段约束参数更新方向,压低新旧知识间的干扰;推理阶段则按需激活对应的编辑知识,让连续更新带来的遗忘和原有能力退化得到缓解。该论文入选NeurIPS 2026 Spotlight。


西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 2)

  • 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models

  • 论文链接:https://arxiv.org/abs/2611.09770

  • 代码链接:https://github.com/sunlitsong/ROSE


连续更新知识面临哪些挑战?


知识编辑的目标,是在不重新训练整个模型的前提下纠正错误、更新特定事实。放到真实场景里,新事实会随现实事件接连冒出来,已有事实也可能变样。于是多模态终身知识编辑要同时做到两件事:学新知识,留住此前的编辑结果,并在无关输入上维持原有表现。这一挑战被归纳为两个方面:


1. 灾难性遗忘(Catastrophic Forgetting):后面的知识更新会干扰先前的编辑结果,已编辑的事实性知识因此难以保住。比如苹果公司的CEO先前已经纠正过,后续更新之后模型又答错了。


2. 局部性退化(Locality Erosion):知识更新会让模型在无关知识上给出意料之外的输出,连原有的预训练能力也可能被削弱。举例来说,纠正苹果公司 CEO 的信息之后,模型对其他公司 CEO 的回答也出现了没必要的变动。


而视觉与文本表示之间又存在关联,这让编辑范围更难控制。一次事实更新,可能同时波及图像理解和语言回答,因此既要保住历史编辑,也要维持无关知识与原有能力的稳定。


连续编辑为什么容易相互干扰


知识编辑的目标,是用较小代价纠正模型里的特定事实,不必每更新一次就重训整个模型。模型可能接连收到多条知识更新:先把苹果公司的 CEO 从蒂姆・库克换成约翰・特努斯,接着更新特努斯的任职经历和他此前负责的业务,再补充库克卸任 CEO 后的职务变化。这些编辑做完,模型不光要准确记住每一条新信息,还得保证先前写入的知识不被后面的事实更新改错。


难点在于,大模型里不同事实所依赖的知识空间并不彼此独立。一次新编辑,可能改变此前编辑所依赖的特征方向,也可能让无关输入上的输出发生变化。结果就是,即便新事实写进去了,后续编辑仍可能让历史知识被遗忘,或者改变模型在无关问题上的回答。


下图用优化路径把这个过程画了出来:更新太保守,新事实可能写不进去;更新太激进,又容易干扰其他知识。ROSE 的思路是,在编辑时避开那些可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,让新知识写入和原有知识保持之间取得平衡。


西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 3)


ROSE 如何写入和使用新知识


编辑阶段,ROSE 把原模型主干冻结,在选定 Transformer 层的 FFN 下投影矩阵里加一个辅助分支,连续到来的新知识都写进这个分支。到了推理阶段,模型先判断输入是不是已编辑过的知识,再决定两个分支的表示怎么结合。


西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 4)


面对后续编辑可能干扰已有修改的问题,ROSE 采取的做法是风险感知的正交编辑机制。


具体来看,ROSE 会先把历史编辑中的视觉特征和文本特征分别提取出来,再据此搭建对应的知识子空间,用于记录以往编辑所涉及的特征方向。进入新一轮编辑时,梯度被投影到历史知识子空间的正交补空间上,与历史编辑方向重合的梯度分量被剔除,新的参数更新便尽量绕开已有编辑涉及的特征方向,新旧知识之间的相互干扰随之降低。


不过,只守住历史编辑涉及的特征子空间,还不足以让模型原有知识和通用能力保持稳定。ROSE 因此加入动态风险掩码机制:以固定的原始权重为锚点,挑出变化较大的参数空间留给后续更新,其他参数位置的更新则被压制。这个掩码在梯度更新过程中会动态重算,用来进一步护住大模型预训练阶段形成的通用知识与能力。


多粒度知识整合策略


辅助分支里写进的编辑知识,并不是对任何输入都适用。比如更新苹果公司 CEO 的信息,模型对其他无关企业的回答就不该受影响。ROSE 为每次编辑分别提取视觉和文本语义原型,把本次修改涉及的知识特征记下来。新问题进来后,模型计算输入特征与历史语义原型之间的相似度,据此判断当前输入和已有编辑是否相关。没通过语义门控的输入,直接沿用原始主干的输出。


通过门控的输入还要再走一步:ROSE 比较原始主干与辅助分支的特征表示差异,按这个差异构建动态融合掩码,只在差异较为显著的位置引入编辑后的特征表示,其余位置保留原始表示。知识整合由粗到细,编辑知识被选择性调用,对无关知识和原有能力的干扰也就少了。


ROSE 在长编辑序列下的表现


测试在 VLKEB 和 MMEdit 两个基准上展开,任务覆盖视觉问答和图像描述。其中可靠性看的是模型有没有正确完成目标知识的更新;泛化性考察问题表述或图像发生变化时,模型能否依然准确回答;局部性则关注知识编辑会不会波及别的无关输入,确保模型在这些输入上的输出尽量和编辑前一致。


下表给出的是 LLaVA-v1.5-7B 在 VLKEB 上连续完成 1000 次编辑后的结果。


西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 5)


结果如下:


ROSE 把灾难性遗忘压了下来。


表格数据能说明问题:编辑次数往上加,多数基线方法的可靠性跟着往下掉。VLKEB 上做完 1000 次编辑,FT-L 的可靠性掉到 68.14%,ROSE 还有 95.24%。从 1 次到 1000 次,ROSE 只降 4.76 个百分点,FT-L 降了 26.15 个百分点。原因在风险引导的正交编辑机制:正交约束让新旧编辑的方向少打架,动态风险掩码把参数更新的范围收窄,对预训练知识和能力的干扰也就小了。


2. 知识泛化表现更好。


VLKEB 上,ROSE 的文本泛化和多模态泛化都拿得出手,1000 次编辑后两项都超过最强基线 LiveEdit。文本泛化 92.74%,LiveEdit 是 83.97%;多模态泛化 84.53%,LiveEdit 是 82.75%。背后是扰动引导的知识子空间融合机制:比较两个分支的特征差异,变化明显的部分挑出来融合,其余原始表示留着不动。


3. 局部性表现突出。


保住无关知识的完整性,是不少编辑方法的老大难。SERAC 在 VLKEB 上的多模态局部性只有 15.04%。ROSE 这边,文本局部性 100%,多模态局部性 88.39%。靠的是从粗到细的知识整合策略:语义对齐门控让无关查询绕开辅助分支,扰动引导的融合只对相关输入做细粒度修改,对其他事实知识的误伤因此变少。


成本上,单张 RTX 4090 加 LLaVA-v1.5-7B 的测试配置里,1000 次编辑设置下平均单次编辑约 1.31 秒,每条查询推理约 1.13 秒,有一定实用价值。


西工大ROSE:多模态终身知识编辑如何破解新旧知识冲突?(配图 6)


结语


风险感知的正交编辑机制减少了连续知识更新对已有知识的干扰,多粒度知识整合策略则按需调用编辑后的知识,局部性退化风险随之降低,新知识学习和原有能力保持之间因此更平衡。实验结果也验证了这套框架在多模态终身知识编辑任务上的有效性。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 29岁曾妍掌舵Seedance:从校招算法工程师到2000亿参数拍板人

    天才少女的故事轮到了字节。 曾妍,字节Seed团队中一位几乎没有公开露面的研究员。她生于1997年,现在是Seedance预训练负责人,主导Seedance 2.0预训练管线。这几天盛传,曾妍晋升为Seedance核心的管理者,从Seed视觉生成与多模态方向负责人周畅手中接过越来越多的工作。 翻开社交平台,讨论曾妍的帖

    来源 AI 行业观察
  2. 字节Seed曾妍走红:29岁掌舵Seedance,一年从3-2升到4-2

    天才少女的故事轮到了字节。曾妍,字节Seed团队中一位几乎没有公开露面的研究员。她生于1997年,现在是Seedance预训练负责人,主导Seedance 2.0预训练管线。这几天盛传,曾妍晋升为Seedance核心的管理者,从Seed视觉生成与多模态方向负责人周畅手中接过越来越多的工作。翻开社交平台,讨论曾妍的帖子火

    来源 腾讯网
  3. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  4. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  5. 液冷重构AI基础设施:丹佛斯携从冷源到芯片侧解决方案亮相2026中国数据中心标准大会

    【TechWeb】11月20日消息,2026中国数据中心标准大会(CDCC)在北京国家会议中心开幕。丹佛斯携覆盖冷源、冷却液分配单元(CDU)、二次侧流体网络及机柜连接的多元产品和解决方案亮相大会,展示面向AI数据中心高密度液冷场景的系统化冷却能力。大会期间,丹佛斯气候方案事业部系统技术总监张乐平发表《液冷重构AI基础

    来源 AI 行业观察
  6. Anthropic数学家联手Claude:黎曼猜想证明成了?

    IT之家 11 月 20 日消息,据《科学美国人》报道,当地时间 20 日,Anthropic 数学家莱文特 · 阿尔波格宣称,自己与 AI 模型 Claude 合作,攻克了数学界最著名的难题之一 —— 黎曼猜想。 阿尔波格在个人网站发表声明称:“我相信,我与 Claude 合作找到了黎曼猜想的证明。” IT之家注:黎

    来源 AI 行业观察
  7. 韩国总统李在明:速度在 AI 竞赛中至关重要

    IT之家 11 月 21 日消息,据路透社报道,当地时间 21 日,韩国总统李在明前往韩国东南部城市蔚山,视察当地一座在建数据中心,并敦促韩国加快在全球 AI 竞赛中的步伐。“全世界都在竞相角逐,速度至关重要。” 数据中心是芯片需求的重要来源。李在明希望,SK 建设的蔚山项目能够取得成功,进而吸引全球 AI 企业加大投

    来源 AI 行业观察
  8. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  9. Claude称证出黎曼猜想,陶哲轩等数学家回应

    智东西11月21日报道,昨夜,Anthropic数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站上发布声明,宣称自己与Claude合作,找到了黎曼猜想及其更强版本——广义黎曼猜想(GRH)的证…

    来源 搜狐科技
  10. Claude被曝证出黎曼猜想?陶哲轩回应了

    · 三星任命手机和存储业务新负责人 · 5499 元起,华为星芒发布首款阔直板手机 OSTA O1 Pro · ColorOS 17 上线跨品牌一碰传 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

    来源 AI 行业观察
  11. PostgreSQL 19 发布:并发 REPACK 与查询计划稳定性控制上线

    IT之家 11 月 21 日消息,当地时间 11 月 19 日,开源关系型数据库 PostgreSQL 19 正式发布。这一最新主版本带来在线表维护、查询计划稳定性、逻辑复制、异步 I/O 和 SQL 功能等多方面更新。官方同时提供适用于 Windows、Linux、macOS 等平台的安装程序、工具和源代码。 Pos

    来源 AI 行业观察
  12. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  13. Anthropic上市:发行价83美元,阿莫迪从GPT-2警示到敲钟

    美国时间11月19日,Anthropic正式登陆纳斯达克,以“ANT”为股票代码挂牌,创下了全球史上最大规模IPO纪录。就在上市前一天,Anthropic将发行价定在每股83美元,并将发行数量从8.25亿股增加到9.8亿股,最终公开发行规模达到813.4亿美元。按发行价计算,这家成立不到六年的AI公司,完全稀释估值约为

    来源 腾讯网
  14. 黄仁勋卸任后英伟达评级遭下调,AMD被做空机构质疑订单

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电

    来源 TechWeb
向下滚动自动加载更多