西北工大ROSE框架:多模态大模型连续知识更新如何不再乱套?

资讯 AI 应用前沿 全文 2874 字 · 约 8 分钟读完 配图 6 张 分类产品更新多模态大模型

多模态大模型在持续更新事实知识时,常面临“灾难性遗忘”和“局部性退化”两大痛点。西北工业大学团队提出的ROSE框架,通过风险感知的正交编辑机制和多粒度知识整合策略,在LLaVA-7B模型上实现了1000次连续编辑后仍保持95%以上的可靠性,且几乎不干扰无关知识。该成果已入选NeurIPS 2026 Spotlight。

所属频道 产品更新模型发布

现实世界里的知识一直在变,模型记东西却容易乱套

假如你现在问AI“苹果公司的CEO是谁”,它多半会答蒂姆·库克。可要是明天库克卸任、新人接棒,这个信息模型该怎么改?

图片

最省事的思路是把整个模型重训一遍,代价高得没法接受。更普遍的做法是“知识编辑”,只动模型里跟这条事实相关的那部分参数。听着挺简单吧?可真实场景中,知识更新从来不是一次性的,而是一条停不下来的河。今天改苹果CEO,明天改特斯拉股价,后天再纠正某场球赛的比分。这些更新接连发生,麻烦就冒出来了:新改动会不会把旧改动盖掉?改了一条事实,模型会不会在其他八竿子打不着的问题上犯糊涂?

图片

图片

这正是多模态大模型碰上的“终身知识编辑”难题。西北工业大学宋凌云教授和尚学群教授指导的团队近日提出一个叫 ROSE 的新框架,想在“记住新知识”和“不忘旧知识”之间找平衡。该研究已入选 NeurIPS 2026 Spotlight。

图片

连续更新为什么这么难

图片

想看明白 ROSE 的价值,得先摸清现有方法踩过的坑。知识编辑领域有两只著名的“拦路虎”。头一个是灾难性遗忘(Catastrophic Forgetting),好比在黑板上写字,擦掉旧字写新字,手一抖把旁边还没过期的重要笔记也蹭花了。比如你先告诉模型“苹果CEO是A”,它记住了;接着告诉它“特斯拉CEO是B”,回头再问苹果CEO是谁,它可能又答回错的,甚至胡言乱语。第二个是局部性退化(Locality Erosion),说的是“牵一发而动全身”的副作用。你只想改苹果公司的信息,结果模型回答微软或谷歌的问题时准确率也掉了。原因在于大模型参数高度耦合,动了一个角落,整个网络都可能跟着震。

图片

对多模态模型(既能看图又能读字的模型)来说,情况还要复杂。一次知识更新可能同时牵扯图像特征和文本语义。控制不好,模型不光记错事实,连基本的图像识别能力都可能受损。

传统优化路径往往在两难里摇摆:更新太保守,新知识写不进去;更新太激进,旧知识被破坏。ROSE 的核心思路,就是给这条优化路径装一个“导航仪”,绕开那些高风险的参数区域。

ROSE 是怎么干活的

ROSE 全称 Risk-Aware Orthogonal Subspace Navigation(风险感知正交子空间导航)。名字挺长,逻辑可以拆成两段:怎么改(编辑阶段),怎么用(推理阶段)。

编辑阶段:给新知识修一条“专用车道”

ROSE 没有直接去动模型原本的主干参数,做法是冻结原模型,在 Transformer 层的 FFN(前馈神经网络)下投影矩阵里加一个“辅助分支”。可以把它想成在主路旁边修了条辅路,新知识先全写在这条辅路上。

不过光有辅路不够,还得保证新车上路不会撞到旧车。ROSE 在这里用了两招:

  • 正交编辑机制:模型先提取历史编辑中的视觉和文本特征,搭出一个“历史知识子空间”。新知识来了,ROSE 就把更新的梯度投影到这个子空间的“正交补空间”里。说白了,新知识的更新方向尽量跟旧知识的存储方向垂直,两边互不干扰。这样一来,新参数更新就不会盖掉旧参数的特征方向。

  • 动态风险掩码:只护住历史编辑还不够,模型原本的“常识”也得护。ROSE 以原始权重为锚点,动态算出一个掩码,只让变化较大的参数参与更新,其余参数的变动压住。好比施工时只挖需要改造的地基,周围稳的地基一律不动,预训练阶段攒下的通用能力就这么保住了。

推理阶段:按需调用,不相关的不打扰

知识写进去了,用的时候也有讲究。ROSE 并不打算每次答题都去混辅助分支的信息,那样只会添噪声。

  • 语义门控:用户输入一个问题(比如一张图加一段文字),模型先算输入特征和历史编辑的“语义原型”相似度。相似度低,说明这问题和已编辑的知识没关系,直接走原始主干,输出原汁原味的答案。

  • 动态融合:相似度高,说明问题沾上了已编辑的知识,模型这时才启动辅助分支。它会比对原始主干和辅助分支的特征差异,建一个动态融合掩码。只在差异明显的位置引入编辑后的特征,其余位置照旧保留原始表示。

这套“由粗到细”的策略,保证编辑知识只在必要时被激活,把对无关任务的干扰压到最低。

效果如何,看数据

团队用 LLaVA-v1.5-7B 模型,在 VLKEB 和 MMEdit 两个主流基准上对 ROSE 做了测试。考察的指标有三项:可靠性,看改得对不对;泛化性,看换个问法还认不认;局部性,看没动过的地方有没有被带乱。

连续编辑 1000 次的长测里,ROSE 站得很稳:

  • 先看抗遗忘。编辑次数一多,基线方法 FT-L 的可靠性从高位一路滑到 68.14%,掉了 26 个百分点还多;ROSE 只从初始值回落 4.76 个百分点,最后停在 95.24%。上千次修改之后,它照样能把先前写入的事实准确 recall 出来。

  • 再看泛化。文本泛化这一项,ROSE 拿到 92.74%,最强基线 LiveEdit 是 83.97%;多模态泛化上,ROSE 为 84.53%,LiveEdit 为 82.75%。可见 ROSE 学到的是更稳的特征表示,并非死记硬背的参数。

  • 局部性近乎完美,这是 ROSE 最突出的地方之一。VLKEB 测试中,SERAC 等多模态局部性指标掉到 15.04%,模型碰到无关问题几乎“崩坏”;ROSE 的文本局部性守住 100%,多模态局部性为 88.39%。语义门控加动态融合这套策略,确实把无关干扰隔开了。

落地还得看效率。单张 RTX 4090 上,ROSE 每完成一次编辑平均约 1.31 秒,每条查询推理约 1.13 秒。对实时性要求偏高的场景来说,这个速度有一定实用价值。

结语

大模型的知识更新本就是个动态、持续的过程,并非一锤子买卖。ROSE 的贡献在于没有硬把知识往里塞,而是靠“正交导航”和“按需激活”,顺着模型原有的知识结构来。

局限也有。比如跨模态推理极端复杂时,语义原型的匹配精度够不够?辅助分支的存储开销随编辑次数线性上涨,长期跑下去怎么优化?这些都是往后可以探的方向。

但对想做出“活”的、跟得上时代的 AI 系统的开发者而言,ROSE 给出了一条清楚、走得通的技术路径。它也提醒人:拓展模型能力边界的时候,别把它原有的根基弄坏了。


参考文献与资源

  • 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com rose.ai Rose是一个云数据平台,旨在帮助用户查找、参与、可视化和共享数据。它支持外部和内部数据的集成,并能够为内部… 金融与财报 · rose.ai 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com Rosebud AI Rosebud AI是一个创新的游戏开发工具,它通过AI技术简化了游戏创作的复杂性,使得从初学者到经验丰富的… 聊天对话 · rosebud.ai ProSEOAI 从YouTube视频生成的AI SEO文章,能够绕过AI检测 聊天对话 · proseoai.com OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn

相关推荐 按相关度与热度排序

全部资讯 →
  1. Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式

    你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...

    来源 腾讯网
  2. Qwen4-Max上线:2.4万亿参数,推理成本降58%

    IT时报记者 潘少颖综合报道进入11月后,国内大模型赛道热度不减,百度、美团、华为相继放出新模型,阿里在11月16日补上了自家旗舰的更新——Qwen4-Max正式亮相。不少大模型在落地后遇到相似的问题:跑分好看,但读长文档容易丢信息、写代码容易半路跑偏;想做持续调用的智能体,算力账单又居高不下。Qwen4-Max是Qw

    来源 腾讯网
  3. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  4. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  5. 达瓦科技控制层模型:AI视频何时能告别“抽卡”?

    达瓦科技不走通用大模型路线,而是基于12年片场积累的180TB结构化数据,研发“重控制、轻渲染”的基座模型。通过分离导演逻辑与画面渲染,将影视制作中的反复试错成本降低50%以上,并让实时世界模型能在单张消费级显卡上运行,为直播、游戏及Physical AI提供低成本落地方案。

    来源 AI 应用前沿
  6. Anthropic上市首日市值破2万亿:25位华人员工分享造富盛宴

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 图虫创意AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。

    来源 腾讯网
  7. 试题经过大模型测试?国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评

    IT之家 11 月 22 日消息,11 月 21 日晚,国家中医药管理局中医师资格认证中心通过官方公众号发布声明称,该中心从未公开历年真题,未与任何大模型企业合作,亦未开展测评。 声明称,中心从未以任何形式向社会公开、发布或出售中医类别医师资格考试历年试题(含真题、原题)、参考答案及相关考试资料,亦未授权任何单位或个人

    来源 AI 行业观察
  8. 华中科技大学联手阿里巴巴建AI安全研究中心,首批9个课题启动

    IT之家 11 月 21 日消息,华中科技大学与阿里巴巴集团于 11 月 18 日签署合作协议,聚焦 AI 安全共建“智能攻防与前沿安全联合研究中心”,首批启动 9 个课题。 IT之家获悉,联合研究中心首批启动的 9 个课题,覆盖大模型安全攻防、智能体与终端安全、智能化系统与软件安全、数据协同与隐私保护四大方向,以下为

    来源 AI 行业观察
  9. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  10. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  11. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  12. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  13. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  14. DeepSeek-VL前负责人张博创业,Simplex AI开源个人智能体Linger

    一位DeepSeek早期核心成员,创业了。 11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。 为了降低普通电脑运行大模型的门

    来源 AI 行业观察
  15. AI把漏洞攻防压进小时级:补丁窗口正在消失

    AI正在同时加速漏洞的发现、利用与修补:攻击者在补丁发布后几小时内就能写出利用代码,防御方则被迫在没有充分测试的情况下紧急上线修复。WIRED指出,这种失衡正在把偶发的网络中断变成日常背景音——欢迎来到断网地狱。

    来源 AI 科技快讯
  16. 英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

    智东西11月20日消息,昨日,美国AI Infra创企Prime Intellect宣布推出模型训练平台Model Factory,企业可根据平台支持的模型和算力配置,更新现成模型的全部参数,或从零训练新模型。该公司称,其底层强化学习框架prime-rl支持在千张以上GPU集群上训练万亿参数以上的MoE模型。

    来源 智东西
  17. 谷歌 Gemini 登陆 Mac:AI 可后台操控电脑,修图做 PPT 自动完成

    人工智能正从“动嘴皮子给建议”加速走向“动手帮你干活”。11月20日,谷歌正式为 macOS 版的 Gemini 应用推出了“电脑操控”(Computer Use)功能,让 AI 能够跨越桌面应用、本地文件以及网页环境,自主执行多步骤复杂任务。 后台独立运行不抢鼠标,支持实时预览与随时叫停 对于习惯

    来源 AI 开发者社区
  18. 杨枫谈《时空低语》:献给未来的情书为何引共鸣?

    单机游戏《时空低语》制作人濮冠楠,正是小说《时空低语》的作者。《时空低语》小说于2026年11月由作家出版社正式出版。18年后的今天,濮冠楠带着《时空低语》的新书,和彼时的《科幻世界》副主编杨枫有了这次跨越时空后的对话。两年多过去,2026年11月19日,《时空低语》游戏预告片全球首发。《时空低语》游戏整体研发周期预期

    来源 TechWeb
向下滚动自动加载更多