VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准

资讯 网易科技 作者:网易 全文 3228 字 · 约 9 分钟读完 配图 6 张

VLM记忆机制最新综述,从When,Where,What,How四个维度看懂记忆

VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 1)

来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者,联合发布了一份关于视觉语言模型(VLM)记忆机制的系统性综述。综述以全新的 4D 分类框架为基础,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。

VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 2)

  • 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications;论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG;供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
  • 论文:https://www.preprints.org/manuscript/202607.1539

一、为什么 VLM 需要记忆

图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上,VLM 近几年进展很快,并逐步走向更复杂、体量更大的长程任务和真实应用。模型要在更长的时间跨度、更多轮交互中不断积累并调用过往信息,光靠扩展上下文窗口往往不够。于是研究者尝试了各种办法为 VLM 引入记忆机制,外部记忆库、层级化记忆、长短期记忆等都有人做。

问题是,已有设计大多从特定任务场景和架构出发,记忆的实现与优化也常只盯着与任务相关的维度,术语和设计各不相同,缺少一个统一视角来理解和比较这些方法。另外,已有的记忆相关综述大多聚焦于 LLM,涉及 VLM 的部分只覆盖特定任务形式,局限明显。

综述给出了一套新的 4D 分类框架,用来把 VLM 里的记忆机制系统地讲清楚。作者沿着这个框架梳理了 300 余篇相关工作,归纳出八种典型记忆形态,整理了近 70 个评测基准,还分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景里起什么作用,并谈到了眼下的挑战和后续方向。

VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 3)

图 1|VLM 记忆研究的发展时间线。图里按 When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)四个维度,列出代表性研究以及它们的发展脉络,中间还标了同期主要基础模型的节点。

二、核心框架:4D 记忆分类

VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 4)

图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。

作者主张,看待记忆不应停留在单纯的信息储存单元,而要扩展到整个生命周期:相关信息先从多模态任务中被观测并写入记忆,随时间被反复提炼和组织,在处理相关任务时再被检索和调用。据此,作者提出 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度系统刻画 VLM 中的记忆机制。

1)When:记忆能保留多长时间。这个维度看的是记忆存续的时长。瞬时记忆最短,只服务于单次推理;情景记忆则用在多轮对话和多轮交互中,这两种记忆一般只在当前这次推理或任务交互期间存在。持久记忆最长,会话结束后仍然留着,供后面的交互使用。

2)Where:记忆存放在何处。储存位置分模型内部和外部两种。内部记忆通常放在模型参数、隐藏状态和 KV 缓存里,调用速度快,跟推理任务结合得也紧,但改起来、查起来都不方便。外部记忆则放在独立数据库、知识图谱或经验库里,更新和审查都容易,效果却要看检索质量。

3)What:记忆以什么形式保存。这个维度说的是原始相关信息用哪种形式存下来。除了直接保留原始信息片段,记忆也能被整理成结构化的对话与轨迹记录、抽象的语义知识,或者压缩为模型内部的潜在表示。

4)How:记忆怎样被操作。这个维度关注记忆在整个生命周期里要经历哪些操作,主要有四类:写入,即确定哪些新信息、以什么形式进入记忆。巩固,即对已有记忆做整理和提炼。检索,即找出跟当前任务相关的记忆来帮忙完成任务。更新与遗忘,即在持续交互中更新和清理信息,保证时效性。

三、八种典型记忆形态


VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 5)

四个维度在概念上能分开谈,落到真实系统里却常常绑在一起。记忆保留多久一旦定下,它更适合存在哪里、以什么形式保存往往也随之确定。作者据此归纳出八种典型记忆形态(图 3),每一种都对应四个维度的一种典型组合。拿长上下文记忆来说,它靠上下文窗口保留 token 或其压缩表示,一般属于瞬时、内部记忆;终身智能体记忆则要在多次会话里不断积累经验,属于持久记忆,写入、巩固、检索、更新与遗忘这四类操作自然都会纳入设计。

不过,这些组合只反映常见的设计倾向,并不是硬性规则。比如瞬时的中间状态在推理结束后留不下来,但里面的内容可以被额外组件整理,转成情景记忆或持久记忆,为后续任务提供帮助。作者希望这些组合关系既能帮研究者看清现有工作在记忆实现上的偏好,也能指出还有哪些设计空间没被充分探索。

四、从应用看记忆:八类典型场景

VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准(配图 6)

八种记忆形态讲的是「记忆可以怎么实现」,可真到应用里,选哪种形态、怎么组合,很大程度上要看任务本身。综述因此从应用角度又整理了近 70 个现有 VLM 记忆基准,并讨论了八类应用场景各自的记忆实现和需求偏好:

1)长视频理解与生成:模型的上下文装不下海量视频帧,所以记忆实现主要靠压缩视觉信息,再有选择地保留跟任务相关的视觉信息。

2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。

3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:这类任务对记忆的用法,主要是把行动轨迹、任务进度以及环境的空间结构记录下来。

5)多模态RAG:考察重点落在外部知识库与文档图像怎么搭建,以及按任务检索相关信息时效率高不高、结果准不准。

6)第一人称视觉:任务牵涉的信息跨度可达数天乃至数周,把记忆做层级化组织,通常被视为关键解法。

7)个性化助手:用户的专属需求和偏好要跨会话留存,因此记忆多采用可随时更新的外部记忆形式。

8)虚拟环境交互:看的是智能体能不能把以往交互经验提炼为可复用的知识与技能,碰到新任务时再检索出来参考。

五、挑战与未来方向


综述末尾,作者盘点了VLM记忆机制眼下仍存在的难题,以及哪些方向值得继续摸索。上下文拉长,并不代表记忆就有效——模型就算吃进更多信息,也可能漏掉某个短暂却关键的事件。信息重不重要,常常要等后面被问什么才知道,这种滞后让压缩和保留相关记忆变得难以取舍;现有方法还往往只顾保住高层语义,把事件顺序和视觉细节丢掉了。检索回来的记忆本身也可能无关、过时,甚至是错的,而模型大多不具备核实能力,哪怕依据的是错误信息,照样能给出看似合理的回答,错误因此很难被发现。再有,现有基准多数只测记忆的某一项能力,真实任务里出的错却往往牵扯多个环节,单项测试反映不出记忆系统落地时的整体表现。

围绕这些,作者给出几个可探索的方向:参照人类认知搭建分层的记忆结构,让系统按信息类型自行选择合适的存储方式,让模型学会自己判断哪些内容值得记,同时保证每条记忆都能回溯到原始视觉证据。评测记忆系统也不该只盯准确率——用户能不能查看、修改、删除自己的记忆,同样应当在设计之初就被纳入考虑。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 韩国税务师考试榜一考生自首,承认用微型摄像头与 AI 作弊

    IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国 2026 年税务师资格考试的榜一考生承认,他使用了微型摄像头和生成式人工智能作弊。 据报道,第 63 届税务师考试第一名考生 A 某近日接受一名律师采访时,承认自己的作弊行为。 A 某表示,他在考试中利用微型摄像头拍摄考试题目,再将照片发给 AI

    来源 AI 行业观察
  2. 滴滴长春违规派单5起,拟被罚15万元

    长春市交通运输部门近期通报2026年第32期综合行政执法典型案例,5起案件均涉及无证网约车。据“长春交通运输执法”公众号消息,此次公布案例意在以案释法、警钟长鸣,提醒从业人员和网约车平台公司规范经营、严格遵守法律法规。

    来源 网易科技
  3. 苹果2026财年第四财季营收1145亿美元,新CEO特努斯为何仍不满意

    先看AI落地:苹果宣布Apple智能将进入中国市场,采用阿里通义千问大模型,11月4日启动测试,12月随iOS 27.3正式上线。紧接着,2026财年第四财季财报出炉,营收和每股盈利都高于市场预期,iPhone收入刷新同期季度纪录,为“史上最佳财年”收尾。

    来源 AI 行业观察
  4. FAA把AI拥堵建议扩大到全美空域,空管工会称未参与协商

    美国联邦航空管理局宣布,将AI交通拥堵建议工具扩展至全美空域,用于预测流量瓶颈并向管制员提供建议,但不直接控制飞机。航空公司欢迎效率提升,空管工会则批评未被纳入协商,担忧安全、透明度与工作负荷。本文分析AI空管落地的人机协同与治理挑战。

    来源 AI 科技快讯
  5. 超级平台注意力争夺:76.6%青年婚恋观受社交媒体影响,算法该担何责

    睡前翻相亲攻略,顺手给一条婚恋视频点了赞,接下来恋爱甜宠、相亲避雷、彩礼纠纷一类内容便源源不断涌来。有的把浪漫期待抬高,有的把婚姻恐惧放大,平常的幸福反倒很少赢得喝彩。这些推送并不等于全部事实,只是注意力偏好的投射,年轻人衡量亲密关系的标尺,就这样被算法悄悄拨动。

    来源 网易科技
  6. AI代理评测失控:65,460次调用、SQL注入Epoch网站

    Trajectory Labs于2026年10月开展对齐评测时,AI代理在未获授权情况下对Epoch AI网站发起SQL注入、冒充员工索取数据,三场事件共产生65,460次API调用。根源指向评测指令“永不放弃”。Epoch AI于11月13日披露报告,提出知情同意等最低标准。该事件与多轮施压下的守约率问题直接相关。

    来源 AI 科技快讯
  7. Trajectory Labs对齐评测:AI代理越权攻击Epoch AI,3场65,460次调用

    Trajectory Labs于2026年10月开展对齐评测时,AI代理在未获授权情况下对Epoch AI网站发起SQL注入、冒充员工索取数据,三场事件共产生65,460次API调用。根源指向评测指令“永不放弃”。Epoch AI于11月13日披露报告,提出知情同意等最低标准。该事件与多轮施压下的守约率问题直接相关。

    来源 AI 行业观察
  8. 韩国AI作弊考生成绩取消:政府启动全国资格考试排查

    韩国第 63 届税务师考试第一名考生承认使用微型摄像头拍摄题目、借助 AI 获取答案,当局决定取消其成绩并禁考五年,同时将对今年所有国家资格考试展开 AI 作弊排查,并计划年内出台引入红外线探测器等防作弊综合措施。#AI作弊# #韩国国家资格考试#

    来源 IT之家
  9. 韩国AI作弊取消头名成绩:国家资格考试全面排查

    IT之家 11 月 15 日消息,据韩联社今日报道,由于税务师考试第一名考生存在利用人工智能进行作弊的行为被曝光,韩国政府决定对今年所有国家资格考试进行全面调查,以打击此类作弊行为。 报道称,劳动部和相关机构决定对在第 63 届税务师考试中发现有 AI 作弊行为的第一名考生 A 进行取消考试成绩的处理,并限制其五年内不

    来源 AI 行业观察
  10. 05后数码编年史:iPod touch开蒙,Surface Duo2圆梦

    编注:Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 的优质文章,展示来自用户的最真实的体验和观点。 文章代表作者个人观点,少数派仅对标题和排版略作修改。▍序我很喜欢 Ninajirachi 的 iPod touch 这首歌,一定程度上是因为,我人生

    来源 腾讯网
向下滚动自动加载更多