VLM记忆机制综述发布:4D框架梳理300余篇工作与近70个基准
VLM记忆机制最新综述,从When,Where,What,How四个维度看懂记忆

来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者,联合发布了一份关于视觉语言模型(VLM)记忆机制的系统性综述。综述以全新的 4D 分类框架为基础,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。

- 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications;论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG;供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
- 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
- 论文:https://www.preprints.org/manuscript/202607.1539
一、为什么 VLM 需要记忆
图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上,VLM 近几年进展很快,并逐步走向更复杂、体量更大的长程任务和真实应用。模型要在更长的时间跨度、更多轮交互中不断积累并调用过往信息,光靠扩展上下文窗口往往不够。于是研究者尝试了各种办法为 VLM 引入记忆机制,外部记忆库、层级化记忆、长短期记忆等都有人做。
问题是,已有设计大多从特定任务场景和架构出发,记忆的实现与优化也常只盯着与任务相关的维度,术语和设计各不相同,缺少一个统一视角来理解和比较这些方法。另外,已有的记忆相关综述大多聚焦于 LLM,涉及 VLM 的部分只覆盖特定任务形式,局限明显。
综述给出了一套新的 4D 分类框架,用来把 VLM 里的记忆机制系统地讲清楚。作者沿着这个框架梳理了 300 余篇相关工作,归纳出八种典型记忆形态,整理了近 70 个评测基准,还分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景里起什么作用,并谈到了眼下的挑战和后续方向。

图 1|VLM 记忆研究的发展时间线。图里按 When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)四个维度,列出代表性研究以及它们的发展脉络,中间还标了同期主要基础模型的节点。
二、核心框架:4D 记忆分类

图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。
作者主张,看待记忆不应停留在单纯的信息储存单元,而要扩展到整个生命周期:相关信息先从多模态任务中被观测并写入记忆,随时间被反复提炼和组织,在处理相关任务时再被检索和调用。据此,作者提出 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度系统刻画 VLM 中的记忆机制。
1)When:记忆能保留多长时间。这个维度看的是记忆存续的时长。瞬时记忆最短,只服务于单次推理;情景记忆则用在多轮对话和多轮交互中,这两种记忆一般只在当前这次推理或任务交互期间存在。持久记忆最长,会话结束后仍然留着,供后面的交互使用。
2)Where:记忆存放在何处。储存位置分模型内部和外部两种。内部记忆通常放在模型参数、隐藏状态和 KV 缓存里,调用速度快,跟推理任务结合得也紧,但改起来、查起来都不方便。外部记忆则放在独立数据库、知识图谱或经验库里,更新和审查都容易,效果却要看检索质量。
3)What:记忆以什么形式保存。这个维度说的是原始相关信息用哪种形式存下来。除了直接保留原始信息片段,记忆也能被整理成结构化的对话与轨迹记录、抽象的语义知识,或者压缩为模型内部的潜在表示。
4)How:记忆怎样被操作。这个维度关注记忆在整个生命周期里要经历哪些操作,主要有四类:写入,即确定哪些新信息、以什么形式进入记忆。巩固,即对已有记忆做整理和提炼。检索,即找出跟当前任务相关的记忆来帮忙完成任务。更新与遗忘,即在持续交互中更新和清理信息,保证时效性。
三、八种典型记忆形态

四个维度在概念上能分开谈,落到真实系统里却常常绑在一起。记忆保留多久一旦定下,它更适合存在哪里、以什么形式保存往往也随之确定。作者据此归纳出八种典型记忆形态(图 3),每一种都对应四个维度的一种典型组合。拿长上下文记忆来说,它靠上下文窗口保留 token 或其压缩表示,一般属于瞬时、内部记忆;终身智能体记忆则要在多次会话里不断积累经验,属于持久记忆,写入、巩固、检索、更新与遗忘这四类操作自然都会纳入设计。
不过,这些组合只反映常见的设计倾向,并不是硬性规则。比如瞬时的中间状态在推理结束后留不下来,但里面的内容可以被额外组件整理,转成情景记忆或持久记忆,为后续任务提供帮助。作者希望这些组合关系既能帮研究者看清现有工作在记忆实现上的偏好,也能指出还有哪些设计空间没被充分探索。
四、从应用看记忆:八类典型场景

八种记忆形态讲的是「记忆可以怎么实现」,可真到应用里,选哪种形态、怎么组合,很大程度上要看任务本身。综述因此从应用角度又整理了近 70 个现有 VLM 记忆基准,并讨论了八类应用场景各自的记忆实现和需求偏好:
1)长视频理解与生成:模型的上下文装不下海量视频帧,所以记忆实现主要靠压缩视觉信息,再有选择地保留跟任务相关的视觉信息。
2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。
3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。
4)具身导航与动作:这类任务对记忆的用法,主要是把行动轨迹、任务进度以及环境的空间结构记录下来。
5)多模态RAG:考察重点落在外部知识库与文档图像怎么搭建,以及按任务检索相关信息时效率高不高、结果准不准。
6)第一人称视觉:任务牵涉的信息跨度可达数天乃至数周,把记忆做层级化组织,通常被视为关键解法。
7)个性化助手:用户的专属需求和偏好要跨会话留存,因此记忆多采用可随时更新的外部记忆形式。
8)虚拟环境交互:看的是智能体能不能把以往交互经验提炼为可复用的知识与技能,碰到新任务时再检索出来参考。
五、挑战与未来方向
综述末尾,作者盘点了VLM记忆机制眼下仍存在的难题,以及哪些方向值得继续摸索。上下文拉长,并不代表记忆就有效——模型就算吃进更多信息,也可能漏掉某个短暂却关键的事件。信息重不重要,常常要等后面被问什么才知道,这种滞后让压缩和保留相关记忆变得难以取舍;现有方法还往往只顾保住高层语义,把事件顺序和视觉细节丢掉了。检索回来的记忆本身也可能无关、过时,甚至是错的,而模型大多不具备核实能力,哪怕依据的是错误信息,照样能给出看似合理的回答,错误因此很难被发现。再有,现有基准多数只测记忆的某一项能力,真实任务里出的错却往往牵扯多个环节,单项测试反映不出记忆系统落地时的整体表现。
围绕这些,作者给出几个可探索的方向:参照人类认知搭建分层的记忆结构,让系统按信息类型自行选择合适的存储方式,让模型学会自己判断哪些内容值得记,同时保证每条记忆都能回溯到原始视觉证据。评测记忆系统也不该只盯准确率——用户能不能查看、修改、删除自己的记忆,同样应当在设计之初就被纳入考虑。