VLM记忆机制综述出炉:八机构联合提出4D分类框架
来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory
来自Duke、Google、USC、UPenn、UNC等八家机构的研究者,联合发布了一篇视觉语言模型(VLM)记忆机制的系统性综述。综述以全新视角梳理这一领域。
论文题为:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
论文:https://www.preprints.org/manuscript/202607.1539
一、VLM 为什么离不开记忆
图像描述、视觉问答、视频理解、多模态对话和具身智能,这些任务近几年随VLM进步很快。模型的应用范围也在往更复杂、更大体量的长程任务和真实场景延伸。这类任务要求模型在更长的时间跨度、更多轮交互里不断积累并调用此前的信息,光靠扩展上下文窗口,往往顶不住。于是研究者各出各招,尝试把记忆机制引入VLM,例如
不过,现有设计大多从特定任务场景和架构出发,记忆怎么实现、怎么优化,也往往只盯着与任务相关的维度,术语和设计各说各话。要理解和比较这些方法,缺一个统一的视角。另外,已有的记忆相关综述主要围绕LLM展开,对VLM的描述只覆盖特定任务形式,局限不小。
这篇综述里,作者提出了一套全新的
图 1|VLM 记忆研究的发展时间线。这张图按 When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)四个维度,把代表性研究及其演进脉络摆了出来,中间还标了同期主要基础模型的发展节点。
二、核心框架:4D 记忆分类
在作者看来,记忆不该只被当成一个存信息的单元,而应放到整个生命周期里看:相关信息先从多模态任务中被观测、写入记忆,随时间被反复提炼和组织,等到处理相关任务时再被检索调用。基于这一视角,作者提出了
1)When:记忆保留多久。这个维度看的是记忆能存在多长时间。最短的瞬时记忆服务单次推理,情景记忆则对应多轮对话和多轮交互,两者的记忆一般只在当前推理或任务交互期间保留。最长的持久记忆不一样,会话结束后它依然留着,供后续交互使用。
2)Where:记忆存在哪里。储存位置分模型内部和外部两类。内部记忆往往存在模型的参数、隐藏状态和
3)What:记忆存成什么。这个维度说的是记忆用什么形式把原始的相关信息存下来。除了直接保留原始信息片段,记忆也能被整理成结构化的对话与轨迹记录、抽象的语义知识,或者压缩成模型内部的潜在表示。
4)How:记忆如何操作。这个维度关注记忆在整个生命周期里经历的操作,主要有四类:写入,决定哪些新信息以什么形式写进记忆;巩固,对已有记忆进行整理和提炼;检索,找出与当前任务相关的记忆来辅助完成任务;更新与遗忘,在持续交互中更新和清理信息,保证信息的时效性。
三、八种典型记忆形态
四个维度在概念上可以分开谈,但落到真实系统里,它们常常绑在一起。记忆保留多久选定了,往往也就决定了它更适合存在哪里、以什么形式保存。作者据此归纳出八种典型的记忆形态(图 3),每一种都对应四个维度的一种典型组合。例如,
这些组合只是常见的设计倾向,并非固定规则。比如瞬时的中间状态,推理结束后虽然留不下来,但其中的内容可以被额外组件整理成情景或持久记忆,辅助后续任务。作者希望,这些组合关系既能帮研究者理清现有工作在记忆实现上的偏好,也能指出还没被充分探索的设计空间。
四、从应用看记忆:八类典型场景
八种记忆形态回答的是「记忆可以怎么实现」。到了实际应用中,选哪种形态、怎么组合,很大程度上由任务本身决定。从应用角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:
1)长视频理解与生成:模型的上下文装不下海量视频帧,记忆实现多以压缩视觉信息、有选择地保留任务相关视觉信息为主。
2)图像推理与描述:这类任务中,模型推理一长就容易忘掉重要信息,记忆实现侧重保留关键视觉信息。
3)持续学习:核心是模型学新知识、新技能时把以往的能力保留住,记忆通常体现为对模型原有参数和表示空间的保护。
4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。
5)多模态 RAG 这类任务,重点在于搭建外部知识库与文档图像,并看按任务检索相关信息的效率与准确度如何。6)第一人称视觉面对的是长达数天乃至数周的信息跨度,把记忆做层级化组织,通常被视为一条重要的解决路径。
7)个性化助手要把用户的专属要求与偏好跨会话留存下来,做法上多是依赖可随时更新的外部记忆。8)虚拟环境交互则看智能体能不能把过往的交互经验提炼成可复用的知识与技能,等到新任务出现时再检索出来参考。
五、挑战与未来方向
综述收尾处,作者盘点了当前 VLM 记忆机制仍存在的难点,以及哪些方向值得继续做。上下文变长,并不代表记忆就有效——模型即便吃进了更多信息,也可能漏掉某个短暂却关键的事件。信息重要与否,很多时候要看后面会问什么,这种滞后让相关记忆的压缩与保留很难权衡;现有方法还常常在保住高层语义的同时,把事件顺序和视觉细节弄丢。检索回来的记忆本身也可能无关、过时,甚至就是错的,而模型往往没有核实的能力,就算依据的是错误信息,照样能给出看着合理的回答,错误因此不易被发现。
另一处问题在评测:现有基准大多只测记忆的某一项能力,可真实任务里的出错常常牵涉多个环节,单项测试难以反映记忆系统落到实处的表现。针对这些,作者给出几个值得探索的方向——参照人类认知搭起分层的记忆结构,让系统按信息类型自行选择存储方式,让模型学会判断哪些内容值得记住,并让每条记忆都能回溯到原始视觉证据。评测也不该只盯准确率,用户能不能查看、修改、删除自己的记忆,同样应当在设计之初就纳入考虑。