VLM记忆机制综述发布:4D框架梳理300余篇工作

资讯 AI 行业观察 全文 3231 字 · 约 9 分钟读完 配图 7 张

VLM记忆机制最新综述,从When,Where,What, How四个维度看懂记忆

VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 1)


来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者,近日联合发布了一份关于视觉语言模型(VLM)记忆机制的系统性综述。该综述依托全新的 4D 分类框架,梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。


VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 2)


  • 论文题目为 Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications。

  • 论文作者包括 SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG。

  • 供稿人为 YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA。

  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM

  • 论文:https://www.preprints.org/manuscript/202607.1539


一、为什么 VLM 需要记忆


近几年,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上进展很快,并逐步走向更复杂、体量更大的长程任务和真实应用。这类任务要求模型在更长的时间跨度、更多轮交互中不断积累并调用过往信息,光靠扩展上下文窗口往往不够用。于是研究者尝试用外部记忆库、层级化记忆、长短期记忆等不同办法,给 VLM 引入记忆机制。


不过,现有设计大多从特定任务场景和架构出发,对记忆的实现与优化也往往只盯着与任务相关的维度,术语和设计各不相同,缺少一个统一视角来理解和比较这些方法。另一方面,已有的记忆相关综述大多围绕 LLM,涉及 VLM 的部分只覆盖特定任务形式,存在一定局限。


这篇综述提出了全新的 4D 分类框架,用来系统刻画 VLM 中的记忆机制。作者据此梳理了 300 余篇相关工作,归纳出八种典型记忆形态,整理了近 70 个评测基准,并分析记忆在长视频理解、具身智能、个性化助手等八类应用场景中扮演的角色,同时讨论了当前面临的挑战与未来方向。


VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 3)

图 1 画出了 VLM 记忆相关研究的发展脉络,从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度标出代表性工作,中间还夹着同期主要基础模型的节点。


二、核心框架:4D 记忆分类


VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 4)

图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。


在作者看来,记忆不该只被当成一个信息储存单元,而应放到整个生命周期里去看:相关信息先从多模态任务中被观测到、写入记忆,随后随时间反复提炼和组织,等到处理相关任务时再被检索、调用。4D 分类框架正是据此提出,用 When(时间范围)、Where(储存位置)、What(记忆内容)、How(记忆操作)四个维度系统刻画 VLM 中的记忆机制。


1)When:记忆保留多久。这一维度问的是记忆能存在多长时间。瞬时记忆最短,只服务于单次推理;情景记忆对应多轮对话和多轮交互,这两类通常只在当前推理或任务交互期间保留。持久记忆则最长,会话结束后依然留着,供后续交互使用。


2)Where:记忆存在哪里。储存位置分模型内部和外部两种。内部记忆多存于模型参数、隐藏状态和 KV 缓存,调用快,与推理任务结合得也紧,缺点是不方便修改和查看。外部记忆放在独立的数据库、知识图谱或经验库里,更新和审查都容易,但效果好坏要看检索质量。


3)What:记忆存成什么。这一维度关心的是记忆以何种形式把原始的相关信息存下来。除了直接保留原始信息片段,记忆还能整理成结构化的对话与轨迹记录、抽象的语义知识,或者压缩为模型内部的潜在表示。


4)How:记忆如何操作。这一维度关注记忆在整个生命周期中经历的操作,大致分四类:写入,决定哪些新信息以什么形式进入记忆;巩固,对已有记忆进行整理和提炼;检索,找出与当前任务相关的记忆来辅助完成任务;更新与遗忘,在持续交互中更新和清理信息,保证时效性。


三、八种典型记忆形态


VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 5)


四个维度在概念上能分开谈,放到真实系统里却常常彼此牵绊。记忆保留多久一旦定下,存到哪里、以何种形式保存往往也跟着定了。作者据此归纳出八种典型记忆形态(图 3),每一种都对应四个维度的一种典型搭配。长上下文记忆靠上下文窗口留住 token 或其压缩表示,一般归入瞬时、内部记忆;终身智能体记忆要在多次会话中不断积累经验,属于持久记忆,写入、巩固、检索、更新与遗忘这四类操作相应地都会纳入设计。


这些搭配只是常见的设计倾向,算不上固定规则。瞬时的中间状态在推理结束后留不下来,但里面的内容可以被额外组件整理成情景记忆或持久记忆,帮后续任务一把。作者希望这些组合关系既能帮研究者看清现有工作在记忆实现上偏向哪边,也能指出还没被充分探索的设计空间。


四、从应用看记忆:八类典型场景


VLM记忆机制综述发布:4D框架梳理300余篇工作(配图 6)


八种记忆形态讲的是「记忆可以怎么实现」,真到应用里选哪种、怎么搭,多半要看任务本身。综述从应用角度入手,梳理了近 70 个现有 VLM 记忆基准,讨论八类应用场景各自的记忆实现与需求偏好:


1)长视频理解与生成:模型的上下文装不下海量视频帧,记忆实现主要靠压缩视觉信息,再有选择地保留与任务相关的部分。


2)图像推理与描述:模型推理一长就容易丢掉重要信息,记忆实现的重点放在保住关键视觉信息上。


3)持续学习:这类任务的关键是模型学新知识、新技能时别把旧能力弄丢,记忆通常表现为对原有参数和表示空间的保护。


4)具身导航与动作:记忆实现主要记录行动轨迹数据、任务进度和环境空间结构。


5)多模态 RAG:这类任务重点考察外部知识库与文档图像的构建,以及按任务检索相关信息的效率和准确性。


6)第一人称视觉。这类任务的时间跨度能拉到数天甚至数周,信息量很大,常见做法是把记忆分层组织起来。7)个性化助手。用户的专属要求和偏好得跨会话留存,所以记忆多落在可随时更新的外部记忆上。



8)虚拟环境交互。智能体要把过往交互经验提炼成可复用的知识和技能,碰到新任务时再检索出来参考。


五、挑战与未来方向


综述收尾部分,作者盘点了VLM记忆机制眼下还没解决的难题,也给出了值得继续摸索的方向。上下文拉长,记忆未必就有效——模型就算接收了更多信息,也可能漏掉一个短暂却关键的事件。信息重要与否,常常要等之后被问什么才知道,这种滞后让压缩和保留相关记忆变得难以取舍;现有方法保留高层语义信息时,往往把事件顺序和视觉细节丢掉了。检索到的记忆本身也可能无关、过时甚至错误,模型又大多缺乏核实能力,即便依据的是错误信息,照样能给出看似合理的回答,错误因此很难被发现。现有基准多数只测记忆的单一能力,可真实任务场景里的错误往往牵涉多个环节,单项测试反映不出记忆系统落地时的整体表现。


围绕这些问题,作者列出几个可探索的方向:参照人类认知搭出分层的记忆结构,让系统按信息类型自行选择合适的存储方式,让模型自己判断什么值得记,并且每条记忆都能追到原始视觉证据。评测记忆系统也不能只盯准确率,用户能不能查看、修改和删除自己的记忆,同样该在设计之初就纳入考虑。


图片
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 辛顿:AI数学已超多数数学家,10年内或开出人类看不懂的分支

    【“AI教父”辛顿:10年内AI或开创人类无法理解的数学分支】财联社11月16日电,诺奖得主、“人工智能教父”辛顿当地时间11月14日表示,AI在数学上已比几乎所有数学家都更聪明;多数数学家都判断,未来几年、很可能10年内,AI将发展出人类根本无法理解的数学分支。(澎湃新闻)...

    来源 腾讯网
  2. 中美AI竞赛欧洲为何焦虑:Mistral喊提速,欧盟16国监管机构未定

    中美在人工智能赛道上竞争激烈,欧洲为什么坐不住了呢?喊着要强行入局的欧洲,手里的筹码到底有多少? 据观察者网报道,欧盟领导人最近在都柏林举行了一次非正式峰会,并且把人工智能单独提出来作为讨论的一个话题。欧洲内部的焦虑情绪越来越严重,尽管一直想要挤进中美领跑的局面中去,但是又担心一旦掉队就会失去一切。所以最近欧洲政界、商

    来源 AI 行业观察
  3. 樊路远卸任大麦娱乐主席及CEO:徐宏接任董事会主席

    公告显示,樊路远因专注发展个人事业,已辞任公司执行董事、董事会主席及首席执行官。董事会对樊路远任内对公司作出的宝贵贡献致以衷心感谢。大麦娱乐董事会同时宣布,徐宏获委任为非执行董事及董事会主席;沈严获委任为执行董事及联席总裁。2025年5月21日,阿里大文娱集团宣布即日起更名为虎鲸文娱集团,旗下阿里影业更名为大麦娱乐。

    来源 TechWeb
  4. 樊路远辞任大麦娱乐主席兼CEO,徐宏、沈严接任

    公告显示,樊路远因专注发展个人事业,已辞任公司执行董事、董事会主席及首席执行官。董事会对樊路远任内对公司作出的宝贵贡献致以衷心感谢。大麦娱乐董事会同时宣布,徐宏获委任为非执行董事及董事会主席;沈严获委任为执行董事及联席总裁。2025年5月21日,阿里大文娱集团宣布即日起更名为虎鲸文娱集团,旗下阿里影业更名为大麦娱乐。

    来源 TechWeb
  5. 腾讯混元Hy4 flash发布:每百万Token输入0.5元,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。” 混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。 该模型总参数量为224B(其中64B

    来源 AI 行业观察
  6. 颠覆性技术产业化指数5年增58.63%,年均复合增长约9.67%

    IT之家 11 月 14 日消息,据新华社报道,在 13 日至 14 日天津举办的 2026 企业科技创新发展论坛上,《颠覆性技术产业化指数报告》发布。 报告显示,2020-2025 年,我国颠覆性技术产业化指数从基准值 100 稳步攀升至 158.63,累计增幅 58.63%,年均复合增长率约 9.67%。指数报告由

    来源 AI 行业观察
  7. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  8. 双十一第18年:AI助手更聪明,消费者转向重品质重服务

    今年“双十一”,成交数据的“晒单”不再是重点,供给质量和服务质量成了关注对象。服务供给更丰富、AI助手更“聪明”、消费者选购逻辑加速转变,这些新亮点陆续浮现。这场消费热潮背后,既能看到居民消费需求持续升级,也能看到超大规模国内市场的韧性与活力。

    来源 网易科技
  9. VLM记忆机制综述出炉:八机构联合提出4D分类框架

    来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

    来源 腾讯网
向下滚动自动加载更多