VLM记忆机制综述出炉:八机构联合提出4D分类框架

资讯 腾讯网 作者:腾讯网 全文 2695 字 · 约 7 分钟读完 分类Google模型发布合作学术研究多模态

来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

所属频道 大厂动态模型发布合作与生态前沿研究

来自Duke、Google、USC、UPenn、UNC等八家机构的研究者,联合发布了一篇视觉语言模型(VLM)记忆机制的系统性综述。综述以全新视角梳理这一领域。

  • 论文题为:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications

  • 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG

  • 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA

  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM

  • 论文:https://www.preprints.org/manuscript/202607.1539

一、VLM 为什么离不开记忆

图像描述、视觉问答、视频理解、多模态对话和具身智能,这些任务近几年随VLM进步很快。模型的应用范围也在往更复杂、更大体量的长程任务和真实场景延伸。这类任务要求模型在更长的时间跨度、更多轮交互里不断积累并调用此前的信息,光靠扩展上下文窗口,往往顶不住。于是研究者各出各招,尝试把记忆机制引入VLM,例如

不过,现有设计大多从特定任务场景和架构出发,记忆怎么实现、怎么优化,也往往只盯着与任务相关的维度,术语和设计各说各话。要理解和比较这些方法,缺一个统一的视角。另外,已有的记忆相关综述主要围绕LLM展开,对VLM的描述只覆盖特定任务形式,局限不小。

这篇综述里,作者提出了一套全新的

图 1|VLM 记忆研究的发展时间线。这张图按 When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)四个维度,把代表性研究及其演进脉络摆了出来,中间还标了同期主要基础模型的发展节点。

二、核心框架:4D 记忆分类

在作者看来,记忆不该只被当成一个存信息的单元,而应放到整个生命周期里看:相关信息先从多模态任务中被观测、写入记忆,随时间被反复提炼和组织,等到处理相关任务时再被检索调用。基于这一视角,作者提出了

1)When:记忆保留多久。这个维度看的是记忆能存在多长时间。最短的瞬时记忆服务单次推理,情景记忆则对应多轮对话和多轮交互,两者的记忆一般只在当前推理或任务交互期间保留。最长的持久记忆不一样,会话结束后它依然留着,供后续交互使用。

2)Where:记忆存在哪里。储存位置分模型内部和外部两类。内部记忆往往存在模型的参数、隐藏状态和

3)What:记忆存成什么。这个维度说的是记忆用什么形式把原始的相关信息存下来。除了直接保留原始信息片段,记忆也能被整理成结构化的对话与轨迹记录、抽象的语义知识,或者压缩成模型内部的潜在表示。

4)How:记忆如何操作。这个维度关注记忆在整个生命周期里经历的操作,主要有四类:写入,决定哪些新信息以什么形式写进记忆;巩固,对已有记忆进行整理和提炼;检索,找出与当前任务相关的记忆来辅助完成任务;更新与遗忘,在持续交互中更新和清理信息,保证信息的时效性。

三、八种典型记忆形态

四个维度在概念上可以分开谈,但落到真实系统里,它们常常绑在一起。记忆保留多久选定了,往往也就决定了它更适合存在哪里、以什么形式保存。作者据此归纳出八种典型的记忆形态(图 3),每一种都对应四个维度的一种典型组合。例如,

这些组合只是常见的设计倾向,并非固定规则。比如瞬时的中间状态,推理结束后虽然留不下来,但其中的内容可以被额外组件整理成情景或持久记忆,辅助后续任务。作者希望,这些组合关系既能帮研究者理清现有工作在记忆实现上的偏好,也能指出还没被充分探索的设计空间。

四、从应用看记忆:八类典型场景

八种记忆形态回答的是「记忆可以怎么实现」。到了实际应用中,选哪种形态、怎么组合,很大程度上由任务本身决定。从应用角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:

1)长视频理解与生成:模型的上下文装不下海量视频帧,记忆实现多以压缩视觉信息、有选择地保留任务相关视觉信息为主。

2)图像推理与描述:这类任务中,模型推理一长就容易忘掉重要信息,记忆实现侧重保留关键视觉信息。

3)持续学习:核心是模型学新知识、新技能时把以往的能力保留住,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。

5)多模态 RAG 这类任务,重点在于搭建外部知识库与文档图像,并看按任务检索相关信息的效率与准确度如何。6)第一人称视觉面对的是长达数天乃至数周的信息跨度,把记忆做层级化组织,通常被视为一条重要的解决路径。

7)个性化助手要把用户的专属要求与偏好跨会话留存下来,做法上多是依赖可随时更新的外部记忆。8)虚拟环境交互则看智能体能不能把过往的交互经验提炼成可复用的知识与技能,等到新任务出现时再检索出来参考。

五、挑战与未来方向

综述收尾处,作者盘点了当前 VLM 记忆机制仍存在的难点,以及哪些方向值得继续做。上下文变长,并不代表记忆就有效——模型即便吃进了更多信息,也可能漏掉某个短暂却关键的事件。信息重要与否,很多时候要看后面会问什么,这种滞后让相关记忆的压缩与保留很难权衡;现有方法还常常在保住高层语义的同时,把事件顺序和视觉细节弄丢。检索回来的记忆本身也可能无关、过时,甚至就是错的,而模型往往没有核实的能力,就算依据的是错误信息,照样能给出看着合理的回答,错误因此不易被发现。

另一处问题在评测:现有基准大多只测记忆的某一项能力,可真实任务里的出错常常牵涉多个环节,单项测试难以反映记忆系统落到实处的表现。针对这些,作者给出几个值得探索的方向——参照人类认知搭起分层的记忆结构,让系统按信息类型自行选择存储方式,让模型学会判断哪些内容值得记住,并让每条记忆都能回溯到原始视觉证据。评测也不该只盯准确率,用户能不能查看、修改、删除自己的记忆,同样应当在设计之初就纳入考虑。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  2. 腾讯混元Hy4 flash发布:224B参数,输入每百万Token 0.5元

    今天,腾讯混元发布最新语言模型Hy4 flash。Hy4 flash总参数量为224B(其中64B为Engram参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型,每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。目前,Hy4

    来源 腾讯网
  3. 浙大联想联合提出EM²Mem:多模态智能体改用事件中心长期记忆

    在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。 颠覆传统模式:从“先检索后对齐”到“先对齐后检索” 长

    来源 AI 开发者社区
  4. 谷歌Gemini 4 Hydrogen发布:定价低于Argon,AA指数反超

    谷歌DeepMind于2026年11月12日发布Gemini 4 Hydrogen,定价$1.50/$7.50(百万token),在Artificial Analysis智能指数上以51分(默认高档)和54分(最高档)超越同系Argon的50分,同时面向所有用户免费开放。模型主打代码执行与agentic工作流,配套推出

    来源 AI 科技快讯
  5. 谷歌Gemini智能眼镜开启预售:395美元起,违规拍摄可远程锁机

    人工智能硬件市场迎来全新重磅产品。当地时间11月12日,据媒体报道,谷歌正式开启了 Intelligent Eyewear 系列智能眼镜的预购。作为谷歌在具身智能与穿戴设备领域的最新力作,该产品由谷歌联合三星、Gentle Monster 以及 Warby Parker 共同打造,起售价为395美元。 豪华大厂联手打造

    来源 AI 开发者社区
  6. 为什么说Gemini才是目前最被低估的真神?

    有很多宣传自己多模态的模型,其实并没有听觉,比如GPT-6、Claude 5.5,你让他们听声音时,他们可能会回得有模有样,但实则把音频偷偷交给其他工具处理,模型本身听不见声音。

    来源 凤凰科技
  7. 百度词元所上线首日:入驻供应商破100家,新增客户超1000家

    11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。 词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使用可信的模型Token

    来源 AI 行业观察
  8. Cynet 发现《GTA 6》PC 版假下载:盗 Steam 账号与加密钱包

    IT之家 11 月 14 日消息,据外媒 Neowin 今天(14 日)下午报道,网络安全公司 Cynet 发现,有人在谷歌 Colab 笔记本中发布了虚假的“GTA 6 EXE 文件下载”链接。Cynet 并未说明研究人员最初如何发现该笔记本。调查发现,链接指向一个名为“Windows Software Hub”的网

    来源 腾讯网
  9. DeepSeek开放全家桶应用API:开发者可复刻完整App体验

    【TechWeb】11月14日消息,DeepSeek发布全家桶应用 API,将其自有App中已经打磨成熟的整套交互能力打包为标准化、可调用的模块,向开发者开放。与以往仅提供模型推理接口不同,此次开放覆盖搜索、网页抓取与解析、文件解析、OCR、语音识别(ASR)、语音合成(TTS)等多项应用层能力,并支持开发者单独调用或

    来源 AI 行业观察
  10. 马斯克再谈黄仁勋:他离开英伟达会丢掉关键合作

    IT之家 11 月 14 日消息,今天(14 日)晚间,马斯克在 X 平台发文称,随着黄仁勋离任 CEO,英伟达将失去一些至关重要的商业合作。马斯克称赞黄仁勋在供应链管理方面表现出色,指出英伟达许多交易都是靠黄仁勋与合作方握手达成的,并没有签署书面合同。紧接着,马斯克又补充说:“如果黄仁勋答应向我交付算力,或者我要求加

    来源 腾讯网
  11. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  12. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  13. Claude Fable5.2上线:70万笔触代码作画,不靠扩散模型

    Anthropic 当地时间11月9日发布 Claude Fable5.2与 Mythos5.2。该公司无传统文生图模型,Fable5.2却能以代码在虚拟画布上模拟画笔逐笔作画,还原笔刷纹理、颜料湿度与画布质感并可修正错误。不同于 Midjourney 等扩散模型从噪声生成图像,它把绘画拆解为笔触指

    来源 AI 开发者社区
  14. Claude Fable5.2靠代码作画:70万笔触画出购物车

    Anthropic 11月9日发布 Claude Fable5.2 与 Mythos5.2。Fable5.2 无传统文生图模型,却能以代码在虚拟画布逐笔作画,还原笔刷纹理、颜料湿度与画布质感,并可修正错误。它不同于 Midjourney 等扩散模型从噪声生成图像,而是把绘画拆解为笔触指令执行,每幅画是一段约1000至2

    来源 AI 产业速递
  15. Qwen4-Max发布:AI ETF平安回调3.62%,机构看好中长期配置

    截至2026年11月16日 10:46,AI人工智能ETF平安(512930)标的指数中证人工智能主题指数(930713)下跌3.62%。成分股方面涨跌互现,石头科技领涨3.89%,海康威视上涨2.38%,景嘉微上涨1.57%;协创数据领跌9.14%,中际旭创下跌8.54%,芯原股份下跌8.37%。消息面上,11月16

    来源 腾讯网
  16. Gemini接入Google Wallet:可分析消费习惯并制定储蓄计划

    IT之家 11 月 14 日消息,谷歌宣布 Gemini 的 Personal Intelligence(个人智能)功能已正式支持 Google Wallet 钱包,用户在完成授权后,Gemini 便能根据谷歌 Gemini 个人智能功能接入 Google Wallet:可为用户消费习惯提供个性化分析建议。 谷歌表示,

    来源 AI 行业观察
  17. 终于来了!DeepSeek多模态视觉模型API全面开放

    DeepSeek此次推出多模态视觉理解模型,标志着其从纯文本大模型向多模态AI全面进军的战略升级。业内分析认为,DeepSeek此次推出的多模态视觉模型,在保持纯文本能力不妥协的前提下,将视觉理解Agent能力推至接近行业顶尖水平Opus-4.8。随着多模态API的全面开放,开发者生态有望迎来新一轮创新爆发。

    来源 TechWeb
  18. 微软致歉全球服务中断:网络容量升级所致,恢复时间未定

    【TechWeb】11月14日消息,当地时间11月13日,微软公司就一起导致数百万用户受影响的全球性服务中断事件公开致歉。微软表示,此次故障“与网络攻击或人工智能/智能体(AI agents)无关”,而是由早先一次“网络容量升级”引发。目前,公司尚无法预计服务何时能够完全恢复。 据央视新闻报道,微软在声明中对此次事件给

    来源 AI 行业观察
  19. 海睿数科双授权:6人团队、8张腾讯云认证,服务500余家企业

    一、一张证书与一层身份:双授权到底意味着什么 企业服务市场里,"战略合作""生态伙伴""授权服务商"这类称谓长期缺乏统一标准。海睿数科的做法是把凭证摆出来,让客户自己核对。 腾讯云原厂出具的授权文件载明三项信息:授权对象为苏州海睿数字科技有限公司,授权范围为"腾讯 WorkBuddy/CodeBuddy 官方授权合作伙

    来源 AI 行业观察
  20. 李开复谈中国AI三大误区:盈利优先,差距缩至6到12个月

    多年来,美国一直在AI竞赛中占据上风。然而,AI创业者、前谷歌中国总裁李开复近日在接受《财富》采访时指出,目前中国AI开发者研发的开放权重模型,与美国头部AI企业的差距已缩短至6到12个月。 李开复认为,美国人在看待中国企业的动机时,往往存在关键性的误判。以下是他认为外界对中国AI产业的三大误区。 | 盈利动机外界..

    来源 腾讯网
  21. 黄仁勋去职风波:马斯克等科技高管联名请愿,11.5万签名要求复职

    11月14日报道,埃隆·马斯克等科技公司高管联名签署请愿书,呼吁英伟达董事会恢复黄仁勋的CEO职务。截至周六下午,该请愿书已获得超过11.5万个签名,其中包括5965名英伟达现任员工、1108名前员工及63063名股东。 公开支持者还包括特斯拉和SpaceX CEO埃隆·马斯克、Replit CEO

    来源 AI 开发者社区
  22. 黄仁勋去职风波:马斯克等联名请愿,超11.5万签名要求复职

    11月14日报道,马斯克等科技高管联名签署请愿书,呼吁英伟达董事会恢复黄仁勋CEO职务。截至周六下午,已有超11.5万人签名,包括5965名现任员工、1108名前员工和63063名股东。支持者还有Replit、Epic Games、Y Combinator的CEO等。请愿书提及黄仁勋在缺乏正当程序情况下的问题。

    来源 AI 产业速递
向下滚动自动加载更多