浙大与联想提出EM²Mem：让AI记住谁做过什么

「刚才是谁说，打算种花？」

这种问题，人只要回想一下刚才的对话和场景，通常就能答上来。可要是换成看过数小时视频的 AI，事情就没那么轻松：花它可能找到了，几个人的名字也可能找到了，连种花的讨论都翻了出来，但到底是谁提的这个计划，它仍然说不准。

线索是找着了，关系没记住。

多模态智能体在长期记忆上卡住的地方，正在这里：记忆不能只是把过去的信息堆起来，还得弄懂一段经历里的人物、物体、行为和事件彼此怎么连着。

AI 助手一旦开始长期陪着用户，记忆的作用也就不止于回答某一个问题。它得慢慢弄清用户是谁、干过什么、在意什么、偏好什么，把每次交互里的新经历和已有记忆挂上钩，用着用着不断积累、修正、沉淀，最后长成真正个性化的记忆。智能体要实现持续学习与自我进化（RSI），这也是绕不开的基础。

浙江大学与联想集团的研究团队就此合作，提出了 EM²Mem（Event-Centric Multimodal Memory），以事件为中心搭建多模态长期记忆。视频画面、语音对话、文本信息不再各存各的，在记忆构建阶段，同一事件里的人物、物体、行为和时间线索就被关联到一起。AI 因此不光能查到发生过什么，还能弄清事情与谁有关、前后经历怎么接上。

思路可以概括为：用事件来组织经历，用关联来沉淀记忆，用持续积累来支撑多模态智能体的持续学习与个性化。

• 论文：EM²Mem: Event-Centric Multimodal Memory for Large Language Models

• 会议：EMNLP 2026 Findings

• 论文链接：https://arxiv.org/abs/2609.00551

• 代码已整合至：https://github.com/zjunlp/LightMem-Ego

01｜为什么搜到相关内容，还不等于记住？

长视频里的证据，往往又散又跨模态。

一个人的名字，可能只出现在对话里；他手里拿着什么，得看画面；某项任务有没有完成，还要结合前后几段经历才能判断。可用户抛出的问题通常是完整的：「谁提出了这个计划？」「这件事后来怎么样了？」「我平时到办公室后会做什么？」

现有方法中有不少会把视频处理成描述、转写、

论文把这一瓶颈称为 retrieve-then-align：先检索，再对齐。

某条证据单看不够相关的话，甚至会在检索阶段就被筛掉，也就没机会和另一条线索一起把问题解释清楚。

EM²Mem 把顺序调了过来：align-then-retrieve，先对齐，再检索。组织证据这件事被提前到记忆构建阶段，后面的问答就能直接围绕事件展开。

02｜给一段经历建立事件档案

EM²Mem 里的事件记忆单元，可以理解成一份带时间地址的事件档案。

系统先把长视频切成较短的基础片段，论文采用的典型粒度是 30 秒。每个片段对应一个事件锚点，记下它的身份和起止时间，相关证据都挂到同一个地址下。

这个锚点提供的是共同索引：画面和对话因此能指向同一段经历，而不是等到回答时只因为关键词相似才被拼在一起。

第一层：记清当时发生了什么

每个事件单元都保留关键帧、视觉描述、对话转写，还有动作、物体、话题、场景、实体等结构化字段。比如一段围绕花艺计划的讨论，既记下谁说了什么，也留着画面里的花和花瓶。

第二层：保留前因后果

只看 30 秒，有时候读不懂整件事。EM²Mem 于是构建 3 分钟、10 分钟、1 小时等多尺度上下文，把更长时间范围的文本和视觉摘要关联回基础事件，让局部细节和较长的叙事接得上。

第三层要做的，是把一段段经历连起来，从中攒出长期规律。

情节图负责串起具体事件里的人物、物体、地点、话题和时间关系；语义图在此基础上整理习惯、偏好、日常规律和稳定关系。这些高层信息依旧挂到支撑它们的事件上，方便回头查依据。

图 2｜从左到右：构建事件记忆单元，以情节图和语义图连接经历，再根据问题检索、扩展和筛选证据。手机阅读可放大查看。

问题进来后，系统先找到相关事件，再顺着时间或实体关系补线索，由选择器留下必要证据，拼成一份紧凑的回答上下文。碰上需要视觉核验的问题，还会加进少量关键帧。

这样一来，模型作答时能同时拿到三样东西：发生了什么、跟谁有关、证据出自哪里。

03｜一个案例：到底是谁打算种花？

论文拿一个多人讨论的案例，对比了两种记忆组织方式的差别。

要回答的问题是：谁打算种花（Who plans to grow flowers）？

讨论里同时出现了花、花瓶、手工制作，还有不同参与者的发言。WorldMM 找出了多个与花相关的片段，可人物和计划之间的关联还是不够清楚，最后把答案错判成了 Tasha。

在 Tasha 相关的片段里出现过 planning，跟问题里的 plans 语义上很接近，但并没有讲明种花计划归谁。这种局部语义匹配很可能干扰了模型对计划归属的判断，让片段里出现的人物被当成了计划的提出者。

EM²Mem 在构建记忆时就留住了 Katrina 与相关计划、物体及时间上下文之间的关联。再往下读相关事件，系统能结合她谈种植周期的内容，以及后面「我们也可以种」这句话，把其他人的相关发言区分开，给出正确答案 Katrina。

图 3｜同样围绕花找到线索，关键差别在于能否保留人物与计划之间的关联。该图展示论文中的定性案例。

这个案例把论文的动机摆得很直白：多人、多物体、多时间片段的情况下，光看检索内容的相关性不够，记忆组织还得留住事件内部的关系。

04｜实验：答得更准，证据也定位得更好

论文在三个长视频选择题问答基准上评测 EM²Mem，覆盖第一视角日常经历、超长第一视角推理和开放领域长视频理解。

† 为论文在与 EM²Mem 相同评测设置下复现的 WorldMM 结果；Ego-R1 Bench 对照采用 WorldMM 原文报告结果。WorldMM 原文在 EgoLifeQA 和 Video-MME（L）上的平均准确率分别为 65.6% 和 76.6%。

除了看最终答案，论文还查了系统有没有找对证据片段。

严格的 30 秒事件级证据召回评估里，只有命中标注的事件片段才算对。EM²Mem 的 Top-5 召回率达到 30.8%，比 WorldMM 五轮迭代检索的 23.8% 高出 7.0 个百分点；Top-1 召回率也达到 23.0%。

图 4｜事件级证据召回。横轴对 EM²Mem 表示返回的 Top-k 事件数，对 WorldMM 表示最多 k 轮检索，两者是不同的预算口径。

这个结果说明，事件记忆更容易被准确取回，记忆质量也因此变得可以检查，不再只看准确率。

05｜结构化信息与提前对齐为何有效

提升从哪来？论文又比了两件事：视觉信息以什么形式进入记忆，以及多模态信息在什么时候完成对齐。

在 EgoLifeQA 前 250 道题的分析实验里，研究对比了原始帧、扁平化描述和结构化事件字段。结果是结构化事件字段 + 构建时对齐的组合拿到最高 71.2% 的准确率；同样用结构化字段、但等到检索时才融合证据，准确率为 68.0%。

图 5｜构建时对齐与结构化事件字段一起用，在这组分析实验中效果最好。这里只评了前 250 道题的子集，跟上文完整基准的评测范围不一样。

人物、动作、物体这些线索，被结构化字段明确保留下来；提前对齐则让它们在检索之前就归到同一个事件里。两者一起用，多模态观察就更容易变成可检索、能拿来回答问题的证据。

06｜把整理工作提前，反复问答更轻

在 EgoLifeQA 的推理效率对比中，EM²Mem 对上 WorldMM，单次问答平均耗时从 459.00 秒降到 98.21 秒，约加速 4.67 倍。

• 评测中推理阶段的总 token 用量从 42.03M 降至 15.27M，减少 63.66%。这些收益来自已经组织好的事件记忆：提问时直接读取、筛选相关证据，临时整理多模态线索的工作就少了。

更关键的是，记忆构建一次，后续查询可以持续复用。提问次数越多，构建开销被分摊得越开，较低的单次查询成本会进一步转成端到端的优势。论文的 EgoLifeQA 评测中，计入记忆构建与 500 次问答后，端到端总耗时从 WorldMM 的 318,210 秒降至 105,160 秒，约加速 3.03 倍。

附录还分析了查询次数与累计成本的关系。按论文实际评测执行流程估算，约 24 次查询就能摊平额外的构建时间。按输入与输出 token 等权计数，约 536 次查询后，包含构建阶段的总 token 用量也开始低于 WorldMM。同一份记忆继续复用时，端到端平均每次查询的耗时和 token 用量都能进一步体现 EM²Mem 的优势。

图 6 展示的是记忆构建加上后续问答两部分的累计开销。图中柱状图表示总耗时，折线表示总 token 用量，两条竖向虚线分别标出这两项成本各自的交点。跨过对应的交点之后，不管是累计开销，还是均摊到每次查询上的开销，EM²Mem 都比 WorldMM 更低。耗时按论文实际评测执行流程的口径计算，token 则按数量等权统计。

这也符合长期记忆的使用方式。个人经历、视频档案或企业知识往往要被查很多次，提前组织好的事件记忆能在持续使用中发挥作用。碰到需要确认颜色、小物体这类视觉细节的问题，系统还可以回到关键帧核验。

从记忆研究到应用：

多模态智能体记忆系统 LightMem-Ego

团队在 EM²Mem 的基础上又搭了多模态智能体记忆系统 LightMem-Ego，给出 2 个应用案例，让多模态长期记忆进入日常生活与科研工作。

个人生活助手：让 AI 记住生活中的点点滴滴。用手机和智能眼镜记录日常经历，AI 能帮用户找回随手放置的物品、回顾过去的对话、整理生活笔记，做成个性化助理。

科学实验室助手：让 AI 记住实验过程。持续记录实验过程中的视频、操作和对话，AI 能帮科研人员回溯实验步骤、查找关键操作与实验现象，整理实验记录，为科学实验工作提供帮助。

• LightMem-Ego 技术报告：https://arxiv.org/abs/2607.11487

• 查看系统技术细节：https://github.com/zjunlp/LightMem-Ego

LightMem-Ego 由陈毅俊、肖博艺、赵一先、何溢、夏浩庭、郭响宇、徐步强等同学共同开发。