浙大联想联合提出EM²Mem:多模态智能体改用事件中心长期记忆
在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。 颠覆传统模式:从“先检索后对齐”到“先对齐后检索” 长
多模态智能体怎样不再“过目即忘”、怎样避免检索效率低下,一直是学术界和产业界都在啃的硬问题。浙江大学与联想团队近期合作给出了一套新方案——以事件为中心的多模态长期记忆方案 EM²Mem,相关成果已在 EMNLP2026 上正式亮相。
与传统做法不同:先对齐,再检索
过去,多模态智能体处理长期记忆时,存储和检索方式往往比较简单。信息被零散地放在各处,智能体碰到复杂问题,就很难把不同维度的线索串起来。
EM²Mem 恰恰是从这一点切入,把原来的“先检索后对齐”翻了过来,改成“先对齐后检索”。记忆构建一开始,同一事件里的人物、物体、行为、时间等线索就被直接绑在一起,形成多尺度的事件档案。随后,情节图与语义图结合使用,把不同的经历连接起来,最终沉淀出长期规律。
召回与效率双双提升:多模态智能体记忆系统 LightMem-Ego
从实测和应用效果看,EM²Mem 的性能优势体现在多个方面:
准确率与召回率都在涨:实验数据显示,与现有常规方法相比,EM²Mem 在事件级证据召回率和问答准确率上都有明显提升。
耗时和算力开销降了下来:该方案能大幅压缩单次问答的耗时与 Token 用量。记忆建好之后可以反复调用,长期摊平来看,综合效率优势更明显。
依靠这项核心技术,研究团队又搭出了多模态智能体记忆系统 LightMem-Ego。该系统今后可落地到个人生活助手、科学实验室助手等多种场景,为多模态智能体的持续学习和个性化发展提供底层支撑。