MaLoW:把历史装进模型参数,流式视频AI记住半小时前的事
你有没有试过一边看直播一边回忆十分钟前主播说过的某句话?大脑不会把那十分钟的画面全部倒带重播,而是留下一个模糊但够用的印象,等你需要的时候,它自己会冒出来。现在想象让一个AI做同样的事情。它要一边盯着摄像头传来的实时画面回答你的问题,一边记得半小时前发生过什么。这听起来似乎不难,但工程上藏着一个让所有...
看直播时回想主播十分钟前说过的一句话,人脑不会把那十分钟的画面倒带重播一遍,只留个模糊但够用的印象,需要时它自己就冒出来了。换成AI来做同样的事呢?它得盯着摄像头实时画面回答问题,同时还得记住半小时前发生了什么。听着不难,工程上却卡着一个让做流式视频理解的研究者都头疼的矛盾。
记忆和当下的观察,在抢同一块地盘。目前主流做法是把历史画面压成文字摘要、关键帧,或者干脆原封不动堆进模型的输入窗口,与当前画面、用户问题挤在一起。
先解释一个概念:视觉语言模型(VLM)。这类模型处理信息靠的是一种叫"
威斯康星大学麦迪逊分校和北京大学的研究团队换了个思路,论文名字叫
关键在于一个工具:LoRA(低秩适配,全称Low-Rank Adaptation)。
MaLoW
还需要解释一下HyperNetwork(超网络)。
也就是说,问模型“十分钟前发生了什么”,它不去翻之前的视频帧,而是直接拿这套已经吸收了历史信息的参数来作答。好比一个人不必把过去十分钟的监控录像倒放一遍,凭已经内化的印象就能给出答案。当前画面照旧作为普通输入送进模型,历史则不再占用输入窗口的任何篇幅。
不这么做会怎样?
论文给出的
这个设计听着有点反直觉:参数更新不是应该在训练时一次定下来吗,怎么能在推理过程中一边跑一边改?恰恰是这一点构成了MaLoW最关键的创新:LoRA从“离线微调工具”变成了“在线记忆载体”。
记忆要持续演化,MaLoW内部搭了一个颇为精巧的双轨结构。
每来一段新视频片段,系统先把画面和对应的时间戳压成一个紧凑的向量表示,用的工具是几层自注意力网络,相当于把大段信息榨出精华。随后这个精华表示同时进入两条处理路径。
第一条路径是一个叫状态空间模型(SSM)的东西。
第二条路径是门控求和机制,专门负责保留长期的全局语义,判断“这段画面和上一段比起来变化大不大”,如果画面变化很小(用
这套双轨设计跟人脑记忆挺像。回想一场篮球赛,你既记得"刚才那波是谁抢断的"这种短时连贯动作,也记得"上半场结束广东队领先四分"这类反复确认、长期沉淀的关键信息。只留短期记忆一条腿,模型对几分钟前的事就印象模糊。消融实验显示,去掉全局语义累加这一支,模型在需要追溯历史的
两路信息归一化之后,再过一个线性映射层,就转成真正要装进模型的LoRA权重。到这一步,一轮记忆更新走完。
**训练时怎么教会模型"该记什么该忘什么"**
一个自然的问题是:模型凭什么判断哪段历史值得记、哪些该丢?
MaLoW的办法是,训练全程冻结底层视频语言模型的参数,历史视频不直接喂给模型,模型只能借HyperNetwork生成的LoRA权重间接感知历史。预测答案产生的误差会反向传播,一路传到HyperNetwork,逼它学会只留下对回答未来问题真正有用的信息,冗余部分过滤掉。
训练逻辑里还配了一个正则化项,专门约束生成的LoRA权重数值大小,免得记忆更新幅度过大,把模型原本的能力冲垮。
这思路有点像教实习生写会议纪要。你不会让他把录音一字不漏转写,而是拿纪要能不能回答同事后续提问来打分:写得啰嗦、记不住重点要扣分,漏掉关键决定也扣分。这种"按结果倒逼总结能力"的训练,比直接告诉他"这句重要那句不重要"有效得多——真正重要的信息,往往要等后续提问时才知道。
**为了训练这套系统,团队专门造了一个数据集**
光有架构不够。训练这种系统需要大量"过去发生了什么、现在该怎么答"的样本,而市面上现成的数据集大多为离线视频理解设计,没有针对流式场景的问答标注。
于是团队构建了
数据集里有个有意思的设计:约36%的问题时间戳设在相关事件结束之后,专门练模型回溯历史的能力。题型覆盖开放式、多选、是非题等,分布相对均衡。这种刻意安排的"滞后提问",就像老师出卷子专门放几道"上周讲过的内容",逼学生不能只背今天的笔记,得真正消化过去学的东西。
**实测效果:在记忆类任务上碾压同类方法**
设计讲完了,实际效果如何?
论文在三个权威流式视频理解基准上做了测试,分别是
OVO-Bench
在OVO-Bench的回溯任务上,基于Qwen3.5-9B搭建的MaLoW比此前最好的记忆方法提升3.9%到11.8%。其中情节记忆(EPM)拿到63.6分,是所有对比方法里最高的。基于MOSS-VL-Realtime-11B的版本在OVO-Bench整体上拿到74.5分的最高总成绩,基于Qwen3-VL-4B的版本在
更受关注的是速度代价。MaLoW带来的额外延迟只有约23毫秒,占整体推理时间不到15%;生成LoRA权重的计算还能和模型推理并行跑,实际体感延迟会更低。
团队还专门做了一项长时记忆压力测试,用
**这套方法甚至能用到机器人身上**
一个意外的延伸实验是,团队把MaLoW用在了
他们在Qwen3.5-2B基础上搭了个简单的机械臂控制模型,只看当前画面预测下一步动作。加上MaLoW后,模型开始能内化历史观察和过去执行过的动作轨迹,不必再把这些历史显式喂给底层模型。
在仿真环境
**论文还给出了一套数学论证,证明这件事理论上是成立的**
你可能好奇:把历史压进几个LoRA权重矩阵,信息损失会不会太大?论文附录专门用数学推导论证了可行性。
核心思路是这样:把历史观察看作一堆存起来的键值对,模型查询历史的操作可以等价写成一个矩阵乘法;这个历史矩阵经过一系列代数变换,可以被证明等价地表达为对模型内部MLP层权重的一次
这一点可以再展开说说。
所谓低秩修改,就是用两个规模更小的矩阵相乘,去近似一个规模更大、结构更复杂的变化。LoRA技术的数学根基正在于此——现实中发生的很多变化没那么"复杂",用更少的参数就能描述清楚。
论文还推导了误差上界:当用来近似历史信息的秩足够高,低秩表示带来的误差可以无限趋近于零。不过这部分理论分析并没有宣称MaLoW真的精确复现了那个理论上的历史矩阵,它更像一份数学层面的"可行性背书",说明这条路理论上走得通。实际效果怎么样,最终还得看前面那些实验数据。
**三年前已经有人开始往这个方向摸索**
把长期记忆挪到模型参数里、而不是塞进输入窗口,MaLoW并不是第一个提出这个想法的。论文里提到了一个叫
另一个更接近的同期工作是
再往更早的脉络追溯,这整条研究路线其实源自LoRA本身的发明。2022年Hu等人提出LoRA技术,最初的用途是用很小的代价给大语言模型做领域微调,当时没人想到这套"轻量补丁"的思路后来会被拿来承载动态变化的记忆。把一个工具从原本的用途里解放出来、用到完全不同的场景,这种跳跃在深度学习的发展史上其实并不罕见。
写在后面
读完这篇论文,最让我意外的其实是那张延迟对比图。130毫秒和7.4秒的差距,靠的不是更强的硬件,而是一个架构层面的取舍——不把历史塞进注意力窗口。这提醒我一件事:很多时候性能瓶颈不是算力不够,而是信息被放在了错误的地方。
另一个让我反复琢磨的细节是那个
论文也坦诚地给出了几个失败案例。其中一个要求模型先想起某个画面出现在视频的哪个时间点,再回去定位画面角落里显示的一个时钟——这种需要"主动翻找"的任务,MaLoW没能做好,因为它在训练数据里压根没见过这种带工具调用性质的操作。这倒是给后续研究留了一个挺明确的方向:记忆内化解决了"记得住"的问题,但"知道该去哪里查"这种更接近智能体的能力,还是另一回事。
Q&A
Q1:MaLoW是什么?
威斯康星大学麦迪逊分校等机构提出了一套叫 MaLoW 的流式视频记忆框架。它的做法是不把历史视频信息塞进模型的输入窗口,而是转成动态更新的 LoRA 权重参数,这样一来,AI 能记住几十分钟前的内容,对当前画面的实时反应也不受影响。
Q2:MaLoW和把历史视频直接塞给AI相比有什么优势?
A:主要优势是速度和效果兼顾。实验显示处理一次查询,传统的全上下文方案要7.4秒,MaLoW只要153毫秒,同时在OVO-Bench回溯任务上的表现还比多种现有记忆方法高出3.9%到11.8%。
Q3:MaLoW只能用在视频问答上吗?
不止如此。论文还把 MaLoW 用在了控制机械臂的视觉语言动作模型上。加入之后,机械臂在仿真环境里的平均任务成功率由 59.4% 升到 68.8%,可见这套把记忆内化的思路,对需要连续动作的机器人控制同样管用。