MaLoW:把历史装进模型参数,流式视频AI记住半小时前的事

资讯 腾讯网 作者:科技行者 全文 3796 字 · 约 10 分钟读完

你有没有试过一边看直播一边回忆十分钟前主播说过的某句话?大脑不会把那十分钟的画面全部倒带重播,而是留下一个模糊但够用的印象,等你需要的时候,它自己会冒出来。现在想象让一个AI做同样的事情。它要一边盯着摄像头传来的实时画面回答你的问题,一边记得半小时前发生过什么。这听起来似乎不难,但工程上藏着一个让所有...

看直播时回想主播十分钟前说过的一句话,人脑不会把那十分钟的画面倒带重播一遍,只留个模糊但够用的印象,需要时它自己就冒出来了。换成AI来做同样的事呢?它得盯着摄像头实时画面回答问题,同时还得记住半小时前发生了什么。听着不难,工程上却卡着一个让做流式视频理解的研究者都头疼的矛盾。

记忆和当下的观察,在抢同一块地盘。目前主流做法是把历史画面压成文字摘要、关键帧,或者干脆原封不动堆进模型的输入窗口,与当前画面、用户问题挤在一起。

先解释一个概念:视觉语言模型(VLM)。这类模型处理信息靠的是一种叫"

威斯康星大学麦迪逊分校和北京大学的研究团队换了个思路,论文名字叫

关键在于一个工具:LoRA(低秩适配,全称Low-Rank Adaptation)。

MaLoW

还需要解释一下HyperNetwork(超网络)。

也就是说,问模型“十分钟前发生了什么”,它不去翻之前的视频帧,而是直接拿这套已经吸收了历史信息的参数来作答。好比一个人不必把过去十分钟的监控录像倒放一遍,凭已经内化的印象就能给出答案。当前画面照旧作为普通输入送进模型,历史则不再占用输入窗口的任何篇幅。

不这么做会怎样?

论文给出的

这个设计听着有点反直觉:参数更新不是应该在训练时一次定下来吗,怎么能在推理过程中一边跑一边改?恰恰是这一点构成了MaLoW最关键的创新:LoRA从“离线微调工具”变成了“在线记忆载体”。

记忆要持续演化,MaLoW内部搭了一个颇为精巧的双轨结构。

每来一段新视频片段,系统先把画面和对应的时间戳压成一个紧凑的向量表示,用的工具是几层自注意力网络,相当于把大段信息榨出精华。随后这个精华表示同时进入两条处理路径。

第一条路径是一个叫状态空间模型(SSM)的东西。

第二条路径是门控求和机制,专门负责保留长期的全局语义,判断“这段画面和上一段比起来变化大不大”,如果画面变化很小(用

这套双轨设计跟人脑记忆挺像。回想一场篮球赛,你既记得"刚才那波是谁抢断的"这种短时连贯动作,也记得"上半场结束广东队领先四分"这类反复确认、长期沉淀的关键信息。只留短期记忆一条腿,模型对几分钟前的事就印象模糊。消融实验显示,去掉全局语义累加这一支,模型在需要追溯历史的

两路信息归一化之后,再过一个线性映射层,就转成真正要装进模型的LoRA权重。到这一步,一轮记忆更新走完。

**训练时怎么教会模型"该记什么该忘什么"**

一个自然的问题是:模型凭什么判断哪段历史值得记、哪些该丢?

MaLoW的办法是,训练全程冻结底层视频语言模型的参数,历史视频不直接喂给模型,模型只能借HyperNetwork生成的LoRA权重间接感知历史。预测答案产生的误差会反向传播,一路传到HyperNetwork,逼它学会只留下对回答未来问题真正有用的信息,冗余部分过滤掉。

训练逻辑里还配了一个正则化项,专门约束生成的LoRA权重数值大小,免得记忆更新幅度过大,把模型原本的能力冲垮。

这思路有点像教实习生写会议纪要。你不会让他把录音一字不漏转写,而是拿纪要能不能回答同事后续提问来打分:写得啰嗦、记不住重点要扣分,漏掉关键决定也扣分。这种"按结果倒逼总结能力"的训练,比直接告诉他"这句重要那句不重要"有效得多——真正重要的信息,往往要等后续提问时才知道。

**为了训练这套系统,团队专门造了一个数据集**

光有架构不够。训练这种系统需要大量"过去发生了什么、现在该怎么答"的样本,而市面上现成的数据集大多为离线视频理解设计,没有针对流式场景的问答标注。

于是团队构建了

数据集里有个有意思的设计:约36%的问题时间戳设在相关事件结束之后,专门练模型回溯历史的能力。题型覆盖开放式、多选、是非题等,分布相对均衡。这种刻意安排的"滞后提问",就像老师出卷子专门放几道"上周讲过的内容",逼学生不能只背今天的笔记,得真正消化过去学的东西。

**实测效果:在记忆类任务上碾压同类方法**

设计讲完了,实际效果如何?

论文在三个权威流式视频理解基准上做了测试,分别是

OVO-Bench

在OVO-Bench的回溯任务上,基于Qwen3.5-9B搭建的MaLoW比此前最好的记忆方法提升3.9%到11.8%。其中情节记忆(EPM)拿到63.6分,是所有对比方法里最高的。基于MOSS-VL-Realtime-11B的版本在OVO-Bench整体上拿到74.5分的最高总成绩,基于Qwen3-VL-4B的版本在

更受关注的是速度代价。MaLoW带来的额外延迟只有约23毫秒,占整体推理时间不到15%;生成LoRA权重的计算还能和模型推理并行跑,实际体感延迟会更低。

团队还专门做了一项长时记忆压力测试,用

**这套方法甚至能用到机器人身上**

一个意外的延伸实验是,团队把MaLoW用在了

他们在Qwen3.5-2B基础上搭了个简单的机械臂控制模型,只看当前画面预测下一步动作。加上MaLoW后,模型开始能内化历史观察和过去执行过的动作轨迹,不必再把这些历史显式喂给底层模型。

在仿真环境

**论文还给出了一套数学论证,证明这件事理论上是成立的**

你可能好奇:把历史压进几个LoRA权重矩阵,信息损失会不会太大?论文附录专门用数学推导论证了可行性。

核心思路是这样:把历史观察看作一堆存起来的键值对,模型查询历史的操作可以等价写成一个矩阵乘法;这个历史矩阵经过一系列代数变换,可以被证明等价地表达为对模型内部MLP层权重的一次

这一点可以再展开说说。

所谓低秩修改,就是用两个规模更小的矩阵相乘,去近似一个规模更大、结构更复杂的变化。LoRA技术的数学根基正在于此——现实中发生的很多变化没那么"复杂",用更少的参数就能描述清楚。

论文还推导了误差上界:当用来近似历史信息的秩足够高,低秩表示带来的误差可以无限趋近于零。不过这部分理论分析并没有宣称MaLoW真的精确复现了那个理论上的历史矩阵,它更像一份数学层面的"可行性背书",说明这条路理论上走得通。实际效果怎么样,最终还得看前面那些实验数据。

**三年前已经有人开始往这个方向摸索**

把长期记忆挪到模型参数里、而不是塞进输入窗口,MaLoW并不是第一个提出这个想法的。论文里提到了一个叫

另一个更接近的同期工作是

再往更早的脉络追溯,这整条研究路线其实源自LoRA本身的发明。2022年Hu等人提出LoRA技术,最初的用途是用很小的代价给大语言模型做领域微调,当时没人想到这套"轻量补丁"的思路后来会被拿来承载动态变化的记忆。把一个工具从原本的用途里解放出来、用到完全不同的场景,这种跳跃在深度学习的发展史上其实并不罕见。

写在后面

读完这篇论文,最让我意外的其实是那张延迟对比图。130毫秒和7.4秒的差距,靠的不是更强的硬件,而是一个架构层面的取舍——不把历史塞进注意力窗口。这提醒我一件事:很多时候性能瓶颈不是算力不够,而是信息被放在了错误的地方。

另一个让我反复琢磨的细节是那个

论文也坦诚地给出了几个失败案例。其中一个要求模型先想起某个画面出现在视频的哪个时间点,再回去定位画面角落里显示的一个时钟——这种需要"主动翻找"的任务,MaLoW没能做好,因为它在训练数据里压根没见过这种带工具调用性质的操作。这倒是给后续研究留了一个挺明确的方向:记忆内化解决了"记得住"的问题,但"知道该去哪里查"这种更接近智能体的能力,还是另一回事。

Q&A

Q1:MaLoW是什么?

威斯康星大学麦迪逊分校等机构提出了一套叫 MaLoW 的流式视频记忆框架。它的做法是不把历史视频信息塞进模型的输入窗口,而是转成动态更新的 LoRA 权重参数,这样一来,AI 能记住几十分钟前的内容,对当前画面的实时反应也不受影响。

Q2:MaLoW和把历史视频直接塞给AI相比有什么优势?

A:主要优势是速度和效果兼顾。实验显示处理一次查询,传统的全上下文方案要7.4秒,MaLoW只要153毫秒,同时在OVO-Bench回溯任务上的表现还比多种现有记忆方法高出3.9%到11.8%。

Q3:MaLoW只能用在视频问答上吗?

不止如此。论文还把 MaLoW 用在了控制机械臂的视觉语言动作模型上。加入之后,机械臂在仿真环境里的平均任务成功率由 59.4% 升到 68.8%,可见这套把记忆内化的思路,对需要连续动作的机器人控制同样管用。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI伴侣越聊越孤独:斯坦福1131人研究揭开三个机制

    (本文作者为 猫头鹰科技社,钛媒体经授权发布)文 | 猫头鹰科技社一个24小时在线、永远温柔、从不拒绝你的AI伴侣,听起来似乎是缓解孤独的完美方案。然而,这可能只是一种违反直觉的幻觉。2026年8月4日,美国斯坦福大学杨迪一(Diyi Yang)团队在《自然·人类行为》(Nature Human Behaviour)发

    来源 腾讯网
  2. 马斯克预测:2031年AI智慧或超全人类总和?

    在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。

    来源 IT之家
  3. 马斯克:AI 约 2031 年或超全人类智慧总和,2036 年金钱重要性或下降

    IT之家 11 月 19 日消息,在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。 IT之家附上相关视频如下: 马斯克同时描绘了一个乐观

    来源 AI 行业观察
  4. 拉奇:美国AI网络攻防失衡,防御方终将占优?

    IT之家 11 月 19 日消息,Anduril 联合创始人帕尔默 · 拉奇(Palmer Luckey)今日在《纽约时报》DealBook 峰会上警告称,美国正面临 AI 网络攻防体系的严重失衡。拉奇表示,AI 已经能够帮助攻击者开发各种漏洞利用程序,针对美国企业和基础设施发动攻击。“攻击者快速采用新技术,而老旧系统

    来源 腾讯网
  5. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  6. 2026 CHINA AI 100 获奖名单正式公布:申报数据里藏着 4 个信号

    非凡产研 · 2026 CHINA AI 1002026 CHINA AI 100 获奖名单正式公布:申报数据里藏着 4 个信号申报今年 CHINA AI 100 的企业里,有一半成立于 2023 年之后。它们的公司年龄中位数,只有 3 岁。三年前,这些公司里的绝大多数还不存在。三年后,它们和一批已经做到年收入数十亿的

    来源 腾讯网
  7. AI伴侣的孤独陷阱

    AI伴侣的核心卖点是随叫随到的陪伴,但这种陪伴是否真正有效?斯坦福大学一项基于46万条真实聊天记录的研究发现,对于社交网络薄弱的人,这种陪伴不仅没有缓解孤独,反而让孤独加剧。

    来源 AI 行业观察
  8. 始终将水瓶、文件夹误认为枪支,美国一高中停用 AI 武器探测系统

    IT之家 11 月 18 日消息,据外媒 TechSpot 今天(18 日)晚间报道,因屡次将普通物品误判为潜在威胁,美国宾夕法尼亚州亨普菲尔德地区高中最终决定停用 AI 武器探测系统。 该校高中是当地参与 Wi-AI 系统训练的多所学校之一。该系统由卡内基梅隆大学衍生企业 CurvePoint 开发,通过分析 Wi-

    来源 AI 行业观察
  9. AI仿冒盯上普通人:演员被换脸带货,授权难题怎么破?

    “一觉醒来,谁在利用AI肆意抓人替自己作恶?”近期,某演员公开质疑有账号利用AI仿冒其形象和声音带货。事件曝光后,涉事账号被平台永久封禁。类似的AI仿冒乱象并非个例。近日,针对利用AI技术假冒仿冒知名公众人物虚假带货、吸粉引流、误导网民等问题,网信部门督促网站平台深入开展集中整治,从严查处违法违规信息和账号...

    来源 腾讯网
  10. 俄罗斯记者谈中国AI:技术已落地,不只是讨论

    南方财经 21世纪经济报道记者 吴婉婕 庄欢2026年亚太经合组织(APEC)领导人会议周期间,今日俄罗斯国际通讯社记者Viktor Ternovskii在APEC领导人会议周新闻中心接受采访时表示,中国人工智能技术的发展和实际应用令他印象深刻。他表示,当前许多国家仍在讨论人工智能如何融入工作场景和实际应用,而在中国,

    来源 腾讯网
  11. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  12. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  13. 剑桥词典2026年度词汇花落“Human”:AI热潮下重提人性边界

    IT之家 11 月 18 日消息,人工智能带来的担忧,让剑桥词典将目光重新投向了 15 世纪,选择一个古老词汇来概括 2026 年的时代文化特征。 剑桥词典公布的年度词汇是“Human”。这一选择不仅是对过去的回望,也在一定程度上反映了人们对 AI 发展的反思。随着人工智能逐渐模糊机器与人类之间的界限,关于人类独特性的

    来源 AI 行业观察
  14. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 腾讯网
向下滚动自动加载更多