WorldMemBench:当AI视频模型“走出去又走回来”,它还记得原来的世界吗

资讯 腾讯网 作者:科技行者 全文 4992 字 · 约 13 分钟读完 分类视频生成

你大概见过这样的AI视频demo:镜头缓缓穿过一间客厅,沙发、窗帘、窗外的树,一切都挺像那么回事。然后镜头转走了,去看了别的方向,几秒钟后转回来。这时候屏幕上的客厅变了。不是那种自然的、光线移动造成的细微变化,是窗帘的花纹对不上了,或者沙发干脆变成了另一张沙发,甚至房间的布局整个换了个样。画面依然漂亮,运...

所属频道 视频图像生成

你大概见过这样的AI视频demo:镜头缓缓穿过一间客厅,沙发、窗帘、窗外的树,一切都挺像那么回事。然后镜头转走了,去看了别的方向,几秒钟后转回来。这时候屏幕上的客厅变了。

不是那种自然的、光线移动造成的细微变化,是窗帘的花纹对不上了,或者沙发干脆变成了另一张沙发,甚至房间的布局整个换了个样。画面依然漂亮,运动依然流畅,但它不再是同一个房间了。

这就是今天要聊的这篇论文想解决的问题。WorldMemBench,来自浙江大学、复旦大学、蚂蚁集团和南京大学的一支联合团队,2026年10月挂在arXiv上。

在这个问题被正式命名之前,整个领域其实是有点乱的。你去看2025年前后的各种

这不是研究者疏忽,而是这类能力太容易被画质的进步掩盖过去。一个模型可以把每一帧都渲染得无懈可击,但帧与帧之间的"契约"松松垮垮。你看着舒服,是因为你的眼睛只在看当前这一帧。

WorldMemBench想做的,就是把这条松垮的契约揪出来,按在桌面上量一量。

世界记忆,这篇论文给的定义是:模型在观察被打断之后,还能不能保住已经确立的内容,并且让世界状态继续连贯地演化。这里有两个关键词,一个是"静态内容",一个是"动态事件"。前者说的是人长什么样、物体是什么形状、房间怎么布置;后者说的是,你走开的时候,桌上那杯水应该在继续蒸发,而不是凝固成一张照片等你回来。

这个能力为什么难?因为

>

这意味着,如果第一次回望时房间的窗帘颜色偏了那么一点点,这个偏差会立刻变成新的"事实",成为后续所有生成的依据。错误不会自己消失,它会繁殖。

团队设计了一个很朴素的实验动作来逼出这个问题:让镜头走出去,再让它回来。

具体怎么走?他们造了两类

>

为什么要设计"同轴转多次"和"换轴转"这两种花样?因为它对应的是两种不同的失败模式。同一个方向转三次,考验的是模型会不会在反复回到同一个视角时逐渐漂移;换一个轴转,考验的是当"回来"这个动作的几何构型变了,模型还认不认得路。

这里就值得停下来想想了。假设你戴着一副只能看见前方的眼镜,站在自家客厅里。你转身去看书架,再转回来。如果你转回来时看到的是另一个客厅,你会立刻意识到不对。但如果你转回来时看到的是同一间客厅,只是花瓶的位置挪了三厘米、窗帘的颜色浅了一点点,你多半不会察觉,你会继续生活下去。可对模型来说,那三厘米和那一点点颜色,就是"已经不是同一个世界"的定义。

这就是这个基准的核心:它不测模型会不会画,它测模型会不会忘。

那怎么量"忘没忘"?

>

比对的对象分三块。人的记忆,用

>

>

> DINOv2:一种通用的视觉特征提取器,它给一张图片或某个区域生成一组数字表示。两组数字越接近,说明外观越相似。

环境的记忆测得最细,分三个层次。可见性用全局特征比对回来的画面和初始画面像不像;深度相关性用

>

动态记忆的测法完全不一样,这也是我觉得这篇论文里最能体现研究者诚意的地方。它不再比相似度,而是给每个测试案例预先写好八道是非题,覆盖四个维度:事件有没有继续推进、状态是被保留还是被重置了、最终状态对不对、因果和物理是否合理。答题的是一个视觉语言模型,Qwen3.8-27B。

>

最巧妙的是这里设了一道闸门。评分模型要先判断一件事:这个事件在镜头离开之前,有没有真的开始?如果一开始就没开始,后面八道题全部记零分。这个设计直接戳破了一类假象:模型可能压根没生成任何动态,而是画了一张静态的漂亮背景板。

这就好比你想考察一个学生会不会做菜,但你要先确认他真的走进厨房点了火。如果他从头到尾只是在餐桌旁坐着,你问他"这道菜火候够不够"是没有意义的,那不是一个答错的问题,那是一个根本没发生的问题。如果省掉这道闸门会怎样?你会发现,一个完全静止、画面极美的模型,在"最终状态是否正确""因果是否合理"这些题目上可能侥幸拿分,因为它画的那个静止状态恰好和题目描述的末态吻合。闸门一关,这种运气分就没了。

闸门这个概念还可以再往下推一层。团队不光看总分,还把"

整个基准一共260个测试案例,23个语义类别。人相关60例,物体70例,环境70例,动态60例。前三个家族合起来构成200例的静态记忆测试集,动态记忆单独占60例。轨迹长度控制在20到35秒之间,这个长度不是随便定的,太短了记忆压力不够,太长了很多模型根本撑不满,测试会退化成对采样配置的考察。

现在说结果,这部分是真的有意思。

HY-WorldPlay

但它的动态记忆总分只有0.294。

原因就在那道闸门上:60个动态测试案例里,它只有19个真的让事件动起来了,启动率31.7%。而在那19个真的动起来的案例里,它的答题正确率是0.928,高得吓人。

换句话说,HY-WorldPlay不是不会演,是它压根不肯演。它倾向于维持一个稳定的、不变的世界,因为不变最不容易出错,最容易在静态比对里拿高分。

这里必须插一句:同样的闸门下,

三个模型,三种性格。一个稳健到近乎固执,一个该动就动,一个干脆躺平。光看总分,你会以为它们差得很远;把闸门拆开看,你会发现它们的差别其实在完全不同的地方。

这就像三个人参加一场即兴表演考试。第一个演员全程站得笔直,动作极少,但每一个动作都很标准;第二个演员该哭哭该笑笑,动作幅度大,偶尔出戏;第三个演员上场就站着不动,一句话不说,但表情管理满分。考官如果只打一个总分,这三个人看起来差不多水平。可你把他们请去拍不同类型的戏,选角结论会完全不同。

静态记忆很强不代表能演化世界这件事,还有更硬的证据。

0.152这个数字意味着什么?如果满分1.0代表"回到原样",那这额外的0.152差不多等于模型从"基本认得出这个房间"退到了"认出个大概但方位明显不对"。换一个探索轴,代价就是这么大。

这个现象背后的机制论文拆得很清楚。一是视角对齐越来越难,九模型平均的旋转误差从第一次回望的0.430涨到第二次的0.502,再到第三次的0.530。镜头每多转一圈,"回来的方向"就更难和"当初看的方向"对上。二是自回归误差在接力,早段生成的外观和几何偏差,会变成后段的生成条件,链条越拉越长,偏差越滚越大。

再来看看反复回望的

这就有意思了。第一次回望时能把内容找回来,不代表第二次第三次还能找回来。只测一次回望的基准,会严重高估模型的记忆能力。

> 累积衰减:不是一次性丢干净,而是每回望一次丢一点。单次测试看不见,多次才显形。

研究者还做了个很扎实的排除性检验。他们担心,会不会是模型其实记得内容,只是镜头没转回正确的位置,导致比对时对不上?所以他们加了一道筛选:只有当镜头确实离开了至少30度、并且回来时误差在30度以内,这个案例才算数。筛完之后剩下431个环境模型-案例对,结果环境可见性从第一次到第三次回望仍然掉了0.152,深度掉0.135,重建掉0.139。

衰减还在。而且他们把容差收紧到15度和5度重复了一遍,三个环境指标的效应依然为正。这说明退化不是"镜头没走对"这一个因素能解释完的。

还有个数据我觉得特别值得单独摆出来看。在筛选过的281对案例上,换轴带来的额外衰减在环境可见性上是0.128,但模型之间的差异大得离谱:LingBot World在环境可见性上的额外衰减是+0.368,在深度上是+0.465;而Evoke这两个数字分别是+0.002和-0.098。九模型里,环境可见性上有八个是正的,环境深度上也是八个正的,到重建就只剩五个。

平均值掩盖了巨大的个体差异。有的模型换轴几乎无感,有的模型一换轴就崩。

论文最后还做了个诊断性的案例研究,我觉得这部分比主结果更有实用价值。

他们固定住LingBot World v2这个模型,其他生成设置全部不动,只改一件事:生成当前片段时,模型能"看到"多少历史。三种策略比较:

结果FoV在十一项能力指标里八项最好,全面超过Sliding Windows;跟FullKV比,动态记忆的四个子项和人的两项都更高,但物体外观、物体几何、环境可见性三项目FullKV保持领先。而且FoV还更快,平均延迟262.7毫秒对FullKV的322.2毫秒,快了1.23倍。

>

这个结果其实挺反直觉的。一般人会想,历史信息当然是看得越全越好。数据说不是,看全了反而在动态记忆上更差。合理的解释是,全部历史里塞满了大量跟当前视野无关的内容,它们会稀释模型的注意力,让模型把"延续某个远处的东西"当成了优先事项,反而忘了眼前的事件该往前推。

这就像你出门旅行带了整整一箱行李,什么都有,结果在机场找护照翻了二十分钟。而如果你只带一个按行程分格的小包,每样东西都在它该在的位置,你伸手就拿到。行李带全了不等于效率高,关键是你要用的那件在不在手边。

团队的贡献可以这样概括。

提出了WorldMemBench这个基准,260个案例覆盖23个类别,200个静态记忆案例专门测人、物体、环境,60个动态记忆案例覆盖七类离屏状态转移。

设计了固定参照的多回望协议,同轴和换轴两种回望都有,配合针对每个动态案例单独写的事件清单。人评显示,六项静态指标上自动评分和人类判断的一致率在78.5%到92.5%之间,动态记忆总分和人类的

> 斯皮尔曼相关系数:衡量两组排序的一致程度,1是完全一致,0是毫无关系。

评测了九个当前的代表性视频世界模型,发现没有任何一个模型能在四个维度上全面领先,而且记忆会随着回望次数累积退化,对探索方向和上下文访问策略都很敏感。

人评部分还有几个细节值得说。静态记忆用的是

因果与物理最难对齐,这本身是个信息量很大的观察。可能的原因是,判断"这个动作的物理后果是否合理"需要的推理链条比"A和B长得像不像"长得多,中间任何一环的模糊都会让两个人类标注员之间先产生分歧。

写在后面。

读完整篇,我最想拿出来说的是那个闸门设计背后的东西。

论文没有把"

如果只看总分,HY-WorldPlay排在中游,你会以为它是个平庸的动态世界模型。加上闸门,你会意识到它可能是所有模型里静态一致性做得最好的那一个,只是进化策略极端保守。这两种解读导出的后续工作方向完全不一样:一种是想办法提升动态生成质量,另一种是想办法让它敢于打破现状。

我甚至觉得,这个闸门揭示的问题比记忆本身更值得追问。HY-WorldPlay的静态分数那么好,动态启动率那么低,两者之间大概率不是巧合。维持一个不变的世界,恰恰是让每一次回望都对得上的最省力办法。也就是说,模型的两种能力之间可能存在一种此消彼长的关系,而不是可以同时拉满的两个独立维度。

如果这个猜想成立,那"让世界模型既记得住又活得起来",就不只是一个工程优化问题,而是一个目标函数本身的取舍问题。你奖励它对得上,它就学会了不动。

那么新的问题来了:一个真正的世界模型,应该被奖励去维持现状,还是被奖励去承担变化的风险?这个答案,可能要等下一个基准来给。

Q&A

Q1:WorldMemBench是什么?

A1:WorldMemBench是浙江大学、复旦大学、蚂蚁集团和南京大学联合提出的一个评测基准,专门用来测量AI视频世界模型的"世界记忆"。它通过让镜头走出去再回来,检查模型还能不能认出之前看到的人、物体和房间,以及走开期间事件有没有继续演化。整个基准含260个测试案例、23个类别,涵盖静态记忆和动态记忆两大类。

Q2:静态记忆和动态记忆有什么区别?

A2:静态记忆测的是模型还认不认得之前看到的内容,比如人的身份和衣着、物体的外观和形状、房间的布局和深度关系,比对的是第一次看到时的那一帧。动态记忆测的是镜头离开期间事件有没有继续推进、状态有没有被保留、最终状态对不对、因果物理是否合理,用一个视觉语言模型按预设的是非题清单打分。

Q3:为什么有些模型静态很强但动态很弱?

A3:因为让世界保持不动,恰好是让每次回望都能对上的最省力策略。HY-WorldPlay拿下全部七项静态记忆指标第一,但60个动态案例里只有31.7%真的让事件动起来,动态总分只有0.294。反过来LingBot World事件启动率93.3%,动态总分0.808排第一。这说明两种能力之间可能存在此消彼长的关系。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  2. 版权、流量与AI:在线音乐平台迎来新战事

    作者 | 刘艺晨 音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。存

    来源 腾讯网
  3. 实验室里的AI视频生成器:当画面很逼真,却指错了孔

    你有没有想过,为什么现在这么多实验室还在靠人盯着人学操作?明明AI已经能写代码、能规划实验方案,甚至能跟你聊化学反应机理聊得头头是道,可一到真正动手做实验这件事上,它却几乎插不上手。答案很简单:机器人在真实实验室里干不了精细活。试管要怎么拿才不会洒,移液枪的按压力度该多大,天平归零的那个按钮藏在哪个角度...

    来源 腾讯网
  4. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  5. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  6. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  7. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。截至目前,富士康方面尚未对上述消息作出回应,产品的

    来源 腾讯网
  8. 「镁伽科技」完成近2亿美元融资,建设直接面向真实世界的AI智能基础设施|36氪首发

    文|胡香赟 编辑|海若镜 36氪获悉,近日,镁伽科技已完成新一轮近2亿美元融资。本轮融资由阿曼苏丹国主权财富基金阿曼投资局(OIA)参与投资,亚投资本、Granite Asia、创新工场等老股东加注,招银国际、苏创投、三江招商集团等机构跟投,覆盖国际主权资本、头部金融资本及地方国资产业资本等。 当前,AI for Sc

    来源 腾讯网
  9. 谷歌 SRE 圣经被迫重写:AI 时代,硬技能在塌陷,第一性原理在升值

    编译|林绮蓓 策划|Tina 2016 年,一本蓝色封面的书砸进了整个技术行业,把“运维”这两个字从地下室拽进了工程学科的殿堂。 在它之前,运维在大多数组织里是一个成本中心,是一群被凌晨告警叫醒的人,是开发团队眼中“拖慢发布速度的那帮人”,是一门靠师傅带徒弟、靠口口相传、靠个人英雄主义在机房里临场发挥的手艺。系统出了故

    来源 AI 行业观察
  10. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  11. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  12. 有道Q3经营利润同比增长19.2% AI订阅销售额超1亿

    【TechWeb】11月19日消息,网易有道公布2026年第三季度未经审计的财务业绩。报告期内,有道持续推进AI原生战略,聚焦高质量、高毛利率业务,AI应用在学习、办公、营销等场景纵深落地,盈利能力与经营质量保持稳健提升。 财报显示,有道三季度净收入达14.3亿;经营利润0.3亿,同比增长19.2%,连续九个季度实现经

    来源 AI 行业观察
  13. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  14. AI 崛起,专业价值被消解,还是被重塑?

    设置星标★关注,从此你的世界多点科学~现代工程项目越来越多地要求人类判断力与机器能力相结合。工程师可以先定义问题,接着借助AI工具检索相关研究成果和技术标准,生成多种设计方案,开展仿真测试,并对比各项结果,然后将结果交给那些“能判断AI所不能判断”的其他领域专家,后者负责评估某款设计可否安全落地、在特定...

    来源 腾讯网
  15. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  16. EVA-Cap:当AI给视频配音配字幕时,它到底有没有看懂谁在说话

    你有没有刷到过这样的视频:一个厨师一边切菜一边讲解步骤,镜头切到锅里的食材特写,但解说声音其实是从旁边一个没出镜的人嘴里说出来的。如果让AI来给这段视频写一句描述,它很容易把那句解说词安在厨师头上,因为画面里只有厨师看起来像在说话。这个错误看起来很小,但它恰恰戳中了当前AI视频理解技术的一个大麻烦。**当...

    来源 腾讯网
  17. 一份看空中际旭创的报告,戳中了AI硬件的最大软肋

    一份看空中际旭创的估值测算,几乎把整个AI硬件资产的估值困境摆到了台面上。 11月17日,一份关于中际旭创的看空测算在投资圈迅速传播。按照这份材料的预测,到2029年,中际旭创的年净利润大约只有300亿元,对应合理市值3000亿至4500亿元。 考虑到折现因素,即使在最乐观的情况下,公司目前的股价仍然存在约25%的回撤

    来源 AI 行业观察
  18. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
向下滚动自动加载更多