港大团队实测43个视频世界模型:动作没做完,谈何记忆
你有没有玩过那种桌游,魔术师当着你的面把一个球放进三个杯子中的一个,然后快速挪动杯子,最后问你球在哪儿。如果魔术师根本没把球放进任何一个杯子,你猜错了,这能叫"记性不好"吗?这篇论文讲的就是这么一件让人哭笑不得的事。现在有一类叫做视频世界模型的AI系统,视频世界模型:一种能够根据文字描述或图片生成连续视...
玩过那种桌游吗?魔术师把球搁进三个杯子中的一个,当着你面飞快换位置,最后让你猜球在哪。可要是魔术师压根没往任何杯子里放球,你猜错,这能算"记性不好"?
有论文讲的就是这件让人哭笑不得的事。眼下有一类 AI 系统叫视频世界模型,
它能按文字描述或图片生成连续视频画面,研究者指望它像人一样理解物理世界的因果,比如东西被藏起来之后应当还在。
于是大家反复测这类模型的"记忆力":先给它看一个场景,镜头挪开一阵再挪回来,问它记不记得东西是否还在原处、某个动作有没有发生。只要最后一帧不对,习惯性的结论就来了——模型忘事了,记忆机制有毛病。
但香港大学团队的这篇论文站出来反问:等等,你们是不是一开始就问错了?
球压根没进杯子,这就不是记忆的锅
论文的核心发现挺扎心,也很简单:在测试的 43 个案例里,
场景是这样搭的:第一个镜头立起环境,比如桌上摆个盒子和几个彩色小球;第二个镜头把镜头移开,画面里不留任何线索;第三个镜头移回来,要求呈现"盒子打开,露出里面的球"。结果,38 次是有只手伸过来,可盒子根本没打开;3 次没人来开;0 次是开了却拿错东西。
这说明了什么?说明要测"记忆",前提是模型得先做完"把球放进盒子"和"把盒子打开"这两个动作。两个动作一个都没发生,你根本没机会去看模型的隐藏状态有没有正确传下去。这不叫记性差,这叫游戏还没开局。
研究者给这套新评测方法取了个名,叫
MIST
MIST
只拿一个"魔术成功了吗"的总分来打分,你永远分不清是魔术师没把球放进杯子,还是他真让球凭空消失了。MIST 的价值就是把这两种情况彻底拆开。
团队在那 43 个案例里发现,
打个比方,你请装修师傅砌墙,问他砌好了吗,他说砌好了,到现场一看确实砌好了;再问墙上的画挂了吗,他说挂了,你过去一看,墙上什么都没有。这时候你说师傅"记性不好,忘了挂画",显然文不对题——他根本没去挂。装修质量和记忆力是两码事,这位师傅的问题是执行力,不是记性。
研究者还专门查了第二个镜头,那段"不透明的过渡"是不是真不透明。43 个案例里,0 个出现答案提前泄露。这排除了另一种质疑:会不会是过渡镜头不小心把答案露了出来,导致最后一帧的测试其实没意义?数据说不成立。场景设置是场景设置,泄露是泄露,揭示失败是揭示失败,三件事各归各。
光把答案喊出来不够,还得教它怎么做
问题找到了,自然要想法子解决。团队试了好几种"提示词"策略,想看什么样的指令能让模型真把动作做出来。
第一种最朴素,直接在最后一个镜头的提示词里写"打开盒子,展示里面的球",这叫
第二种是把答案直接告诉模型,比如明确写出"盒子里有一个橙色的球",这叫
真管用的是第三种,研究者称它为
这套策略的 reveal 得分达到 0.763,是
不过有个细节很关键:研究者做了对照实验,用同样的重写策略,但把答案从提示词里彻底抹掉(确保 0 个案例泄露答案),reveal 得分随即跌到 0.174,甚至比最朴素的
这个对照实验证明的是:重写策略奏效,不是因为写得更"聪明"或句子结构更漂亮,而是答案确实出现在了提示词里。
只改句式、重新组织措辞,并不能骗模型去做它本来没打算做的动作。模型要的是明确、具体的目标信息,再加上针对性的动作指令,这两样缺一不可。
这有点像教小孩收拾房间。你只说“把房间收拾好”(对应 open-and-hold),小孩可能愣在原地,不知道从哪儿下手;你直接告诉他“玩具放进红色箱子里”(对应 answer-only),他能做到一部分;可如果你蹲下来看过他之前收拾失败的样子,发现他把玩具和箱子的位置搞反了,再专门纠正“玩具放进箱子里面,箱子盖子要留在外面”(对应
顺着这个发现,研究团队搭了一套叫
M3-Agent
的流程分三步走。第一步建一份任务记录卡,写清需要出现的物体、它该处于的绑定关系(在盒子里还是盒子外)、要执行的操作,以及最终画面里必须出现的证据;第二步用一个视觉语言模型检查生成的最后一帧,判断这次失败属于五种失败模式中的哪一种(没有动作、绑定错误、路径缺失等);第三步只针对失败的那部分指令重写,重新生成,但原始那次结果仍留在候选池里,不会被直接丢掉。
原始结果为什么要留着?
研究者发现过一个案例(代号 R2-10),原始生成是对的,重写之后反倒出了错。要是把原始候选扔了,这种情况就是帮倒忙。这个细节挺有意思,它说明“修改”不总等于“改进”,留一张安全网是必要的保守设计。
三个赛道上的数字说明了什么
MIST 是团队自己设计的内部测试,用来验证“诊断加重写”这条路是否真的管用。他们还把同样的分析方法搬到了两个已经公开发布的官方评测体系上,
分别是 WRBench
和 MBench-T。
结果发现,官方分数低的那些案例,失败原因和 MIST 里暴露出来的是同一类问题。
把
这里有个细微差别值得说。WRBench 上分数的提升主要来自“路径补全”,也就是让镜头真的完成离开再返回这个动作。研究者做了成分分析,这部分提升里只有 3% 到 4% 来自画面变好看,55% 到 56% 来自“离开检查”环节的改善,41% 来自“返回检查”环节的改善。换句话说,模型是把路径走完整了,不是单纯把画面磨得更精致。
到了 MBench-T 上,情况就完全不同。这里的“keep-best”机制(保留最优候选)指每个案例生成多个候选、再挑分数最高的那个留下,它在 23 个案例里直接保留了原始的 baseline 结果,只在 5 个案例里选了“强制离开返回”的版本,2 个案例选了“强制锁定最后一帧”的版本。
原因在于,研究者试过强制镜头离开再返回,结果这样做反而伤到了 8 个本来表现就很好(基线状态分数已经是 1.0)的案例。一个硬编码、一刀切的“修复方案”是有风险的,对某些案例是对症下药,对另一些就是画蛇添足。把“选择不采纳”这个选项留着,恰恰是整个设计里最务实的一步。
这就像去医院看病,医生开了新药,但不会逼所有病人都吃,而是先看这个病人眼下状态好不好。本来就恢复得不错,硬加药反而可能出问题。负责任的方案,是允许医生说一句“这个病人不需要换药”。
不过话说回来,这里的“选择”机制本身就是一种事后操作,得先把所有候选结果都生成出来,再用同一套打分标准挑出最好的那个。论文自己也坦率承认,这是一种“
还有一个更扎心的测试:文字比画面更容易“骗过”裁判
论文里还藏着一个实验,特别值得单独拿出来讲,说的是评测用的 AI 裁判本身靠不靠谱。
研究者找了一个 8B 参数规模的视觉语言模型(和原本用来打分的 122B 大模型不是同一个),分别测它在几种输入条件下回答“画面是否展示了目标状态”这个问题的准确率。
实验数据挺能说明问题。这个 8B 模型要是直接读标准答案的文字描述,答“是”的可能性有 91%;一旦把这些词序打乱,答“是”的可能性就掉到 7%;若只让它看模型生成的最后一帧原始画面(没有经过重写),它判定目标状态已出现的可能性仅有 9%;而换成 M3-Agent 重写后产出的最后一帧,这一比例被拉到 56%,跟此前 reveal 得分 0.56 上下的数值大致对得上。
这组数字背后有个挺重要的提醒:裁判模型能从文字里轻松“认出”正确答案,可要从画面里真正“看出”这个状态有没有发生,难度大得多。
这也解释了研究团队为什么反复强调,靠谱的评测方法不能只靠文字匹配走捷径,必须让裁判真的去看最后一帧画面里发生了什么。论文同时也坦诚指出,这个 8B 模型的判断和官方 WRBench、MBench-T 的真实评分标准之间,一致性并不算高(在 35% 到 50% 之间),所以这个小模型只能当辅助性的交叉验证,替代不了官方评分体系。
这个设计还揭示了一个更深层的问题:如果一个评测系统的裁判本身就容易被文字线索“抢跑”,那整个评测的可信度都要打折扣。MIST 的做法是用多个独立维度(
那么,模型的"记忆"到底存不存在?
看到这里,读者或许会想:研究团队既然已经证明模型有能力把这件事做对,那是不是说明这些视频世界模型本来就具备记忆能力,只不过此前的提示词没写到位?
论文在这一点的处理上相当克制,几乎是一句一句地把边界划清楚。
一帧被判定为正确的最后一帧,并不代表模型内部真的存下了这个隐藏状态、并把它维持住了。
研究者说得很明白,他们证明的只有一件事:冻结的模型在被正确告知目标状态、并拿到针对性指令之后,有能力把这个状态渲染出来。至于"模型自己记住了前面发生的事,再据此推出正确的后续画面",那是完全另一回事。
那要怎样才能真正证明模型有记忆?论文给出的标准相当严苛:需要一个完全不知道目标答案的筛选器(
这些条件眼下一条都还没满足。打开的盒子只能说明"这个状态是可以被判断的",不能说明"这个状态是被记住的"。
这个区分乍一听有点学究气,其实特别要紧。好比考试时蒙对了一道选择题,和你真懂了这道题背后的知识点,表面上都是"答对了",背后的机制却天差地别。评测标准要是不够严,蒙对的分数和真懂的分数就混在一块儿,谁也分不清。
写在后面
读完这篇论文,最触动我的其实不是M3-Agent这套方法本身有多有效,而是它提出的那个几乎"显而易见却被忽视"的问题:如果连动作本身都没发生,你凭什么说模型"忘记"了?
这让我想起一件有点好笑的事。我们评价一个系统"不行"的时候,往往默认了一个前提——这个系统至少尝试去做了,只是做得不够好。可这篇论文告诉我们,41个案例里有41个,模型根本没去尝试打开那个盒子。这不是能力不足,是连赛道都没踏上去。
这种"先诊断、再评判"的态度,放到很多领域都成立。一个学生考砸了,是不会做,还是根本没看到题目,还是看到了却理解错了要求?三种情况对应的补救办法完全不同,混在一起谈"为什么考砸了"没有意义。
另一个让我反复琢磨的细节是
论文结尾留的这个口子也挺诚实:眼下还没有人能证明这些视频世界模型真的"记住"了什么。这不是悲观结论,而是一条诚实的边界标注,它指出了下一步该往哪走——去设计一个不知道答案、却能把正确结果挑出来的筛选器。到那时,才算真正开始检验记忆。
Q&A
Q1:MIST评测方法是什么?
MIST 由香港大学团队提出,用来评测视频世界模型。它不把各环节混成一个总分,而是将“场景是否设置好”“变化信息是否提前泄露”“最终是否展示结果”分别拆开打分,所以模型失败到底出在哪一环,能看得更准。
Q2:为什么视频世界模型的记忆测试经常得分很低?
论文还提到,不少被归为“记忆失败”的情况,实际是模型压根没做被要求的动作——比如让它打开盒子,盒子一直没开。测试的 43 个案例中,有 41 个都是这样,可见毛病出在执行,不在记忆本身。
Q3:M3-Agent是怎么提升模型表现的?
M3-Agent 是测试阶段跑的一套流程:先判断生成失败的那最后一帧属于哪类失败,再有的放矢地重写指令中出错的部分,交给同一个冻结模型重新生成,原始结果也留作候选。按这套做法,WRBench 官方分数提高 26.1%,MBench-T 官方分数提高 52.7%。