港大团队实测43个视频世界模型:动作没做完,谈何记忆

资讯 腾讯网 作者:科技行者 全文 4787 字 · 约 12 分钟读完 分类世界模型图像生成

你有没有玩过那种桌游,魔术师当着你的面把一个球放进三个杯子中的一个,然后快速挪动杯子,最后问你球在哪儿。如果魔术师根本没把球放进任何一个杯子,你猜错了,这能叫"记性不好"吗?这篇论文讲的就是这么一件让人哭笑不得的事。现在有一类叫做视频世界模型的AI系统,视频世界模型:一种能够根据文字描述或图片生成连续视...

所属频道 模型发布视频图像生成

玩过那种桌游吗?魔术师把球搁进三个杯子中的一个,当着你面飞快换位置,最后让你猜球在哪。可要是魔术师压根没往任何杯子里放球,你猜错,这能算"记性不好"?

有论文讲的就是这件让人哭笑不得的事。眼下有一类 AI 系统叫视频世界模型,

它能按文字描述或图片生成连续视频画面,研究者指望它像人一样理解物理世界的因果,比如东西被藏起来之后应当还在。

于是大家反复测这类模型的"记忆力":先给它看一个场景,镜头挪开一阵再挪回来,问它记不记得东西是否还在原处、某个动作有没有发生。只要最后一帧不对,习惯性的结论就来了——模型忘事了,记忆机制有毛病。

但香港大学团队的这篇论文站出来反问:等等,你们是不是一开始就问错了?

球压根没进杯子,这就不是记忆的锅

论文的核心发现挺扎心,也很简单:在测试的 43 个案例里,

场景是这样搭的:第一个镜头立起环境,比如桌上摆个盒子和几个彩色小球;第二个镜头把镜头移开,画面里不留任何线索;第三个镜头移回来,要求呈现"盒子打开,露出里面的球"。结果,38 次是有只手伸过来,可盒子根本没打开;3 次没人来开;0 次是开了却拿错东西。

这说明了什么?说明要测"记忆",前提是模型得先做完"把球放进盒子"和"把盒子打开"这两个动作。两个动作一个都没发生,你根本没机会去看模型的隐藏状态有没有正确传下去。这不叫记性差,这叫游戏还没开局。

研究者给这套新评测方法取了个名,叫

MIST

MIST

只拿一个"魔术成功了吗"的总分来打分,你永远分不清是魔术师没把球放进杯子,还是他真让球凭空消失了。MIST 的价值就是把这两种情况彻底拆开。

团队在那 43 个案例里发现,

打个比方,你请装修师傅砌墙,问他砌好了吗,他说砌好了,到现场一看确实砌好了;再问墙上的画挂了吗,他说挂了,你过去一看,墙上什么都没有。这时候你说师傅"记性不好,忘了挂画",显然文不对题——他根本没去挂。装修质量和记忆力是两码事,这位师傅的问题是执行力,不是记性。

研究者还专门查了第二个镜头,那段"不透明的过渡"是不是真不透明。43 个案例里,0 个出现答案提前泄露。这排除了另一种质疑:会不会是过渡镜头不小心把答案露了出来,导致最后一帧的测试其实没意义?数据说不成立。场景设置是场景设置,泄露是泄露,揭示失败是揭示失败,三件事各归各。

光把答案喊出来不够,还得教它怎么做

问题找到了,自然要想法子解决。团队试了好几种"提示词"策略,想看什么样的指令能让模型真把动作做出来。

第一种最朴素,直接在最后一个镜头的提示词里写"打开盒子,展示里面的球",这叫

第二种是把答案直接告诉模型,比如明确写出"盒子里有一个橙色的球",这叫

真管用的是第三种,研究者称它为

这套策略的 reveal 得分达到 0.763,是

不过有个细节很关键:研究者做了对照实验,用同样的重写策略,但把答案从提示词里彻底抹掉(确保 0 个案例泄露答案),reveal 得分随即跌到 0.174,甚至比最朴素的

这个对照实验证明的是:重写策略奏效,不是因为写得更"聪明"或句子结构更漂亮,而是答案确实出现在了提示词里。

只改句式、重新组织措辞,并不能骗模型去做它本来没打算做的动作。模型要的是明确、具体的目标信息,再加上针对性的动作指令,这两样缺一不可。

这有点像教小孩收拾房间。你只说“把房间收拾好”(对应 open-and-hold),小孩可能愣在原地,不知道从哪儿下手;你直接告诉他“玩具放进红色箱子里”(对应 answer-only),他能做到一部分;可如果你蹲下来看过他之前收拾失败的样子,发现他把玩具和箱子的位置搞反了,再专门纠正“玩具放进箱子里面,箱子盖子要留在外面”(对应

顺着这个发现,研究团队搭了一套叫

M3-Agent

的流程分三步走。第一步建一份任务记录卡,写清需要出现的物体、它该处于的绑定关系(在盒子里还是盒子外)、要执行的操作,以及最终画面里必须出现的证据;第二步用一个视觉语言模型检查生成的最后一帧,判断这次失败属于五种失败模式中的哪一种(没有动作、绑定错误、路径缺失等);第三步只针对失败的那部分指令重写,重新生成,但原始那次结果仍留在候选池里,不会被直接丢掉。

原始结果为什么要留着?

研究者发现过一个案例(代号 R2-10),原始生成是对的,重写之后反倒出了错。要是把原始候选扔了,这种情况就是帮倒忙。这个细节挺有意思,它说明“修改”不总等于“改进”,留一张安全网是必要的保守设计。

三个赛道上的数字说明了什么

MIST 是团队自己设计的内部测试,用来验证“诊断加重写”这条路是否真的管用。他们还把同样的分析方法搬到了两个已经公开发布的官方评测体系上,

分别是 WRBench

和 MBench-T。

结果发现,官方分数低的那些案例,失败原因和 MIST 里暴露出来的是同一类问题。

把

这里有个细微差别值得说。WRBench 上分数的提升主要来自“路径补全”,也就是让镜头真的完成离开再返回这个动作。研究者做了成分分析,这部分提升里只有 3% 到 4% 来自画面变好看,55% 到 56% 来自“离开检查”环节的改善,41% 来自“返回检查”环节的改善。换句话说,模型是把路径走完整了,不是单纯把画面磨得更精致。

到了 MBench-T 上,情况就完全不同。这里的“keep-best”机制(保留最优候选)指每个案例生成多个候选、再挑分数最高的那个留下,它在 23 个案例里直接保留了原始的 baseline 结果,只在 5 个案例里选了“强制离开返回”的版本,2 个案例选了“强制锁定最后一帧”的版本。

原因在于,研究者试过强制镜头离开再返回,结果这样做反而伤到了 8 个本来表现就很好(基线状态分数已经是 1.0)的案例。一个硬编码、一刀切的“修复方案”是有风险的,对某些案例是对症下药,对另一些就是画蛇添足。把“选择不采纳”这个选项留着,恰恰是整个设计里最务实的一步。

这就像去医院看病,医生开了新药,但不会逼所有病人都吃,而是先看这个病人眼下状态好不好。本来就恢复得不错,硬加药反而可能出问题。负责任的方案,是允许医生说一句“这个病人不需要换药”。

不过话说回来,这里的“选择”机制本身就是一种事后操作,得先把所有候选结果都生成出来,再用同一套打分标准挑出最好的那个。论文自己也坦率承认,这是一种“

还有一个更扎心的测试:文字比画面更容易“骗过”裁判

论文里还藏着一个实验,特别值得单独拿出来讲,说的是评测用的 AI 裁判本身靠不靠谱。

研究者找了一个 8B 参数规模的视觉语言模型(和原本用来打分的 122B 大模型不是同一个),分别测它在几种输入条件下回答“画面是否展示了目标状态”这个问题的准确率。

实验数据挺能说明问题。这个 8B 模型要是直接读标准答案的文字描述,答“是”的可能性有 91%;一旦把这些词序打乱,答“是”的可能性就掉到 7%;若只让它看模型生成的最后一帧原始画面(没有经过重写),它判定目标状态已出现的可能性仅有 9%;而换成 M3-Agent 重写后产出的最后一帧,这一比例被拉到 56%,跟此前 reveal 得分 0.56 上下的数值大致对得上。

这组数字背后有个挺重要的提醒:裁判模型能从文字里轻松“认出”正确答案,可要从画面里真正“看出”这个状态有没有发生,难度大得多。

这也解释了研究团队为什么反复强调,靠谱的评测方法不能只靠文字匹配走捷径,必须让裁判真的去看最后一帧画面里发生了什么。论文同时也坦诚指出,这个 8B 模型的判断和官方 WRBench、MBench-T 的真实评分标准之间,一致性并不算高(在 35% 到 50% 之间),所以这个小模型只能当辅助性的交叉验证,替代不了官方评分体系。

这个设计还揭示了一个更深层的问题:如果一个评测系统的裁判本身就容易被文字线索“抢跑”,那整个评测的可信度都要打折扣。MIST 的做法是用多个独立维度(

那么,模型的"记忆"到底存不存在?

看到这里,读者或许会想:研究团队既然已经证明模型有能力把这件事做对,那是不是说明这些视频世界模型本来就具备记忆能力,只不过此前的提示词没写到位?

论文在这一点的处理上相当克制,几乎是一句一句地把边界划清楚。

一帧被判定为正确的最后一帧,并不代表模型内部真的存下了这个隐藏状态、并把它维持住了。

研究者说得很明白,他们证明的只有一件事:冻结的模型在被正确告知目标状态、并拿到针对性指令之后,有能力把这个状态渲染出来。至于"模型自己记住了前面发生的事,再据此推出正确的后续画面",那是完全另一回事。

那要怎样才能真正证明模型有记忆?论文给出的标准相当严苛:需要一个完全不知道目标答案的筛选器(

这些条件眼下一条都还没满足。打开的盒子只能说明"这个状态是可以被判断的",不能说明"这个状态是被记住的"。

这个区分乍一听有点学究气,其实特别要紧。好比考试时蒙对了一道选择题,和你真懂了这道题背后的知识点,表面上都是"答对了",背后的机制却天差地别。评测标准要是不够严,蒙对的分数和真懂的分数就混在一块儿,谁也分不清。

写在后面

读完这篇论文,最触动我的其实不是M3-Agent这套方法本身有多有效,而是它提出的那个几乎"显而易见却被忽视"的问题:如果连动作本身都没发生,你凭什么说模型"忘记"了?

这让我想起一件有点好笑的事。我们评价一个系统"不行"的时候,往往默认了一个前提——这个系统至少尝试去做了,只是做得不够好。可这篇论文告诉我们,41个案例里有41个,模型根本没去尝试打开那个盒子。这不是能力不足,是连赛道都没踏上去。

这种"先诊断、再评判"的态度,放到很多领域都成立。一个学生考砸了,是不会做,还是根本没看到题目,还是看到了却理解错了要求?三种情况对应的补救办法完全不同,混在一起谈"为什么考砸了"没有意义。

另一个让我反复琢磨的细节是

论文结尾留的这个口子也挺诚实:眼下还没有人能证明这些视频世界模型真的"记住"了什么。这不是悲观结论,而是一条诚实的边界标注,它指出了下一步该往哪走——去设计一个不知道答案、却能把正确结果挑出来的筛选器。到那时,才算真正开始检验记忆。

Q&A

Q1:MIST评测方法是什么?

MIST 由香港大学团队提出,用来评测视频世界模型。它不把各环节混成一个总分,而是将“场景是否设置好”“变化信息是否提前泄露”“最终是否展示结果”分别拆开打分,所以模型失败到底出在哪一环,能看得更准。

Q2:为什么视频世界模型的记忆测试经常得分很低?

论文还提到,不少被归为“记忆失败”的情况,实际是模型压根没做被要求的动作——比如让它打开盒子,盒子一直没开。测试的 43 个案例中,有 41 个都是这样,可见毛病出在执行,不在记忆本身。

Q3:M3-Agent是怎么提升模型表现的?

M3-Agent 是测试阶段跑的一套流程:先判断生成失败的那最后一帧属于哪类失败,再有的放矢地重写指令中出错的部分,交给同一个冻结模型重新生成,原始结果也留作候选。按这套做法,WRBench 官方分数提高 26.1%,MBench-T 官方分数提高 52.7%。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 清华团队造出会拆题的AI裁判:图像生成打分不再只有对错

    你有没有遇到过这样的场景:让一个AI判卷子,它只会打勾或打叉,可一张图片明明做对了七成,剩下三成有瑕疵,它却和那种全错的图片给出一模一样的判决。这事儿听起来有点荒唐,但它恰恰是当下AI图像生成领域一个被忽视很久的真问题。**图像生成模型越做越强,但给它们"打分"的裁判却还停留在上个世纪。**这篇来自清华大学、...

    来源 腾讯网
  2. 可灵4.0实测:原生8K生图细节与复杂排版如何?

    快手可灵最新推出的Kling Image 4.0模型在图像生成领域有了新动作。这次升级不仅支持原生8K分辨率,让人像和风景细节经得起放大审视,更在文字渲染、多图连贯性和长指令理解上做了实质改进。实测显示,它能准确处理整首古诗词的竖排布局,也能根据多张参考图生成逻辑自洽的露营场景或侦探故事分镜。背后依托的是理解与生成统一

    来源 AI 应用前沿
  3. 华为云开源CloudRobo-WM1.2:两项评测第一,11月30日开放权重

    11 月 16 日,华为云发布了昇腾原生具身世界模型 CloudRobo-WM1.2,并表示将在 11 月 30 日开放该模型权重、推理代码和后训练代码。该模型采用共享世界模型骨干网络,通过预测增强世界表征,并基于世界模型原生 DualAct 架构实现动作生成。据华为云介绍,CloudRobo-WM1.2 在 Robo

    来源 AI 行业观察
  4. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  5. 谷歌50天连发4款模型:Gemini 4 Neon登场,世界模型同步开放

    OpenAI时隔75天的顶级模型刚刚发布,社区里的吐槽就炸开了。有人直言新模型“几乎没法用”,有人抱怨它过分谨慎、难以指挥,还有人认为,这家伙解释起自己的工作就像在“说外星话”。甚至有人用漫画玩了个梗,吐槽GPT-6.2 Astra的语言风格,根本是防御过当。图片来源网络前·赛博义父Tibo在X上表示,他已经收到了关于

    来源 腾讯网
  6. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  7. Google Genie4 API开放:付费开发者可实时交互并生成原生音频

    11月19日,Google通过Gemini API与AI Studio向付费开发者开放最新世界模型Genie4(models/genie-4)。此前一日,该模型已借Project Genie面向Google AI Ultra订阅用户推出。此次开放标志DeepMind首个可供第三方直接调用的实时世界模型落地,摆脱消费者订

    来源 AI 产业速递
  8. 谷歌Genie 4开放开发者:0.2秒操控延迟,6.05美元/分钟

    当地时间11月19日,谷歌正式向开发者开放世界模型Genie 4,开发者可通过Gemini API及Google AI Studio接入。该模型可生成720p、24fps的可交互世界与原生立体声音频,低延迟网络下键盘操控响应约0.2至0.5秒,视频输出按Token计费,成本约6.05美元/分钟。

    来源 凤凰科技
  9. 商汤SenseNova U1 Pro在Design Arena图片榜单获中国第一

    商汤科技日日新 SenseNova U1 Pro 在全球权威 AI 设计评测平台 Design Arena 的最新榜单中,于图片生成与图片编辑两项核心指标均位列中国第一、全球第六。该模型不仅提升了单张图像的生成质量,更通过智能创作管线优化了从需求到交付的长程任务处理能力,同时在效果与成本平衡上展现出竞争力,为规模化视觉

    来源 AI 应用前沿
  10. 豆包网页版上线Agent工作模式:八大功能覆盖PPT生成与AI搜索

    本文介绍豆包AI网页版的访问方式及2026年最新升级的Agent工作模式。该模式支持自主拆解任务、操作浏览器及生成文档。文章详细解析了PPT制作、图像生成、深度搜索等八大实用功能,并结合QuestMobile数据探讨其用户规模,为不同场景用户提供具体操作建议。

    来源 AI 应用前沿
  11. 腾讯混元AMA回应算力瓶颈:下一代Hy模型将大幅扩容

    智东西11月21日报道,今天凌晨,腾讯混元团队在社交媒体平台Reddit举行了一场AMA活动,与全球开发者围绕Hy4系列模型展开交流。姚顺雨也出现在了评论区,只是哪个是他的马甲我们不得而知。 ▲姚顺雨在X预告本次Reddit AMA活动(图源:X) 此次AMA处于一个非常有趣的时间点。 就在昨天,腾讯刚刚开放旗舰模型H

    来源 AI 行业观察
  12. Megaspeed调查:41.3亿美元芯片进口与5万颗差额

    作者|画画2015年,一家名叫7 Road International的公司在新加坡注册。最初几年,它并不起眼。谁也不会想到,十年后,这家公司会成为英伟达先进AI芯片供应链上一个引人注目的名字。2023年,公司更名为Megaspeed International,业务重心也开始转向云计算和AI基础设施。随后,它的生意急

    来源 腾讯网
  13. 英伟达7连跌市值蒸发2.74万亿美元,美股AI板块集体重挫

    智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%,亚马逊暴跌4%。 芯片股也愁容惨淡。美国芯片股费城半导体指数周五

    来源 AI 行业观察
  14. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  15. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  16. Anthropic数学家阿尔波格称与Claude合作完成黎曼猜想证明

    IT之家 11 月 20 日消息,据《科学美国人》报道,当地时间 20 日,Anthropic 数学家莱文特 · 阿尔波格宣称,自己与 AI 模型 Claude 合作,攻克了数学界最著名的难题之一 —— 黎曼猜想。阿尔波格在个人网站发表声明称:“我相信,我与 Claude 合作找到了黎曼猜想的证明。”IT之家注:黎曼猜

    来源 腾讯网
向下滚动自动加载更多