AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

资讯 腾讯网 作者:科技行者 全文 5634 字 · 约 15 分钟读完 分类影视学术研究

你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

所属频道 前沿研究影视与游戏

那种要来回跑图的游戏,你玩过吗?角色先去厨房,再去卧室,接着到院子,忽然游戏让你返回厨房,看看炉子到底关没关。要是这游戏记性不灵,你每次回到厨房,炉子状态都是随机的,跟离开时对不上,那大概率要被骂到退款。

把这个场景换成AI拍视频,这篇论文想解决的问题就浮出来了。

让AI连着生成一整部电影,最要命的拦路虎不是画面精不精致,而是它压根记不住自己拍过些什么。

设想一个剧本:主角在客厅生起炉火,转身进厨房哈气画爱心,再去卧室躺一阵,然后往回走,先路过厨房,再回到客厅。这种“离开再回来”的结构在电影里到处都是,叙事节奏再正常不过。可放到AI视频生成模型身上,它简直是噩梦。多数现有系统生成每个镜头时,参考的只是最近几帧画面、一段文字总结,或者几张检索出来的参考图。连续镜头看起来还算顺眼,但一旦让它跳回几个镜头之前那个房间,它就露馅了:炉子里的火可能自己灭了,窗户上刚画的爱心也没了,房间布局甚至整整改了样。

这篇论文来自浙江大学、Monash大学、UC Berkeley和阿德莱德大学的团队,给这个问题起了个颇有意境的名字,叫**Any Time, Any Space**,简称

为什么“传最近几帧”这套老办法不够用

先看看这个领域此前都是怎么干的。

能自动生成多镜头视频的“智能体”系统(可以理解成一个自己拆解剧本、调度生成模型的自动化流程),多数靠把最近生成的几个镜头或一段文字描述传给下一个镜头当参考。镜头1接镜头2再接镜头3这种挨着拍的情况,这招效果还行,演员衣服不会突然换色,场景大致还连得上。

可麻烦就出在“非连续”的请求上。

>

剧本要是写“十分钟前离开客厅,现在回去”,光靠“最近几帧”没用,客厅早就不在最近的画面里了。靠文字总结也不够准,文字能告诉AI“客厅里有沙发”,却说不清沙发摆在哪个角度、茶几上那只杯子停在哪个位置。

论文反复强调的核心矛盾正在这里:**过去的观察得能在空间和时间两个维度上被“查到”,而不能只被“记住个大概”。**

有两个概念容易混,得分开看。空间上的连续,说的是你回到同一地点时,房间格局和物体摆放对得上。时间上的连续,说的是你想重放之前发生过的某个事件(比如那场炉火怎么烧起来的),事件的进展和状态得保持一致,哪怕此刻换了个完全不同的摄影机角度。

这两件事,一堆散落的参考图根本撑不住,你得有一个结构化的记忆系统,能按地点和时间去检索。

ATAS

ATAS的做法说白了,是给生成系统配了两本“账本”。

第一本叫**

第二本叫**

>

这个思路其实合一个很朴素的常识。没人会拿同一个笔记本记“客厅沙发在哪”和“昨天晚上八点发生了什么”,这两类信息保质期不同,查法也完全不一样。沙发位置是长期不变的静态坐标,炉火燃烧是随时间推进的动态过程。混着记,查起来就乱,比如你想确认沙发位置,却翻出一堆炉火温度的描述。分开记,各按各的规律存取,这才是ATAS把记忆拆成两本账的根本原因。

不拆开会怎样?论文的消融实验给了答案。只用一套笼统的“帧历史”记忆,也就是不区分静态动态、把过去画面简单粗暴堆在一起,

剧本不是直接拍,是先拆成带坐标的拍摄单

光有记忆还不够,还得知道该去查哪一条记录。这就是ATAS里**

编译器拿到的不是写好分镜的拍摄脚本,而是一段高层次剧本描述,类似“主角离开客厅,走进院子,之后回放一下那场喷泉的水花”。它要做的是把这段模糊描述递归拆成一个个“够短、够具体”的拍摄请求,每个请求都带着明确的场景标识、

>

拆解不是简单分句,而得判断这句话到底在说换场景、时间承接,还是回放某个历史事件,每一类都要查不同的记忆。换场景的请求,要问“这是不是之前见过的地方,是就调场景记忆”;回放事件的请求,要问“这个事件之前有没有被记录过,记录的时间区间是哪段”。

这套拆解加查询的流程,很像一个老练的场记在翻场记单。她不会把整部电影当一个整体来记,而是一页页记下每个镜头架在哪、上一场戏结束时道具摆在哪。下次导演说“回那个房间补一个镜头”,场记翻开本子就知道怎么布置,不用靠记忆硬猜。

生成完不代表就能直接写进记忆

论文里这一步的设计,我认为是最克制、也最反直觉的。

按常理,镜头生成完、画面看着也过得去,就该把这段内容直接并进世界状态,下一个镜头接着往下走。ATAS却没这么做。

**每生成一段视频,系统先把它当作一个"**

具体说,系统会对刚生成的片段做一次重建和配准检查,确认它是否真能对齐到已经建好的场景坐标系。对不齐的片段照样能剪进成片——观众不会去计较镜头之间的几何关系——但它进不了记忆,也就影响不到后面的镜头。

论文用公式把这件事拆成三项彼此独立的判断:这段视频能否作为成片交付、它的重建结果能否配准到已有坐标系、它是否有资格写入持久状态。三项各管各的,任何一项没通过,状态就维持原样,不会被这次生成"污染"。

这个设计为什么必要,可以拿审稿打比方。你是一本学术期刊的编辑,收到一篇文章,质量一般但也不算太差,你也许会让它发表(读者总归能看),但你不会因为发了它,就把文中某个有问题的论断写进期刊的"官方立场",拿去指导以后的审稿。发表和采纳进指导方针,本来就是两件事。少了这层区分,某一期某篇文章的论证一旦出瑕疵,瑕疵就会悄悄渗进未来所有文章的审稿标准,越滚越歪。

ATAS面临的也是同样的风险。某个生成出来的镜头,几何上其实和先前建好的房间坐标有点偏差,可画面看着还行,就被直接吸收进记忆;下一次再回到这个房间,系统参照的已经是一个走样的坐标系,错误像滚雪球一样越滚越大,故事进行到后期,整个空间可能已经面目全非。论文的效率实验也印证了这种代价与收益的权衡:**状态更新检查设得太松,接受率高达90%,下游的C-Top10反而掉到0.696;设得太紧,只接受36%,可用证据太少,分数也掉到0.668;唯独默认的中间设定,接受率67.4%,拿到最高的0.719。**可见"宁缺毋滥"并不等于"越严越好",关键是让证据既可信又够用,找到那个平衡点。

四个不同的视频生成引擎,ATAS都能让它们记性变好

设计思路讲得再多,也不如实打实的数字有说服力。

研究团队把ATAS套在四个不同的视频生成"引擎"上,包括开源的

| 模型骨干 | 最佳对照方法均分 | ATAS均分 |

|---|---|---|

| MiniMax-H3 | 0.659(ReCA) | **0.702** |

| Wan 2.7 | 0.612(ReCA) | **0.656** |

| HappyHorse 1.0 | 0.656(ReCA) | **0.694** |

| Wan 3.0 | 0.648(ReCA) | **0.734** |

四套骨干模型上,ATAS都拿到了各自骨干下的最高综合分。结果有意思的地方在于,它赢的不是换了个更强的视频生成模型,而是在同一个生成模型之上,只改动记忆和调度方式,就拉开了明显差距。说到底,瓶颈不在"画得好不好看",而在"记不记得住"。

跨镜头一致性方面的细分数据也值得拎出来看。在

> ST-Bench:一个评估长视频生成质量的标准化测试集,专门考察美学质量、是否听话(提示词遵循度)以及跨镜头一致性。

空间回访和事件回放这两项专门测试,更能直接体现这套记忆系统的价值。空间回访测试里,系统生成一个"回到某地"的镜头,再和一张目标图片做对比,用

事件回放的测试更细。论文设计了一套"源证据对照"的评分机制,由视觉语言模型裁判打分,从五个维度判断AI复刻历史事件的能力:是不是真的那个事件、动作和状态对不对、时间顺序对不对、人物物体是否一致、视角有没有按要求实现。ATAS在事件身份识别、时间顺序和视角实现这三项上都排第一,分别拿到0.750、0.688、0.650分;"动作状态保留"一项则略逊于ReCA(0.688对0.700)。论文如实承认了这一点:这套系统擅长的是"找到正确的事件、正确的时间段、正确的视角",要一模一样地复现当时的具体动作细节,还有提升空间。

人类评审的结果同样站在ATAS这边。六项主观评分——视觉吸引力、剧本忠实度、人物一致性、背景一致性、物理规律、叙事连贯性——ATAS全部拿到最高分,剧本忠实度甚至

多记事情是要花代价的

任何东西,只要能记得更多更准,就一定要为此付出点什么。ATAS也不例外。

效率数据给出了另一面:把整套记忆机制接进来后,每个故事的生成时间由51.9分钟拉长到64.9分钟,每小时产出的镜头数从7.28滑到6.21。可另一头,每个镜头要重做的次数从1.00次压到0.54次,差不多砍掉一半,单镜头实际交付时间也就从359秒缩到339秒。

换个说法,这像一个剧组请了个专职场记。岗位要开工资,拍摄时多出记录和核对的手续,流程开销确实上去了;但场记能在关键时刻提醒演员“刚才那个杯子是放左边不是右边”,因穿帮而重拍的次数因此省下不少。总制作时间可能真的变长,每个镜头“一条过”的概率却高了,返工明显减少。反过来说,不设场记,工资和流程时间省了,可穿帮越攒越多,到后期几乎每场戏都得推倒重来,隐性成本反而更贵。

论文里还有一组数据佐证“记得越多、返工越少”:随着记忆证据不断积累,生成出的候选片段被当场否决、要求重拍的比例,从完全没有记忆时的52.6%一路降到状态完整时的36.8%。这个下滑是单调的,并非某个配置上的偶然,每加一层记忆机制,拒绝率就往下走一截。

记忆放久了,也会“过期”。

有个现象容易被忽略,论文却专门做了实验验证:记忆并非写进去就永久管用,它会随时间推移而“变陈”。

研究者考察了“距上次状态更新过去了多少个镜头”与下游质量的关系。查询紧跟在状态更新之后发生时,C-Top10为0.736,LPIPS为0.276,事件回放分数为0.762;中间隔了五个或更多镜头没更新,C-Top10跌到0.651,LPIPS升到0.306,事件回放分数也落到0.678。三项指标全朝坏的方向走,跌幅都在11个百分点上下。

这事其实很符合直觉,偏偏容易被系统设计者漏掉。好比钥匙搁在门口鞋柜上,刚放下时你记得清清楚楚,可中间插进三四件别的事,隔半天再去找,具体是哪个抽屉就未必说得准了。记忆本身存在一种“距离衰减”,离上次确认的时间点越远,可信度越低。论文专门测这个变量、而非假定写进去就一劳永逸,原因也在这里。

写在后面

通读这篇论文,最让我记住的不是哪个具体技术指标,而是那个“。

做AI系统的人,第一反应多半是“生成结果好,就该用”。ATAS的作者们却看到了更深一层:**一个结果是否“看起来好”,和它是否“可以被信任为未来决策的依据”,压根是两个不同的判断维度。**这个区分放到AI系统设计里相当通用,不限于视频生成。任何持续积累信息、又拿过去信息指导未来决策的系统,都躲不开同一个问题:你今天采信的一条信息本身带了瑕疵,明天的所有判断都会被它拖着走。

另一个耐人琢磨的细节,是论文里“动作状态保留”那点小小的失利。事件回放的五个维度,ATAS赢了四个,偏偏在“精确复现当时的具体动作”上输给对照方法。研究者没绕开,照实写进了论文,称这暴露出“检索到正确事件”与“精确复现事件细节”之间仍有一道鸿沟。知道一件事发生过、知道它在哪发生、知道它的先后顺序,不等于能把每个细微动作原样复刻。人类记忆也类似:某天下午跟朋友吵了一架,起因和结果你可能记得清楚,对方当时具体说了哪句话、手势什么样,多半早已模糊。这一点上,AI系统或许比我们以为的更接近人类记忆的运作方式,有的信息留得精确,有的只留个轮廓。

论文留下的问题挺开放:当AI系统记住的东西越来越多、时间跨度越拉越长,该拿什么标准判断“这段记忆还值不值得信”?靠距上次更新过了多久,还是靠别的指标?目前还没有标准答案。

Q&A

Q1:ATAS是什么?

A:ATAS全称Any Time Any Space,由浙江大学、Monash大学等团队提出,是一套让AI生成多镜头电影时保持空间与时间一致性的框架,核心是给生成系统配上场景记忆和事件记忆两套可查询的“账本”。

Q2:ATAS和之前的AI视频生成智能体有什么不一样?

A:以往系统维持连续性,主要靠传最近几帧画面或文字摘要,只对紧挨着拍的镜头管用。ATAS建起能按地点和时间检索的持久记忆,可以跳跃式回到很久之前的场景,或回放历史事件。

Q3:ATAS会不会让生成变得更慢?

A:总耗时确实会增加,比如每个故事的生成时间从51.9分钟涨到64.9分钟;但重拍次数大幅减少,从每镜头1次降到0.54次,单个镜头的实际交付时间反而更短,整体返工情况改善明显。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI画图文字总写错怎么办?阿里浙大PixText给出像素级修字方案

    你有没有发现一个很奇怪的现象。现在的AI画图工具已经强到离谱了,随便输入一句话,就能生成一张光影、构图、氛围感都拉满的图片。可只要图里出现文字,事情就开始变得滑稽。招牌上的字缺胳膊少腿,海报上的标题多一笔少一划,甚至干脆变成一堆谁都认不出的乱码符号。这事儿说起来挺讽刺的。一个能画出以假乱真的人脸、能模...

    来源 腾讯网
  2. 香港科技大学:AI游戏为何按一下慢半拍、再按又猛冲?

    想象你在玩一个AI生成的游戏,你按下"向前走",可是屏幕上的角色却像踩在果冻上一样,慢吞吞地挪了半步。你再按一次,这次它又冲出去老远。你心里犯嘀咕:这游戏是不是卡了?其实它没卡。这是一个更深层的问题:生成这个世界的AI模型,根本不知道"一秒钟"到底该往前走多远。这篇来自香港科技大学团队的论文,把这个问题起了个...

    来源 腾讯网
  3. AI写汉字出错,OCR为何仍给出0.99置信度

    你有没有见过一张设计精美的海报,配色考究,排版专业,但凑近一看,上面某个汉字多了一笔或者少了一撇?远看完全正常,近看才发现问题。这种事现在越来越常见了,因为AI生成图片已经能把中文文字写得像模像样,但"像模像样"不等于"完全正确"。**这篇论文要解决的问题,说出来你可能都没想到:现在最强的OCR识别模型,面对一个...

    来源 腾讯网
  4. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  5. 方桃子AI演员首条商单被罚6.82万:虚拟人代言美瞳涉虚假广告

    AI虚拟演员“方桃子”因发布美瞳虚假广告,其运营公司广州我的影视文化传媒有限公司被广州市番禺区市场监督管理局罚款6.82万余元。调查显示,该公司为广告主安徽花信企业管理有限公司制作广告,通过“方桃子”账号推广“NUTNUTLOOK坚果力”美瞳,视频中使用“戴了一天都很舒服”“可以放心眨眼”等宣传语。

    来源 AI 产业速递
  6. 鲸算π丨手指一划,时间没了:我们的时间被谁安排了

    你有没有这样的时刻,本想“就看一集”,结果一抬头,半小时没了;手指一划、再一划,短剧里的“下一集”永远比“睡觉”更有吸引力。人们总说时间不够用,可手机屏幕上的时间,却悄悄越拉越长。新京报贝壳财经记者从Xsignal获取的最新数据显示,2026年10月,中国移动互联网总使用时长较上年同期增加约137亿小时,其中,短剧..

    来源 腾讯网
  7. 李彦宏谈AI泡沫:算力投入大,应用落地不及预期

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。尽管如此,李彦宏对 AI 长期

    来源 腾讯网
  8. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  9. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  10. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  11. 百度Q3财报:AI新业务占比53%,智能云收入增94%

    【TechWeb】11月17日消息,百度集团发布2026年第三季度未经审计财务业绩。在传统在线营销业务面临宏观挑战和主动转型阵痛的背景下,百度交出了一份“新旧动能转换”特征鲜明的答卷:AI新业务已占据百度一般性业务收入的53%,全栈AI投入正逐步转化为实质性的规模增长。 营收企稳,利润与现金流保持健康 财报显示,百度第

    来源 AI 行业观察
  12. 腾讯总办号召AI时代再创业:不拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  13. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  14. VLM记忆机制综述出炉:八机构联合提出4D分类框架

    来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

    来源 腾讯网
  15. 英伟达推Rubin HPC:超5万CUDA核心,押注AI智能体改写科学计算

    英伟达正将AI基础设施的竞争进一步延伸至科学计算领域。在11月16日于芝加哥举行的超级计算大会SC26上,英伟达发布专为科学计算、工程仿真和数据分析设计的新一代GPU Rubin HPC,并围绕CUDA-X软件库、光子计算和量子计算等领域公布一系列进展,试图将GPU加速计算、AI智能体与传统高性能计算(HPC)整合到统

    来源 腾讯网
  16. 百度三季报:AI新业务营收132亿,占比53%连续三季过半

    4天前,在百度世界2026大会上,百度创始人李彦宏用“新电能”与“新厂房”作比,提出一个判断:AI只是新电能,企业若只换“电机”而不重新设计“厂房”,投入便难以转化为产出。11月16日晚间,百度2026年三季报给出了阶段性的答案:虽然进度有限,但报表中的AI成色日趋“浓郁”。财报显示,百度三季度总营收约308亿元,同比

    来源 腾讯网
  17. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  18. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
向下滚动自动加载更多