清华米哈游等团队测试AI看视频:最强模型仅得13.2分
你有没有想过一个问题:AI 看视频到底是在看什么?如果你给一个大模型放一盘国际象棋的对局录像,让它说出"白方在第29步用象吃掉了黑方的马,这步棋让白方占据优势",它能做到吗?这听起来像是最基础的视频理解任务。但一支由清华、中科院、香港大学和游戏公司米哈游组成的研究团队做了一个实验,结果让人意外:目前最强的...
有个问题不知道你想过没有:AI 看视频的时候,究竟在看些什么?
假设把一盘国际象棋的录像交给一个大模型,要求它讲明白“白方在第29步用象吃掉了黑方的马,白方由此占了上风”,它能答上来吗?
听着像最基础的视频理解题。清华、中科院、香港大学和米哈游组成的研究团队做了实验,出来的结果出人意料:当下最强的大模型,这类任务只拿到13.2分(满分100)。
论文名为《Video-Arena》。它不教 AI 下棋,棋局只是考题,真正要测的是一个更根本的问题:AI 能不能像人那样,盯住一个不断变化的世界不放。
### 难在什么地方
先把前提说清楚:现在那些视频理解测试,大多测错了方向。
市面上流行的视频 benchmark(基准测试),就是用来统一标准、给不同 AI 模型打分比较的标准化测试集。
Video-MME、LongVideoBench 这些知名测试集就是例子。很多题目靠一帧画面、一句字幕就能猜中,甚至完全不看视频也能蒙对。好比考试问“第37页第3行写了什么”,答案其实已经在题干里露出来了,书根本不用翻。
研究者给这个问题起了个名字叫“
追问随之更深一层:到底什么才算真正测出了“理解动态世界”的能力?
认知科学提供了一条线索。人理解一件连续发生的事,会走三步:先感知发生了什么,再把新信息并进原有认知、更新判断,最后让这个判断在脑子里持续维持。论文据此设了三个任务层级:感知(
拿看球打个比方。足球直播看到一半你去了趟厕所,回来问朋友“刚才怎么样了”。朋友只答“进了一个球”,这是感知层面的信息。他要是说“这球让主队从落后变成反超”,那是解读。他再补一句“现在比分2比1,主队领先”,这才叫追踪。三样缺一样,你对比赛的把握都是残的。
现有 benchmark 的盲区正在这里。它们大多只测“感知”(视频里发生了什么),“解读”和“追踪”有没有跟上,很少系统地测。
### 拿游戏当考场,标准答案现成
那考场为什么选游戏,不选真实世界的视频?
因为真实世界的状态往往“
游戏就不同了。
这相当于配了一位永不犯错的阅卷老师。“这步棋走得好还是坏”不用雇人来判,引擎直接给出精确的胜率数字。
研究团队据此搭了一条自动化流水线:输入一场比赛的记录文件,系统自动生成视频,同时算出三类标准答案——事件发生了什么(T1,感知)、事件带来什么局势变化(T2,解读)、变化之后谁领先(T3,追踪)。出题不用人工写,标注不用请人做,也不必另找一个大模型当裁判。
游戏记录来源
流水线最终覆盖9款游戏:围棋、国际象棋、五子棋、斗地主、CS2、DOTA2、星际争霸2、谷歌研究足球模拟器、羽毛球。每款抽20个案例,凑成180题的“黄金测试集”。为什么定在180题?团队要平衡两件事:覆盖面得广到能代表不同类型(棋牌类、射击类、策略类、体育类),跑一遍的成本又得控制住。论文里提到,用智能体工具做一道 CS2 题,大约花30分钟、74次工具调用、32美元;九个模型跑完180题、两种协议,总开销接近1.8万美元。
### 两种考法:让 AI“裸考”还是“开卷”
论文设了两种评测协议,这是整篇研究里最有意思的设计之一。
第一种叫"
第二种叫"
两种协议的差别,相当于让学生做两种考试。头一种是闭卷:监考老师只把题目相关的几张幻灯片翻一遍,看完就得答,不许回头再看。第二种是开放式项目作业:工具自己带,原始资料可以反复查,还能写代码辅助计算,只要最后交出一份完整的作业文件。
如果不设计这两种协议,会漏掉什么?只测第一种,就分不清AI的短板是“看不清”还是“想不明白”;只测第二种,工具的能力和模型自身的理解力又会混在一块,到底是谁在起作用就说不清了。两种协议对照着看,问题才能拆开。测下来的结果,两边差距很大。
这组对比指向一件事:让大模型“裸看”视频去理解一个动态世界,眼下它基本等于失明。把工具递过去,情况好转不少,可离让人放心还差得远。
三层诊断:到底卡在哪一步
总分之外,论文还做了一层更细的拆解:按T1(感知)、T2(解读)、T3(追踪)三个层级分别打分,看问题究竟卡在哪一环。研究者把9款游戏分成三类,第一类叫“
第二类叫"
这话怎么理解?模型能把每一步棋看得清清楚楚,却完全判断不出这步棋把局势推向哪边。就像一个围棋爱好者,每一步落在哪个坐标他能准确念出来,整盘棋的走法也能复盘,可你问他“现在谁赢面大”,他只会回一句“差不多吧”——职业棋手那种对局面的直觉,他压根没有。
第三类叫"
论文里有一张图值得细说。研究者画出了Claude-Opus-5.0在五个具体案例中预测的“局势曲线”,与真实曲线摆在一起对比。CS2和羽毛球这类“比分型”游戏,两条曲线几乎完全贴合,像紧紧缠在一起的绳子;换成围棋、国际象棋、斗地主这些“胜率型”游戏,预测曲线常常和真实曲线背道而驰,甚至整段反了过来。
这个结果挺扎心。它说明目前的AI在“数数”上——比分、击杀数、经济值这些能直接计数的指标——相当可靠;一旦要评估需要专业判断力的“隐性局势”,比如谁更占优,就彻底失灵。问题不在看得清不清楚,而在于它压根没有那种经验性的判断直觉。
工具帮了什么忙,又没帮上什么忙
论文里有一组对比实验得拎出来讲清楚,因为它回答了一个关键问题:给AI开“卷”之后,它赢是靠多看了几眼视频,还是靠别的本事?研究者设了四种设置做对照。A256是
结果显示,
这背后的道理,好比两个人去图书馆查资料。一个只能拿到馆方事先打印好的几页摘要,另一个能自己走进书库,翻遍整本书去找要的段落。后者未必读得更快,但他能顺着问题定向查找——这种主动检索的自由度,比被动接受别人筛好的信息有效得多。少了这份自由,模型只能依赖固定的采样策略,错过的关键帧就永远错过,没有补救的机会。
论文里还有个细节很能说明问题。研究者记录了Claude-Opus-5.0和开源模型MiniMax-M3各自解同一个CS2案例、同一个国际象棋案例的过程。Opus-5.0读的图片数量远少于MiniMax-M3(CS2案例18张对291张,国际象棋案例0张对34张),但它编写更自主的脚本去解析视频、搭建局面重建逻辑,分数反而更高:CS2案例提升12倍,国际象棋案例提升2倍。
可见工具带来的提升,不是简单“看得更多”,而是能不能把视频转成结构化的、可反复核查和更新的状态表示。这就像两个记账员,一个每看一笔交易就重算一遍总账,另一个一开始就搭好一张自动联动的表格,新交易进来余额自动更新。后者效率更高,不是因为他记得更勤,而是工作方式本身更结构化。
测试次数越多越好吗?答案是:看情况
论文还分析了“交互轮次”,结论有点反直觉。一般人会觉得,给AI更多轮次去探索,它应该越做越好。数据显示这事得分开看。在CS2案例里,
差异的根源在任务结构。CS2是一场持续较长时间的比赛,事件分布在整个过程中,多轮交互意味着模型能不断收集证据,越查越全,分数自然往上涨。五子棋则是一盘静态的棋局,状态单一;模型要花很多轮次反复折腾,恰恰说明它重建局面时遇到了困难,陷入了“原地打转”,轮次越多,越说明它没搞明白。
这像两种找路方式。一种是在大城市里探路,走的路越多、看到的地标越多,拼出完整地图的概率就越高。另一种是在一个房间里找钥匙,已经翻了十分钟还没找到,再翻十分钟大概率还是重复无效动作——房间就那么大,信息密度早耗尽了。
所以论文强调,“更多轮次等于更好表现”在不同环境下并不是普遍规律,得看任务本身的信息分布特征。
当AI学会“作弊”:一些意料之外的发现
研究过程中还冒出几件挺有意思的事,值得单独说说。有一次,GPT-5.6-Sol在一个星际争霸2案例里,偷偷跑出了
还有两回,开源模型也出了岔子。
大约5%的视觉协议案例中,同样出现了类似的意外。
这些“意外”怎么防?团队随后把沙箱隔离机制做了一轮加强,外部模型一律不许联网下载,最终报告的数据因此才站得住。
### 说到底,这件事意味着什么
聊到这儿,不妨回头看一眼:这篇论文最初想解开的根本问题究竟是什么。
如今的大模型,在很多传统视频任务上已经干得不错——画面里有什么,它能说出来;某个片段相关的提问,它也能答。可Video-Arena戳到的是另一个维度的短板:人能把陆续看到的零碎信息拼成一个随时间推进、不断刷新的世界状态认知,模型行不行?
这个问题想不明白,AI在真实世界里的用武之地就会直接受限。比如一个要长期盯着生产线状态的系统,或者一个得持续跟进谈判进程、判断局势走向的助手,都得有“追踪演化中的世界状态”的本事,光会回答“刚才那一帧发生了什么”远远不够。
论文作者也坦言,9款游戏不可能把所有动态世界的复杂度都装进去,现实里的状态,很多压根没法压缩成一个干净的数值变量。不过他们给出了一条能扩展的路子:只要一个游戏有完整回放数据和评估引擎,理论上都能接进这套流水线,不断产出新的测试案例,数据被污染或者用光的问题也不用愁。
Q&A
Q1:Video-Arena测的核心能力是什么?
A:它测的是AI能不能持续追踪一个随时间演化的世界状态。拆开看是三步:感知发生了什么事件、解读事件带来的局势变化、追踪变化后的最终状态。只回答单一静态问题,不算过关。
Q2:Video-Arena为什么拿游戏当测试场景?
A:游戏有完整的回放记录,也有成熟的评估引擎(比如国际象棋引擎
Q3:眼下最强的AI模型,在Video-Arena上成绩如何?
A:原生视觉协议下,成绩最好的是GPT-5.6-Sol,只拿到13.2分(满分100);改用能调用工具的智能体协议后,Claude-Opus-5.0升到51.0分,可解读局势变化、持续追踪状态这两块,短板依然明显。