清华米哈游等团队测试AI看视频:最强模型仅得13.2分

资讯 腾讯网 作者:腾讯网 全文 4288 字 · 约 11 分钟读完 分类学术研究大模型

你有没有想过一个问题:AI 看视频到底是在看什么?如果你给一个大模型放一盘国际象棋的对局录像,让它说出"白方在第29步用象吃掉了黑方的马,这步棋让白方占据优势",它能做到吗?这听起来像是最基础的视频理解任务。但一支由清华、中科院、香港大学和游戏公司米哈游组成的研究团队做了一个实验,结果让人意外:目前最强的...

所属频道 模型发布前沿研究

有个问题不知道你想过没有:AI 看视频的时候,究竟在看些什么?

假设把一盘国际象棋的录像交给一个大模型,要求它讲明白“白方在第29步用象吃掉了黑方的马,白方由此占了上风”,它能答上来吗?

听着像最基础的视频理解题。清华、中科院、香港大学和米哈游组成的研究团队做了实验,出来的结果出人意料:当下最强的大模型,这类任务只拿到13.2分(满分100)。

论文名为《Video-Arena》。它不教 AI 下棋,棋局只是考题,真正要测的是一个更根本的问题:AI 能不能像人那样,盯住一个不断变化的世界不放。

### 难在什么地方

先把前提说清楚:现在那些视频理解测试,大多测错了方向。

市面上流行的视频 benchmark(基准测试),就是用来统一标准、给不同 AI 模型打分比较的标准化测试集。

Video-MME、LongVideoBench 这些知名测试集就是例子。很多题目靠一帧画面、一句字幕就能猜中,甚至完全不看视频也能蒙对。好比考试问“第37页第3行写了什么”,答案其实已经在题干里露出来了,书根本不用翻。

研究者给这个问题起了个名字叫“

追问随之更深一层:到底什么才算真正测出了“理解动态世界”的能力?

认知科学提供了一条线索。人理解一件连续发生的事,会走三步:先感知发生了什么,再把新信息并进原有认知、更新判断,最后让这个判断在脑子里持续维持。论文据此设了三个任务层级:感知(

拿看球打个比方。足球直播看到一半你去了趟厕所,回来问朋友“刚才怎么样了”。朋友只答“进了一个球”,这是感知层面的信息。他要是说“这球让主队从落后变成反超”,那是解读。他再补一句“现在比分2比1,主队领先”,这才叫追踪。三样缺一样,你对比赛的把握都是残的。

现有 benchmark 的盲区正在这里。它们大多只测“感知”(视频里发生了什么),“解读”和“追踪”有没有跟上,很少系统地测。

### 拿游戏当考场,标准答案现成

那考场为什么选游戏,不选真实世界的视频?

因为真实世界的状态往往“

游戏就不同了。

这相当于配了一位永不犯错的阅卷老师。“这步棋走得好还是坏”不用雇人来判,引擎直接给出精确的胜率数字。

研究团队据此搭了一条自动化流水线:输入一场比赛的记录文件,系统自动生成视频,同时算出三类标准答案——事件发生了什么(T1,感知)、事件带来什么局势变化(T2,解读)、变化之后谁领先(T3,追踪)。出题不用人工写,标注不用请人做,也不必另找一个大模型当裁判。

游戏记录来源

流水线最终覆盖9款游戏:围棋、国际象棋、五子棋、斗地主、CS2、DOTA2、星际争霸2、谷歌研究足球模拟器、羽毛球。每款抽20个案例,凑成180题的“黄金测试集”。为什么定在180题?团队要平衡两件事:覆盖面得广到能代表不同类型(棋牌类、射击类、策略类、体育类),跑一遍的成本又得控制住。论文里提到,用智能体工具做一道 CS2 题,大约花30分钟、74次工具调用、32美元;九个模型跑完180题、两种协议,总开销接近1.8万美元。

### 两种考法:让 AI“裸考”还是“开卷”

论文设了两种评测协议,这是整篇研究里最有意思的设计之一。

第一种叫"

第二种叫"

两种协议的差别,相当于让学生做两种考试。头一种是闭卷:监考老师只把题目相关的几张幻灯片翻一遍,看完就得答,不许回头再看。第二种是开放式项目作业:工具自己带,原始资料可以反复查,还能写代码辅助计算,只要最后交出一份完整的作业文件。

如果不设计这两种协议,会漏掉什么?只测第一种,就分不清AI的短板是“看不清”还是“想不明白”;只测第二种,工具的能力和模型自身的理解力又会混在一块,到底是谁在起作用就说不清了。两种协议对照着看,问题才能拆开。测下来的结果,两边差距很大。

这组对比指向一件事:让大模型“裸看”视频去理解一个动态世界,眼下它基本等于失明。把工具递过去,情况好转不少,可离让人放心还差得远。

三层诊断:到底卡在哪一步

总分之外,论文还做了一层更细的拆解:按T1(感知)、T2(解读)、T3(追踪)三个层级分别打分,看问题究竟卡在哪一环。研究者把9款游戏分成三类,第一类叫“

第二类叫"

这话怎么理解?模型能把每一步棋看得清清楚楚,却完全判断不出这步棋把局势推向哪边。就像一个围棋爱好者,每一步落在哪个坐标他能准确念出来,整盘棋的走法也能复盘,可你问他“现在谁赢面大”,他只会回一句“差不多吧”——职业棋手那种对局面的直觉,他压根没有。

第三类叫"

论文里有一张图值得细说。研究者画出了Claude-Opus-5.0在五个具体案例中预测的“局势曲线”,与真实曲线摆在一起对比。CS2和羽毛球这类“比分型”游戏,两条曲线几乎完全贴合,像紧紧缠在一起的绳子;换成围棋、国际象棋、斗地主这些“胜率型”游戏,预测曲线常常和真实曲线背道而驰,甚至整段反了过来。

这个结果挺扎心。它说明目前的AI在“数数”上——比分、击杀数、经济值这些能直接计数的指标——相当可靠;一旦要评估需要专业判断力的“隐性局势”,比如谁更占优,就彻底失灵。问题不在看得清不清楚,而在于它压根没有那种经验性的判断直觉。

工具帮了什么忙,又没帮上什么忙

论文里有一组对比实验得拎出来讲清楚,因为它回答了一个关键问题:给AI开“卷”之后,它赢是靠多看了几眼视频,还是靠别的本事?研究者设了四种设置做对照。A256是

结果显示,

这背后的道理,好比两个人去图书馆查资料。一个只能拿到馆方事先打印好的几页摘要,另一个能自己走进书库,翻遍整本书去找要的段落。后者未必读得更快,但他能顺着问题定向查找——这种主动检索的自由度,比被动接受别人筛好的信息有效得多。少了这份自由,模型只能依赖固定的采样策略,错过的关键帧就永远错过,没有补救的机会。

论文里还有个细节很能说明问题。研究者记录了Claude-Opus-5.0和开源模型MiniMax-M3各自解同一个CS2案例、同一个国际象棋案例的过程。Opus-5.0读的图片数量远少于MiniMax-M3(CS2案例18张对291张,国际象棋案例0张对34张),但它编写更自主的脚本去解析视频、搭建局面重建逻辑,分数反而更高:CS2案例提升12倍,国际象棋案例提升2倍。

可见工具带来的提升,不是简单“看得更多”,而是能不能把视频转成结构化的、可反复核查和更新的状态表示。这就像两个记账员,一个每看一笔交易就重算一遍总账,另一个一开始就搭好一张自动联动的表格,新交易进来余额自动更新。后者效率更高,不是因为他记得更勤,而是工作方式本身更结构化。

测试次数越多越好吗?答案是:看情况

论文还分析了“交互轮次”,结论有点反直觉。一般人会觉得,给AI更多轮次去探索,它应该越做越好。数据显示这事得分开看。在CS2案例里,

差异的根源在任务结构。CS2是一场持续较长时间的比赛,事件分布在整个过程中,多轮交互意味着模型能不断收集证据,越查越全,分数自然往上涨。五子棋则是一盘静态的棋局,状态单一;模型要花很多轮次反复折腾,恰恰说明它重建局面时遇到了困难,陷入了“原地打转”,轮次越多,越说明它没搞明白。

这像两种找路方式。一种是在大城市里探路,走的路越多、看到的地标越多,拼出完整地图的概率就越高。另一种是在一个房间里找钥匙,已经翻了十分钟还没找到,再翻十分钟大概率还是重复无效动作——房间就那么大,信息密度早耗尽了。

所以论文强调,“更多轮次等于更好表现”在不同环境下并不是普遍规律,得看任务本身的信息分布特征。

当AI学会“作弊”:一些意料之外的发现

研究过程中还冒出几件挺有意思的事,值得单独说说。有一次,GPT-5.6-Sol在一个星际争霸2案例里,偷偷跑出了

还有两回,开源模型也出了岔子。

大约5%的视觉协议案例中,同样出现了类似的意外。

这些“意外”怎么防?团队随后把沙箱隔离机制做了一轮加强,外部模型一律不许联网下载,最终报告的数据因此才站得住。

### 说到底,这件事意味着什么

聊到这儿,不妨回头看一眼:这篇论文最初想解开的根本问题究竟是什么。

如今的大模型,在很多传统视频任务上已经干得不错——画面里有什么,它能说出来;某个片段相关的提问,它也能答。可Video-Arena戳到的是另一个维度的短板:人能把陆续看到的零碎信息拼成一个随时间推进、不断刷新的世界状态认知,模型行不行?

这个问题想不明白,AI在真实世界里的用武之地就会直接受限。比如一个要长期盯着生产线状态的系统,或者一个得持续跟进谈判进程、判断局势走向的助手,都得有“追踪演化中的世界状态”的本事,光会回答“刚才那一帧发生了什么”远远不够。

论文作者也坦言,9款游戏不可能把所有动态世界的复杂度都装进去,现实里的状态,很多压根没法压缩成一个干净的数值变量。不过他们给出了一条能扩展的路子:只要一个游戏有完整回放数据和评估引擎,理论上都能接进这套流水线,不断产出新的测试案例,数据被污染或者用光的问题也不用愁。

Q&A

Q1:Video-Arena测的核心能力是什么?

A:它测的是AI能不能持续追踪一个随时间演化的世界状态。拆开看是三步:感知发生了什么事件、解读事件带来的局势变化、追踪变化后的最终状态。只回答单一静态问题,不算过关。

Q2:Video-Arena为什么拿游戏当测试场景?

A:游戏有完整的回放记录,也有成熟的评估引擎(比如国际象棋引擎

Q3:眼下最强的AI模型,在Video-Arena上成绩如何?

A:原生视觉协议下,成绩最好的是GPT-5.6-Sol,只拿到13.2分(满分100);改用能调用工具的智能体协议后,Claude-Opus-5.0升到51.0分,可解读局势变化、持续追踪状态这两块,短板依然明显。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com 知网CNKI AI 学术研究助手 CNKI AI学术研究助手,是大模型时代同方知网全面拥抱AI、赋能科研创新的全新探索,是推进问答式增强检索和… 知识管理 · cnki.net HyperWrite AI 超写是一款个人AI写作助手,利用先进的AI技术帮助您更智能、更快捷、更轻松地完成写作、沟通和研究任务。提供数… 聊天对话 · hyperwriteai.com Hix AI hix ai官网,一款全面的AI驱动写作助手,提供超过120种工具用于内容创作、编辑和优化 简介 HIX.A… 聊天对话 · hix.ai BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  2. 南开大学综述:AI做研究,三项决策权在谁手里?

    新智元报道 你让AI自动设计一种新的推理算法:它能读论文、写代码、跑实验,还能根据结果不断修改方案。看起来,整个研究过程已经交给了AI。但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定,那么AI真正掌握了多少研究决策?它是在替人做实验,还是已经开始决定如何做研究?最近,南开大...

    来源 腾讯网
  3. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
  4. 百望股份CEO王强宇:AI财税产品如何落到任务链上

    企业把大模型接进产品之后,新的经营问题才刚刚展开。客户提出一项任务,系统能拿到哪些信息,由谁核准结果,出现例外时如何处理,都会影响AI能否持续投入使用。产品演示中的能力,需要经由完整的服务过程才能转化为客户价值。 王强宇出任百望股份首席执行官(CEO),为观察这项变化提供了一个具体切口:王强宇如何将百望的财税场景积累转

    来源 AI 行业观察
  5. 百度词元所上线首日:供应商增超100家,客户接入破1000家

    【环球网科技综合报道】11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使.

    来源 腾讯网
  6. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  7. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  8. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  9. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  10. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  11. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  12. Anthropic花34亿美元买发电机:AI算力争夺战打到电力端

    据英国《金融时报》11月8日报道,Anthropic在9月下旬与位于德克萨斯州圣安东尼奥的设备供应商OnePWR Solutions完成一笔交易,以34亿美元(约合人民币227亿元)锁定1.7吉瓦重型发电机供货,用于数据中心的电力供给。 更早之前,AI基础设施公司Crusoe于4月向密苏里州ProEnergy订购13台

    来源 AI 行业观察
  13. Deedy Das 榜单:30家百亿美元AI独角兽,中国公司进前十

    11月15日,硅谷老牌风投机构Menlo Ventures合伙人Deedy Das(@deedydas)在社交平台晒出一张全球AI公司估值与营收排行榜。 Menlo Ventures成立于1976年,是硅谷历史最悠久的风险投资机构之一,曾投资Uber、Chime等知名科技公司。近年来,这家机构将AI作为重点投资方向,投

    来源 AI 行业观察
  14. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  15. Qwen4-Max-Preview实测:阿里旗舰放弃跑分,转向编程与Agent

    11月11日,阿里最擅长的卖货日。这一次被摆上货架打一折的,是千问第四代旗舰大模型。上午10点,千问官方甩出一句“Qwen4 is coming”,随后 Qwen4-Max-Preview 在 Token Plan、千问 App、Qoder 等全系端口同步亮灯。支持文本、图像与视频输入,100万上下文窗口,单次最大输出

    来源 腾讯网
  16. 40核老服务器无显卡跑通2.8万亿参数Kimi K3,傲腾内存成关键

    在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。 挑战硬件极限:巨型大模型遇上老旧服务器 作

    来源 AI 开发者社区
向下滚动自动加载更多