AI看数据视频，到底行不行？一个新基准给出了答案

你有没有刷到过那种新闻视频，画面里数字一边跳动，柱状图一边往上窜，主持人的声音和图表的变化严丝合缝地对上节奏？彭博社、纽约时报、Vox 这类媒体现在特别爱做这种内容。它有个名字，叫数据视频。

这种视频看起来挺简单的，不就是图表加动画加配音吗？但如果你让一个号称无所不能的多模态大模型去"看懂"一段数据视频，会发生什么？

**答案是：最强的模型也只能答对七成。**

这事儿本身就挺让人意外的。毕竟现在的大模型在静态图表理解上已经做得不错了，看一张柱状图回答"哪个类别最高"这种问题，准确率能到百分之八九十。可一旦图表动起来，变成了一段连续的视频，模型的表现就开始掉链子。

这篇来自香港科技大学（广州）团队的论文,叫 DataVista,专门做了这么一件事：造了一个全新的评测基准,找来 961 个真实世界的数据视频,出了 6775 道题,然后让 19 个主流多模态大模型挨个去考。结果发现,这些模型在"看图说话"这件事上,比我们想象的要吃力得多。

数据视频*：一种把数据可视化和视频叙事结合起来的媒体形式，通过动画、配音、场景切换，把数据故事讲给观众听的视频。你能在新闻报道、商业分析、科普讲解里经常见到。

为什么现有的评测体系都不够用

你可能会想,这事儿有啥难的,不就是"视频理解"加"图表理解"的结合体吗?业界不是已经有 Video-MME、MVBench 这些视频理解基准,也有 ChartQA、VisJudge-Bench 这些图表理解基准了吗？

问题就出在这个"结合"上。

Video-MME*：一个覆盖多种视频内容和输入模态的综合评测基准，主要测试模型对一般视频内容的理解和推理能力。

ChartQA*：一个针对静态图表的问答基准，测试模型能否从单张图表中读出数值、趋势这些信息。

现有的视频理解基准,关注的是动作识别、场景切换、因果关系这些"一般视频"里的东西,它们不太在乎图表里具体的数字对不对。而现有的图表理解基准,测试的对象永远是一张孤立的、已经裁剪好的图片,模型不需要在一堆画面里先找到图表在哪儿。

但数据视频恰恰把这两件事的难度叠加在了一起。

想象你在看一段讲全球失业率变化的新闻视频。一开始屏幕上可能是一段记者站在街头的采访画面,过了十几秒才切到一张折线图,图表只停留三四秒钟又切走了,过了一分钟后半段又出现一张柱状图,和前面那张折线图的数据有关联。你要回答"从年初到年中失业率变化了多少个百分点",你得先从满屏幕的镜头里把那两张图表找出来,记住它们的位置和时间点,还要搞清楚它们说的是不是同一件事,最后才能做减法。

这跟直接给你一张图表让你读数字,完全是两种难度。

**就好比考试,一道是直接给你一页写好的数学题让你算答案,另一道是让你先在一本几百页的小说里翻出藏在某两页的两个数字,再做同样的计算。**

如果没有把"找证据"这一步单独拿出来考察,那测出来的根本不是模型理解数据视频的能力,只是测它读图表的能力,这两者在数据视频的场景下完全不是一回事。

DataVista 到底在考什么

团队没有简单粗暴地堆一堆问题,而是参照教育学里经典的布鲁姆认知分类法,把理解一段数据视频需要的能力拆成了三个递进的层次。

布鲁姆认知分类法*：一套经典的教育评估框架,把认知能力从低到高排序,从"记住""理解"一路到"分析""评价",常被用来设计考试和课程目标。

第一层叫数据感知,说白了就是"看得准"。模型得能在视频的连续画面里定位到相关的图表,然后读出里面的具体数值、识别出这是柱状图还是折线图、坐标轴写的什么、图例对应什么颜色。这一层不要求你记住画面出现的先后顺序,纯粹考验基本功。

第二层叫时序推理,这一层开始要求跨时间、跨图表地整合信息了。比如你得追踪某个指标是怎么随时间变化的,得把两张不同时间出现的图表拿来做对比甚至做算术,还得判断哪些证据能支撑视频里提出的某个因果关系,或者找出支撑视频核心论点的关键证据。

第三层叫叙事理解,这是最难的一层,考的是你能不能看懂创作者是怎么组织这个故事的。比如识别视频用了什么样的叙事模式,理解图表设计和动画是怎么为传达信息服务的,假设某个设计被换掉会怎样,以及对整段视频的呈现质量做一个综合判断。

这三层底下细分成了十种具体的题型,从基础的"数据事实读取""图表元素识别",到中级的"跨时间变化""跨图表比较""因果推理""论证综合",再到高级的"叙事结构""视觉传达意图""反事实分析""质量评估"。

这个设计思路其实挺讲究的。它不是简单地把问题分成"容易"和"难",而是对应了人理解一段信息时真实会经历的认知阶梯:先看清楚,再想明白关系,最后琢磨背后的用意。

**这就像教一个孩子读懂一则新闻报道。第一步是让他认清楚文章里提到的具体数字和专有名词,第二步是让他理解这些事件之间谁影响了谁、先后顺序是什么,第三步才是让他去想作者为什么要用这种方式写、想让读者得出什么结论。如果跳过前两步直接问第三层的问题,孩子大概率是蒙的,就算蒙对了也说明不了他真的理解了。**

这套三级框架让研究者能精确地定位模型"卡"在哪一层,而不是笼统地说"模型不太行"。

这 961 个视频是怎么来的

团队从 YouTube 上收集了 5604 个候选视频,涵盖彭博社、纽约时报 The Upshot、Vox 这样的专业媒体,也包括教育频道和独立创作者。经过数据驱动程度、可视化元素是否突出、信息传达意图是否清晰这三条标准的筛选,最后留下了 961 个。

这些视频覆盖经济、社会、科学、政治、文化五大主题,时长从 28 秒到 15 分钟不等,中位数大约 5.6 分钟。为了降低"模型提前背过这些视频的答案"的风险,团队特意让约 68.5% 的视频发布时间在 2025 年 6 月之后,相对比较新。

数据污染*：指评测用的数据恰好出现在模型训练语料里，导致模型不是真正理解了内容，而是提前记住了答案，使评测结果虚高失真。

光有视频还不够,配套的 6775 道题是怎么出的,这个过程也挺费工夫。五位有数据视频制作或可视化研究经验的标注者,先让 Gemini-3-Flash 对每个视频做初步的结构化提取,把图表片段、关键数据点、叙事阶段、论证章节都标出来,相当于给标注者递了一份草稿。标注者再逐帧核对、补充遗漏、标记时间戳,然后才动手写题干、选项、答案。

这里有一个很值得说的设计,叫文本过滤。

团队先把所有候选题目的题干和选项(不带视频、不带字幕)丢给 Gemini-3-Flash,让它纯靠读文字去蒙答案。如果模型蒙对了,说明这道题压根不需要看视频就能答对,这种题会被直接筛掉。结果筛掉的题目比例高达 75.5%。

这个比例说明原始设计出来的题目里,有大量是可以靠常识或者语言模式猜出答案的,根本没有测到视频理解能力。团队又用五个不同家族的代表模型做了交叉验证,发现被筛掉的题目,模型纯文本作答的正确率比留下来的题目高出 22.9 到 32.2 个百分点,这个差距相当明显,说明这套过滤机制确实抓住了"容易被蒙对"的题目。

**这就好比出一张语文阅读理解试卷,如果某道题不看文章光看选项就能选对,那这道题根本测不出学生有没有认真读文章,必须换掉。**

过滤完之后还有一轮人工审核,四名没参与出题的审核员,两两交叉检查题目表述、答案是否有视频证据支撑、干扰项是否合理。最终 80.1% 的题目直接通过,15.4% 经修改后通过,还有 4.5% 被彻底淘汰。

19 个模型大比武,结果怎么样

团队测了 19 个主流多模态大模型,5 个闭源的(Gemini、GPT、Claude 系列),14 个开源的(Qwen3-VL、Qwen2.5-VL、InternVL 系列)。

主要评测设定是给模型 50 帧从视频里均匀采样的画面,加上题干和选项,不给音频,分有字幕和无字幕两种情况。

结果最强的是 Gemini-3.1-Pro,综合准确率 70.0%。排第二的是 GPT-5,67.4%。

这个数字看起来还行?别急,拿人类专家的表现一对比就不是这么回事了。六名评估者完整看视频、听原声回答同样的题目,综合准确率达到 91.7%,比最强模型还高出 21.7 个百分点。

更有意思的是分层来看。人类在第一层数据感知上准确率高达 97.1%,几乎是满分水平,说明读图表这事儿对人来说真的不难。模型里表现最好的 Gemini-3.1-Pro 在同一层也能到 81.8%,差距是 15.3 个百分点。

但到了第三层叙事理解,人类保持在 86.8%,模型里最好的成绩却只有 59.2%,差距一下子拉大到 27.6 个百分点。

**这就好比让一群人看同一本侦探小说。认字这件事大家水平都差不多,谁都能读出字面意思。可一旦问到"凶手为什么要这样设计这个局",普通读者和真正的推理高手之间的差距就彻底显现出来了。模型在"认字"层面已经逼近人类,但在"品出弦外之音"这件事上,还差着一大截。**

最强的开源模型是 Qwen3-VL-32B,综合准确率 57.3%,比闭源第一名落后 12.7 个百分点。如果开启它的"思考模式",准确率能提到 62.9%,但提升主要集中在时序推理那一层,叙事理解几乎没有改善。

字幕和帧数,到底能帮上多大忙

团队还做了一系列细致的对照实验,想搞清楚给模型加字幕、增加采样帧数,到底在哪些方面能帮上忙。

先看字幕。给 19 个模型统一加上字幕后,综合准确率中位数提升了 3.1 个百分点,最明显的是 Qwen3-VL-32B,提升了 5.1 个百分点。但这个提升不是雨露均沾的。

具体拆开看,字幕对第二层时序推理的帮助最大。团队做了一个对照实验,只给模型题目和帧画面(不含字幕),再对比加上字幕后的变化,发现时序推理这一层的平均准确率从 52.6% 提升到 59.1%,涨了 6.5 个百分点,而第一层数据感知只涨了 2.9 个百分点,第三层叙事理解只涨了 2.4 个百分点。

为什么字幕对时序推理帮助这么大?因为很多关键的数值变化、时间节点信息,画面上一闪而过,但解说词里会反复提及或明确讲出来。比如某个百分比的涨幅,图表上可能没来得及清楚展示,解说员却直接说出了具体数字。

再看帧数。团队对比了 8 帧、16 帧、32 帧、50 帧四档采样密度,发现增加帧数对第一层数据感知帮助最大,从 8 帧到 32 帧,平均准确率提升了 11.6 个百分点。但对第二层只提升了 4.7 个百分点,对第三层只提升了 2.1 个百分点。继续加到 100 帧,第一层还能受益,第二第三层却不再有稳定提升。

这两组实验合在一起说明了一个挺重要的事实:给模型"看得更清楚""听得更明白",能解决基础的读数和追踪变化问题,但没法解决理解整个故事的深层逻辑。

**这就好比给一个学生更清晰的课本插图,再给他配上详细的课堂录音转文字稿。这确实能帮他把每一页的具体知识点记得更牢,但没法替他想明白整本书的中心思想是什么。如果以为"信息越全,理解越深",那就想简单了。理解深层逻辑需要的不是更多原始素材,而是更强的整合和推理能力,这是两件不同的事。**

模型到底错在哪儿

团队专门挑出 Gemini-3.1-Pro 答错的 120 个案例,一条条人工分析错误原因,归成三大类。

第一类是感知错误,占 47.5%。里面最常见的是数值和文字读错,比如把任天堂 Wii 前三年销量读成 4500 万,实际上是大约 2000 万。这类错误意味着哪怕相关画面就摆在眼前,模型还是读错了数字。

第二类是推理错误,占 42.5%。这里头纯算术出错的很少,只占 0.8%,更常见的是"证据判断"出了问题,占到 37.5%。什么意思呢?模型其实已经正确读出了图表上的事实,但在判断"这个事实是否支持某个因果关系或者某个论点"的时候犯了错。换句话说,模型能看懂一棵一棵的树,但串不起整片森林的逻辑。

第三类是指令理解错误,占 10.0%。模型不是读错了图表,而是没听清题目的限定条件。比如题目问的是某个特定时间段的数据,模型却给了全年的数据,或者题目明确说只能用图表证据,模型却把解说词里提到的数字也算了进去。

论文里举了个很典型的例子。有道题问的是从 2026 年 1 月的低点到 2 月的高点涨了多少,Gemini-3.1-Pro 被图表上更醒目的"一年涨幅 111.91%"这个数字吸引,直接把这个答案抄了上去,完全没有去计算题目实际问的那个区间的涨幅。

这暴露了一个挺有意思的现象:多模态模型在处理视觉信息时,容易被画面上最显眼、字号最大的数字牵着走,而忽略掉题目里藏着的具体限定条件。

**这就像你去超市买东西,货架上最大最醒目的价签写着"年度特惠价",但你真正要比较的其实是"这周和上周的差价"。如果你的眼睛只盯着那个加粗加大的标签,很容易就把它当成了答案,完全忘了自己原本要算的是另一回事。**

原生视频输入能不能解决问题

既然采样帧和字幕都有局限,那干脆给模型完整的视频加原声音频,效果会不会好很多?

团队用 Gemini-3.1-Pro 和 Gemini-3-Flash 做了这个实验。结果显示,完整音视频输入下,Pro 的综合准确率是 73.5%,Flash 是 68.9%,确实比只给 50 帧画面要好,但离人类的 91.7% 还是差了一大截。

更关键的是,在第三层叙事理解上,两个模型分别只有 59.4% 和 55.9%,跟人类的 86.8% 之间的鸿沟几乎没怎么缩小。

这说明一个道理:信息完整度的提升,边际收益是会递减的,尤其是在理解"为什么这样讲故事"这种更高阶的认知任务上。

团队还发现一个反直觉的细节:给了完整音视频之后,某些题目模型反而答错了。比如一道关于行业财富排名的题,给 50 帧画面时模型正确识别出时尚零售业排第二,但给了完整音视频之后反而答成了制造业。这说明问题根本不在"有没有看到证据",而在于模型读取已有证据的稳定性本身就有问题。

写在后面

读完这篇论文,我印象最深的其实不是模型答错了多少题,而是那个 75.5% 的过滤比例。

这意味着,如果没有这道文本过滤的工序,原本设计出来的题目里,四分之三都是可以靠蒙猜或者常识答对的。这件事提醒我一个更普遍的道理:很多我们以为在测试"AI 是否理解了某种内容"的基准,实际上可能大部分都在测试"AI 是否擅长猜题"。这个坑不只存在于数据视频领域,任何涉及多模态理解的评测设计,都该先问一句,这道题离开了那张图、那段视频,是不是照样能蒙对。

还有一个细节值得单独说一下。那个"读错 2016 年峰值当成 2024 年数值"的案例,其实暴露了一种更深层的毛病,模型处理时间序列信息时,没有建立起稳固的时间锚点。它可能在空间维度上(这是个柱状图,这个颜色代表什么)做得不错,但在时间维度上(这个数字属于哪一年)反而更容易出错。这和人类的认知习惯恰好相反,我们通常对"最近发生了什么"记得很清楚,反而容易在空间细节上出错。这种错位挺值得深挖的,它可能指向视频类多模态模型在架构设计上,对时间信息的编码方式还有改进空间。

这篇论文留了个悬念没有展开,就是这些模型错误背后的根源,到底是视觉编码器本身没把时间信息编码好,还是语言模型那一侧在整合多帧信息时丢了东西。如果是前者,那得从模型结构下手,如果是后者,也许靠更精细的提示词工程就能缓解一部分。这个问题,留给后来者去拆解了。

Q&A

Q1：DataVista是什么？

A：DataVista是香港科技大学（广州）团队推出的首个专门针对数据视频理解的评测基准，包含961个真实世界的数据视频和6775道评测题目，用三级能力框架考察多模态大模型读图表、追踪时序变化、理解叙事结构的能力。

Q2：目前表现最好的AI模型在数据视频理解上能达到什么水平？

A：表现最好的是Gemini-3.1-Pro，综合准确率70.0%，但仍远低于人类专家91.7%的水平，尤其在因果推理和叙事结构理解这两类题目上表现最差。

Q3：给AI模型加字幕或增加采样帧数，能不能提升它理解数据视频的能力？

A：能提升一部分，但效果有限。增加帧数主要提升基础的图表读数能力，加字幕对追踪时序变化帮助最大，但两者对理解视频背后的叙事逻辑和设计意图几乎没有明显帮助。