Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?
Claude Opus 5拿到45.7分,25个大模型视频记忆大考
想象一下,我们正在看一场篮球赛,一边看一边向大模型提问。开场先问:“刚才那次突破得分的是谁?”模型报出了球员名字。接着又聊了几轮别的回合,我们再追问:“最早聊到的那名球员,这场球最后拿了多少分?”模型得先从先前回答里把那个人找回来,再对着比赛信息确认得分。哪怕它看得懂最终数据,只要把“那名球员”认错了,答出来也是驴唇不对马嘴。
看电影也差不多。先聊了开头某一幕,后来又说到别的角色和情节。几轮过后,我们指着当前画面里的一个角色问:“这个角色,在我们最开始聊的那一幕里出现过吗?”模型要先想起最初说的是哪一幕,再判断该角色有没有出现在那一幕。光看懂眼前这一帧,显然不够用。
真实对话里,这种追问很常见。它要求模型把眼下的问题和之前的对话挂上钩:前一个例子要找回早先答案里定下的人物,后一个例子要找回最初讨论的那一幕。
悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联手提出了 VideoMemBench,盯的就是大模型在围绕同一段视频连续对话时,能不能记住并正确用上前面聊过的信息。
-
项目主页(Project):https://videomembench.github.io/
-
论文(arXiv):https://arxiv.org/abs/2610.40131
-
代码(GitHub):https://github.com/Oliiveralien/VideoMemBench
-
数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data
-
论文标题:VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
眼下不少视频问答评测用的是一道道彼此独立的问题:模型看着视频、对着眼前这道题就能作答,未必需要翻对话历史。VideoMemBench 换了个做法,把问题串成前后有联系的多轮对话,让后面的回答必须用上前面已经立起来的信息,重点看两种依赖。
头一种是场景依赖(Episodic Dependency):问题回指此前聊过的某一幕时,模型得靠对话锁定所指的片段,再借助画面回答新问题。第二种是答案依赖(Answer Dependency):问题顺着模型先前认出来的人物、物体或事件往下追,模型要接着自己已经给出的回答做判断。一个盯的是先前看过的场景,一个盯的是先前给出的答案。
图 2 展示的是同一段视频里的多轮问答,靠场景依赖和答案依赖串在一起。
这些问题是不是真得翻前文才能答?团队设了 Planner、Generator、Judger 三类角色,分别管依赖规划、问答生成和质量检查,所有保留下来的对话再交给人工专家复核。查的重点有两条:把相关历史抽掉,问题就该答不出确定结果;当前问题也不能把前文里的场景或答案直接复述出来。另外,参考答案必须能在视频画面里找到依据。
数据集最后收了 326 段视频、2,476 轮问答,其中 1,387 轮得靠前文才能答。跨多轮的回指有,同时依赖好几条历史信息的问题也有。
图 4 是数据集的规模和分布;(d) 里 1,089 指独立轮数,1,200 和 594 分别是两类依赖的边数。
评测覆盖 25 个模型。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序一轮一轮给出,每个模型之前生成的回答都留在上下文里。结果是:
Claude Opus 5 综合得分 45.7,Gemini 3.8 Flash 42.4,Kimi K3 42.2,GPT-5.6-sol 41.7,Qwen3.5-27B 34.3。综合得分排在前列的模型见下表。
图 5 列出按综合得分排序的前 11 个模型,各项指标按百分制呈现。
综合得分是逐轮回答、场景依赖、答案依赖三项指标的平均。答案依赖的计分更严,用的是链式规则:当前这轮答对还不够,它依赖的那些历史答案也得全对。说白了,这项指标看的是整条回答链靠不靠得住。成绩最好的 Claude
Opus 5,在答案依赖上也只拿到 35.7%。
分析还发现一个规律:要回指的内容隔得越远,或者得同时对上好几轮历史信息,模型答对的概率往往越低。把所有受测模型放在一起算平均,依赖距离从 1 轮拉到至少 5 轮时,这类依赖题的准确率就从 30.2% 掉到 23.1%。
反过来,把模型早前生成的回答换成正确答案,后面那些依赖历史信息的问题,表现就明显好转。换句话说,前面答错会拖累后面的判断;历史信息准确,接下来的对话才撑得住。
VideoMemBench 想推的一件事,是让模型把视频对话里已经聊过的信息用得更充分,这样连续追问、跨场景讨论才能接得上、靠得住。对视频助手来说,看懂当前画面之外,能不能接住前面说过的话,同样该认真测一测。