Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?

资讯 AI 行业观察 全文 2073 字 · 约 6 分钟读完 配图 10 张 分类ClaudeOpusAnthropic大模型

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

所属频道 大厂动态模型发布Claude 与 Anthropic
Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 1)

想象一下,我们正在看一场篮球赛,一边看一边向大模型提问。开场先问:“刚才那次突破得分的是谁?”模型报出了球员名字。接着又聊了几轮别的回合,我们再追问:“最早聊到的那名球员,这场球最后拿了多少分?”模型得先从先前回答里把那个人找回来,再对着比赛信息确认得分。哪怕它看得懂最终数据,只要把“那名球员”认错了,答出来也是驴唇不对马嘴。


看电影也差不多。先聊了开头某一幕,后来又说到别的角色和情节。几轮过后,我们指着当前画面里的一个角色问:“这个角色,在我们最开始聊的那一幕里出现过吗?”模型要先想起最初说的是哪一幕,再判断该角色有没有出现在那一幕。光看懂眼前这一帧,显然不够用。


真实对话里,这种追问很常见。它要求模型把眼下的问题和之前的对话挂上钩:前一个例子要找回早先答案里定下的人物,后一个例子要找回最初讨论的那一幕。


悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联手提出了 VideoMemBench,盯的就是大模型在围绕同一段视频连续对话时,能不能记住并正确用上前面聊过的信息。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 2)


  • 项目主页(Project):https://videomembench.github.io/

  • 论文(arXiv):https://arxiv.org/abs/2610.40131

  • 代码(GitHub):https://github.com/Oliiveralien/VideoMemBench

  • 数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data

  • 论文标题:VideoMemBench: How Well Do MLLMs Remember in Video Conversations?


眼下不少视频问答评测用的是一道道彼此独立的问题:模型看着视频、对着眼前这道题就能作答,未必需要翻对话历史。VideoMemBench 换了个做法,把问题串成前后有联系的多轮对话,让后面的回答必须用上前面已经立起来的信息,重点看两种依赖。


头一种是场景依赖(Episodic Dependency):问题回指此前聊过的某一幕时,模型得靠对话锁定所指的片段,再借助画面回答新问题。第二种是答案依赖(Answer Dependency):问题顺着模型先前认出来的人物、物体或事件往下追,模型要接着自己已经给出的回答做判断。一个盯的是先前看过的场景,一个盯的是先前给出的答案。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 3)

图 2 展示的是同一段视频里的多轮问答,靠场景依赖和答案依赖串在一起。


这些问题是不是真得翻前文才能答?团队设了 Planner、Generator、Judger 三类角色,分别管依赖规划、问答生成和质量检查,所有保留下来的对话再交给人工专家复核。查的重点有两条:把相关历史抽掉,问题就该答不出确定结果;当前问题也不能把前文里的场景或答案直接复述出来。另外,参考答案必须能在视频画面里找到依据。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 4)


数据集最后收了 326 段视频、2,476 轮问答,其中 1,387 轮得靠前文才能答。跨多轮的回指有,同时依赖好几条历史信息的问题也有。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 5)

图 4 是数据集的规模和分布;(d) 里 1,089 指独立轮数,1,200 和 594 分别是两类依赖的边数。


评测覆盖 25 个模型。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序一轮一轮给出,每个模型之前生成的回答都留在上下文里。结果是:Claude Opus 5 综合得分 45.7,Gemini 3.8 Flash 42.4,Kimi K3 42.2,GPT-5.6-sol 41.7,Qwen3.5-27B 34.3。综合得分排在前列的模型见下表。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 6)

图 5 列出按综合得分排序的前 11 个模型,各项指标按百分制呈现。


综合得分是逐轮回答、场景依赖、答案依赖三项指标的平均。答案依赖的计分更严,用的是链式规则:当前这轮答对还不够,它依赖的那些历史答案也得全对。说白了,这项指标看的是整条回答链靠不靠得住。成绩最好的 Claude Opus 5,在答案依赖上也只拿到 35.7%。


分析还发现一个规律:要回指的内容隔得越远,或者得同时对上好几轮历史信息,模型答对的概率往往越低。把所有受测模型放在一起算平均,依赖距离从 1 轮拉到至少 5 轮时,这类依赖题的准确率就从 30.2% 掉到 23.1%。


反过来,把模型早前生成的回答换成正确答案,后面那些依赖历史信息的问题,表现就明显好转。换句话说,前面答错会拖累后面的判断;历史信息准确,接下来的对话才撑得住。


Claude Opus 5仅45.7分:25个大模型视频记忆考验暴露了什么?(配图 7)


VideoMemBench 想推的一件事,是让模型把视频对话里已经聊过的信息用得更充分,这样连续追问、跨场景讨论才能接得上、靠得住。对视频助手来说,看懂当前画面之外,能不能接住前面说过的话,同样该认真测一测。


图片



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. TML开源新模型,循环Transformer架构,笔记本就能跑

    编辑|Panda昨晚,黎曼猜想的一份 AI 证明声明,把大模型的推理能力再次推到聚光灯下。Anthropic 数学家 Levent Alpöge 宣称,自己与 Claude 合作找到了证明,并公布了形式化材料。虽然这项声明仍待独立核验,但已经让人们重新追问:AI 究竟能完成多复杂的工作?而刚刚,Thinking Mac

    来源 腾讯网
  2. Anthropic数学家阿尔波格称与Claude合作完成黎曼猜想证明

    IT之家 11 月 20 日消息,据《科学美国人》报道,当地时间 20 日,Anthropic 数学家莱文特 · 阿尔波格宣称,自己与 AI 模型 Claude 合作,攻克了数学界最著名的难题之一 —— 黎曼猜想。阿尔波格在个人网站发表声明称:“我相信,我与 Claude 合作找到了黎曼猜想的证明。”IT之家注:黎曼猜

    来源 腾讯网
  3. 数学家称用Claude证明黎曼猜想

    2026年11月20日,一条消息让全球数学圈彻夜难眠。 美国人工智能公司Anthropic的数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站发布声明,称他与AI模型Claude合作,找到了黎曼猜想的证明。 cryptobriefing 这道难题从1859年悬置至今已有167年,也是美国克雷数学研究所悬赏百

    来源 AI 行业观察
  4. Claude合作证明黎曼猜想:Lean已完成形式化验证

    Anthropic数学家Levent Alpöge发文称,他与Claude合作发现了黎曼猜想的一个证明,并称相关方法还可推广至广义黎曼猜想,未来或进一步解决扩展黎曼猜想。他表示,团队已使用Lean证明助手对论证进行了形式化验证,并公开了相关代码。Alpöge称,证明涉及大量数论工具,包括Stepanov方法、傅里叶分析

    来源 AI 行业观察
  5. Claude Opus5.5跑Singularity-Bench:延迟12秒降至半秒

    人工智能智能体能否自己动手搭建和强化 AI 研发基础设施,正在成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等机构的研究人员近日推出了 Singularity-Bench 基准测试,专门设置六道与 AI 研发相关的考题,考察智能体自主构建 AI 研发能力的水平。在这场测试中,Claude Opu

    来源 AI 开发者社区
  6. Claude推理引擎实测:首token延迟从12秒压到0.48秒

    人工智能智能体能否自主搭建并强化AI研发基础设施,正成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等推出Singularity-Bench基准,设六道AI研发考题,考察其自主构建能力。测试中,Claude Opus5.5搭配Claude Code表现亮眼,在模型推理性能层实现延迟大幅压缩,并通过调度优化提升硬件产出

    来源 AI 产业速递
  7. Anthropic登陆纳斯达克,专家郑天航直言大模型安全评估体系尚不成熟

    当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司,在美国纳斯达克交易所挂牌上市,首次公开募股融资金额超810亿美元,超过Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大IPO。从成立之初,Anthropic就强调自己与其他AI公司的不同之处在于“安全和责任”

    来源 腾讯网
  8. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  9. Anthropic上市首日市值破2万亿:25位华人员工分享造富盛宴

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 图虫创意AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。

    来源 腾讯网
  10. Claude宣称证出黎曼猜想:1700万行代码,数学家先要验真

    11月20日,Anthropic数学家Levent Alpöge称在Claude帮助下找到黎曼猜想及广义黎曼猜想的证明,但未发表完整论文,仅公布约1700万行的Lean形式化证明证书。截至11月21日,该主张尚未经独立专家完整审查,克雷数学研究所的奖金评定还要求在同行评审期刊发表并经过至少两年审查。

    来源 凤凰科技
  11. Claude 解决两项黑洞物理难题,验证量子引力相变特性

    Anthropic 研究员利用 Claude 智能体团队,在六周内解决了理论物理学中两个长期未决的黑洞问题。一是证实霍金-佩奇相变在量子尺度下依然突发,二是算出模自举法的精确质量上限。这项研究展示了 AI 在处理复杂数学推导和发现数值模式方面的潜力,为量子引力理论探索提供了新工具。

    来源 AI 应用前沿
  12. Anthropic纳斯达克上市:七位联创各拥近200亿美元

    作者 | 余生 来源 | 邱处机 五年前,七个人因为对AI安全的执念,集体从OpenAI出走。五年后,他们用一家名叫Anthropic的公司,在纳斯达克写下了一夜造富的神话。 11月19日,Claude母公司Anthropic正式登陆纳斯达克,股票代码“ANT”。发行价定在每股83美元,远高于此前70至78美元的区间上

    来源 AI 行业观察
向下滚动自动加载更多