GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

资讯 腾讯网 作者:机器之心 全文 1993 字 · 约 5 分钟读完 配图 1 张 分类前沿模型KimiGPTGPT-6OpenAI深度求索

修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

所属频道 大厂动态ChatGPT 与 GPT开源生态

修 bug、写功能、跑长任务,如今这些 Agent 基本都拿得下。原因在于任务都配了文字说明,做错了还有测试报错兜底。

可要是规则只画在图里,情况会怎样?

一张黑白线稿,标着几个编号、几条箭头。没有题干,没有选项,做对做错也没人提醒。

线索全藏在图里,很难转成文字,只能一遍遍看图、提出假设、再回到图中核对。这就是长程视觉推理。

8 个前沿模型、3480 次尝试:最强的

更戏剧性的是,只要用一句话把规则点破,总体准确率马上从 12.2% 升到 51.1%。

近日 Einsia AI 旗下 Visual Cipher Bench。

40 道原创视觉谜题,67 张黑白线稿,它考的是

  • 视觉评测大多是

  • Agent 评测基本都集中在文本和代码上,即便涉及图像,也能通过试错拿到环境反馈

  • Visual Cipher Bench 两边都不提供:线索只存在于图里,对错也无人告知

40 道题共用一句指令:看图,把最终答案写进文件。

哪些图形是样例、哪些是待解的输入、答案该写单词还是数字,全得自己判断。

40 道题分成四类,每类 10 道:

  • 空间操作与模拟:折叠、旋转、投影之后是什么样子

  • 逻辑约束与规划:从图中读出约束条件,走通唯一的方案

  • 规则归纳:从几个样例中悟出这道题独有的规则

  • 知识解码:辨认摩斯码、盲文、文字游戏这类“暗号”

  • 论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning

  • 项目主页:https://lab.einsia.ai/visual-cipher-bench/

  • arXiv:https://arxiv.org/abs/2611.16861

  • GitHub:https://github.com/Einsia/Visual-Cipher-Bench

成绩单:榜首不到三成,三个模型 0 分

8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排名:

  • GPT-6 Astra(max),平均每轮解出 40 题中的 10.7 道

  • GPT-6.1 Sol(max)

  • GPT-6 Luna

  • DeepSeek V4.1 Flash 等 29 个配置全部登场,结果没有一个摸到 30% 这条线。

中间地带也不存在:前三名每轮能解 8.7~10.7 题,后五名几乎为零。

规则归纳

29 种配置 × 40 道题 × 各跑 3 遍,累计 3480 次尝试。按题型拆开看,偏科偏得离谱:

  • 空间操作:22.8%

  • 知识解码

  • 逻辑规划:2.4%

  • 规则归纳

榜首

在

区别只有一处:空间题的规则一般直接画在图上,照着做就行;

更扎心的是,那 5 次里还有靠蒙的。这些谜题的答案大多是一个英文单词或短语;有的模型压根没找到规则,只是手头凑出的几个字母刚好能拼成一个和题面主题沾边的词,就交了上去,碰巧对了而已。

一句核心规则提示,准确率从12.2%提升到51.1%

既然卡在 “找规则”,那直接把规则告诉它呢?

Einsia AI 研究团队挑了 10 道题,给 GPT-6 Astra、GPT-6.1 Sol 等模型各加一句核心规则提示,总体准确率从 12.2% 升到 51.1%。

  • 规则归纳

  • 分模型看,GPT-6 Astra 从 23.3% 升到 70.0%,GPT-6.1 Sol 从 13.3% 升到 66.7%。

  • 超时次数也降了:90 次尝试里,从 51 次减到 29 次。

那会不会单纯是"多说一句"在起作用?团队另设了一组对照:提示里只写"题目状态该怎么表示",规则一字不提,结果准确率停在 16.7%。

起作用的不是提示,是规则本身。

不过规则也不是万能药:逻辑题给了规则也只有 22.2%,因为对于这些,执行本身就是困难。

AI 的两种输法:赌徒和苦力。翻开失败的轨迹,输家只有两种。

赌徒型:押一把就交。只找到能解释部分样例的规则,其余样例直接跳过;实在看不出门道,就照题面主题随便押一个词,甚至有人一边写着"没解完"一边把卷交了。

苦力型:死磕到底。工具调用并不缺,缺的是收手——不是在通用规则里翻个遍,就是明明摸到了对的机制,却把各种组合逐一枚举,题目的约束摆在那儿也不用。时间耗尽,答案依旧没解出来。

赢家两样都不做,而是先写下几个候选规则,把每个样例当成一道验证题逐一筛,只剩一个才动手求解。

赌徒的做法是只抓一部分证据就下注,苦力则用穷举来顶替证据。问题是,图里那些样例本身,就是测试用例。而真实世界从来不给你现成的题干。

只需一句话提示,准确率便从 12.2% 升到 51.1%。不少情况下,AI 与答案之间差的正是这一句话。

可这句话恰恰最难得到。文档会把需求写下来,测试会报出错误,真实世界却一声不吭——眼前这堆线条该按什么规则去读,没人会提前告诉你。

于是只能自己看、自己猜,再回到图里自己验证。

从“看图找不同”到密室逃脱,人类一直用解谜来衡量聪明程度。如今 AI 也站到了这把尺子前,第一次量出的成绩是:26.7 分。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  2. OpenAI开放内部接受四家机构审查,最大RL训练成重点

    传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内

    来源 AI 行业观察
  3. OpenAI新模型因安全延期:GPT-6.2还要等多久

    OpenAI也终于活成了2022年谷歌的样子: 预告和承诺一波接一波,新模型却迟迟不见踪影,GPT-6.2更是一拖再拖。 而背后的核心原因,又是“安全”。 一则流传甚广的“已删”贴文中,OpenAI工程师Joe爆料: OpenAI已经成了全世界最把安全当回事的公司之一。OpenAI现在是一家安全公司。 那意思就是,在O

    来源 AI 行业观察
  4. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  5. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  6. 理格万物俞涛论文:具身智能该由谁定S0/S1/S2标准

    给“机器人战场”建立新坐标。 作者: 壹小姐 编辑: Koji‍ 排版: NCon具身智能赛道,语言大模型和具身大脑模型两派,越来越融合成一条路线。11 月 16 日,关于 OpenAI 存续仅 166 天的机器人团队被撤销的报道铺天盖地。OpenAI 的潜台词是:“模型够强了,机器人不需要再单独搞”。此前,11 月

    来源 腾讯网
  7. 腾讯Hy4 flash实测:两毛钱让AI从零做出3D交互网页

    11 月初,腾讯 Hy4 发布,新模型在大模型竞技场上一跃升至开源第一。排在 Hy4 前面的三个模型分别是 GPT-6 Sol(Max)、Claude Opus 5(Max)和 Fable 5(High),附近还有 GPT-6.1 Terra、GPT-5.6 Sol 等一众强劲的闭源模型。我们此前在 WorkBuddy

    来源 腾讯网
  8. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  9. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  10. Take-Two CEO 批评 Anthropic、OpenAI:别放任用户用 AI 克隆游戏

    IT之家 11 月 17 日消息,《GTA 6》即将迎来期待已久的发售,Take-Two CEO 施特劳斯 · 泽尔尼克近日批评 Anthropic、OpenAI 等公司,认为它们放任用户利用生成式 AI 抄袭和仿制现有游戏。 生成式 AI 在游戏开发中的应用一直饱受争议,近几个月来,AI 仿制游戏的问题愈发突出。一些

    来源 AI 行业观察
  11. de Souza 谈 AI 代读:知识判断的责任该由谁承担

    研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论

    来源 AI 行业观察
  12. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  13. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  14. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  15. 奥尔特曼回应英伟达风波:我也被解雇过,AI行业扛得住吗

    当地时间11月16日,OpenAI首席执行官山姆·奥尔特曼表示,他相信AI行业能够挺过英伟达首席执行官黄仁勋上周离任所引发的不确定性。“收入和需求增长如此强劲,我认为行业会没事的,”奥尔特曼周一在在旧金山举行的Semafor“硅谷与世界”大会上表示。他补充称:“不过,我认为黄仁勋发挥了极其特殊且有价值的作用,他以卓越.

    来源 腾讯网
  16. DeepSeek因算力不足限额;AI演员代言美瞳被罚6.82万余元

    今日头条腾讯发文:已到生死存亡时刻11月16日,腾讯对外公布总办LinkTime现场笔记。面对AI巨浪,在这场深度发声里,腾讯总办以“心态归零”为主题,用“生死存亡”“迅速上船迎战”“打破山头”等词汇定调,言辞之间,透露出很强的危机感与变革急迫性,并对内部的组织积弊与员工心态亮出了态度。“现在进行的智能革命如果不投入拥

    来源 腾讯网
  17. DeepSeek App与网页版限额:长对话超7天不活跃不再保留?

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。此外,还会限制每日的对话额度,当用户日使用量达到上限时,

    来源 腾讯网
  18. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
  19. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  20. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  21. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  22. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  23. 奥特曼谈黄仁勋离职:AI需求强劲,行业前景不会受实质影响

    OpenAI 首席执行官 山姆·奥特曼 在近日举办的 [Semafor 的硅谷与世界] 活动上公开表态,称尽管 英伟达 前首席执行官 黄仁勋 近期因个人丑闻离职,但整体人工智能行业不会受到实质性影响。奥特曼指出,当前 AI 市场需求依然旺盛,实际应用价值清晰且收入与需求正保持强劲增长,整体行业前景向

    来源 AI 开发者社区
向下滚动自动加载更多