GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理

资讯 网易科技 作者:网易 全文 2441 字 · 约 7 分钟读完 配图 6 张 分类GPTGPT-6OpenAI

最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI

所属频道 大厂动态ChatGPT 与 GPT

修 bug、写功能、跑长任务,现在的 Agent 基本都能干。前提是任务带着文字说明,做错了还有测试报错兜着。

可要是规则只画在图里呢?

一张线稿,黑白的,上面标着几个编号、几条箭头。题干没有,选项没有,做对做错也没人吱声。

线索全在图里,很难翻成文字,只能一遍遍看图、提假设、再回图里对。这就是长程视觉推理。

8 个前沿模型、3480 次尝试:成绩最好的是 GPT-6 Astra(max),也只答对 26.7%;DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 三家一题都没对。

还有更戏剧性的一幕:规则只要用一句话挑明,总体准确率马上从 12.2% 升到 51.1%。

近日,Einsia AI 旗下 Navers Lab 发布了 Agent 视觉推理基准 Visual Cipher Bench。

GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理(配图 1)

它由 40 道原创视觉谜题、67 张黑白线稿组成,考的是长程视觉推理,卡的位置恰好是现有评测的空白处:

  • 视觉评测多为单轮问答,问什么写得明明白白,推理链也不长。
  • Agent 评测则基本围着文本和代码转,即使出现图像,也能靠试错从环境里拿到反馈。
  • Visual Cipher Bench 两边都不给:线索只在图里,对错无人告知。

40 道题共用一句指令:看图,把最终答案写进文件。

哪些图形是样例、哪些是要解的输入、答案该写单词还是数字,全得自己判断。

40 道题分成四类,每类各 10 道:

  • 空间操作与模拟:折叠、旋转、投影之后是什么样子。
  • 逻辑约束与规划:从图中读出约束条件,找出唯一走得通的方案。
  • 规则归纳:从几个样例里推断出这道题特有的规则。
  • 知识解码:识别摩斯码、盲文、文字游戏这类“暗号”。

GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理(配图 2)

  • 论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
  • 项目主页:https://lab.einsia.ai/visual-cipher-bench/
  • arXiv:https://arxiv.org/abs/2611.16861
  • GitHub:https://github.com/Einsia/Visual-Cipher-Bench

成绩单:榜首不到三成,三个模型挂零

测试覆盖 8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排名:

  • GPT-6 Astra(max):26.7%,平均每轮解出 40 题中的 10.7 道。
  • GPT-6.1 Sol(max)、Claude Opus 5.5(xhigh):并列 21.7%。
  • GPT-6 Luna、Claude Sonnet 5.5:0.8%,三轮共 120 次尝试,各自只对了 1 次。
  • DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro:0

29 个配置全算上,没有哪一个能越过 30% 这条线。

分档也很干脆:前三名每轮解出 8.7~10.7 题,后五名基本交白卷。

GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理(配图 3)

规则归纳这一块最惨——870 次尝试只对了 5 次。29 种配置、每种 40 道题、各跑 3 遍,合计 3480 次尝试,按题型拆开看,各家的偏科程度差得离谱:

  • 空间操作:22.8%
  • 知识解码:3.3%
  • 逻辑规划:2.4%
  • 规则归纳:0.6%

排在第一的 GPT-6 Astra(max)空间题能拿到 80%;可换成另外三类,所有配置都没超过 13.3%。

规则归纳一共 10 道题,870 次尝试里只对了 5 次。

差别就一条:空间题的规则往往直接画在图里,照着做即可;规则归纳得自己琢磨出来。

更扎心的是,那 5 次对题里还有蒙的。谜题答案多半是一个英文单词或短语,有些模型压根没找到规则,只是凑出的几个字母恰巧能拼成一个跟题面主题搭边的词,就交了上去,碰巧撞对。

GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理(配图 4)

只补一句核心规则提示,准确率就从12.2%升到51.1%。

既然卡在“找规则”这一步,那把规则直接告诉它呢?

Einsia AI研究团队选了 10 道题,分别给 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 加一句提示:只点明核心规则,不给中间状态,更不给答案。

  • 总体:12.2% → 51.1%
  • 规则归纳:0% → 85.2%
  • GPT-6 Astra:23.3% → 70.0%
  • GPT-6.1 Sol:13.3% → 66.7%
  • 超时次数:90 次尝试里,51 次降到 29 次

GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理(配图 5)

那会不会只是“多给一句话”起了作用?团队设了对照:另写一句只讲“怎么表示题目状态”、不提规则的提示,准确率只到 16.7%。

真正起作用的是规则本身,不是提示。

规则也不是啥都能治。逻辑题即便给了规则,正确率也只有22.2%——这类题难就难在,把规则执行下去本身就不容易。

翻看那些失败的轨迹,输的方式其实就两种:一是赌徒,二是苦力。

赌徒的做法是押一把就走。凑出一条只能解释部分样例的规则,剩下的连看都不看就提交;要是实在摸不出门道,就照着题面主题随便押一个词,有的还一边写着"没解完"一边把卷交了。

苦力则埋头算到底。工具调用并不缺,缺的是收网那一步:或者在通用规则里大海捞针,或者明明找对了机制,却把所有组合挨个枚举,偏偏不用题目给的约束去剪枝。时间耗光了,答案还是没解出来。

赢家这两样都不干。他们先写下几个候选规则,再把每个样例当成一道验证题逐一筛,筛到只剩一个才动手求解。

赌徒只用了部分证据,苦力拿穷举顶替证据。可图里那些样例,本身就是测试用例。

真实世界从来不给题干。而只要加上一句提示,准确率就能从12.2%跳到51.1%。

不少时候,AI和答案之间就差这一句话。难也难在这句话上:文档会写需求,测试会报错,真实世界却什么都不说,没人会提前告诉你,眼前这堆线条该按什么规则去读。

自己看、自己猜,再回到图里自己验证。长程视觉推理,就是AI接下来要补的课。从"看图找不同"到密室逃脱,人类一直用解谜来衡量聪明。如今轮到AI站到这把尺子前,第一次量出来的成绩是:26.7分。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  2. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  3. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  4. GPT-6可零样本操控机械臂:多校联合发布RoboRisk安全基准

    新智元报道 近年来,多模态基础模型凭借规模化带来的泛化能力,越来越多地被用作机器人的「大脑」,负责任务规划和动作决策。GPT-6 Astra发布后,研究者发现它可以零样本控制机械臂,甚至完成绘画这样的复杂任务;GPT、Claude、Gemini、Grok等主流模型都已支持即插即用的机器人控制。智能体机器人(agenti

    来源 腾讯网
  5. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  6. 于超:从MAPPO到具身智能,GPT-6后或迎Token时代?

    2022 年,一篇看似没有提出复杂新算法的论文,成为多智能体强化学习领域最有影响力的工作之一。这篇论文叫 MAPPO。研究者发现,只要把已有的强化学习算法 PPO 用好,调整训练和实现中的一些细节,就能在多智能体协作任务中取得相当出色的效果。这个结论如今看起来并不难理解,但在当时,学术界更看重新算法和理论创新,MAPP

    来源 腾讯网
  7. OpenAI开放内部接受四家机构审查,最大RL训练成重点

    传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内

    来源 AI 行业观察
  8. OpenAI新模型因安全延期:GPT-6.2还要等多久

    OpenAI也终于活成了2022年谷歌的样子: 预告和承诺一波接一波,新模型却迟迟不见踪影,GPT-6.2更是一拖再拖。 而背后的核心原因,又是“安全”。 一则流传甚广的“已删”贴文中,OpenAI工程师Joe爆料: OpenAI已经成了全世界最把安全当回事的公司之一。OpenAI现在是一家安全公司。 那意思就是,在O

    来源 AI 行业观察
  9. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  10. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  11. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  12. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  13. de Souza 谈 AI 代读:知识判断的责任该由谁承担

    研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论

    来源 AI 行业观察
  14. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  15. 腾讯Hy4 flash实测:两毛钱让AI从零做出3D交互网页

    11 月初,腾讯 Hy4 发布,新模型在大模型竞技场上一跃升至开源第一。排在 Hy4 前面的三个模型分别是 GPT-6 Sol(Max)、Claude Opus 5(Max)和 Fable 5(High),附近还有 GPT-6.1 Terra、GPT-5.6 Sol 等一众强劲的闭源模型。我们此前在 WorkBuddy

    来源 腾讯网
  16. 奥特曼谈黄仁勋离职:AI需求强劲,行业前景不会受实质影响

    OpenAI 首席执行官 山姆·奥特曼 在近日举办的 [Semafor 的硅谷与世界] 活动上公开表态,称尽管 英伟达 前首席执行官 黄仁勋 近期因个人丑闻离职,但整体人工智能行业不会受到实质性影响。奥特曼指出,当前 AI 市场需求依然旺盛,实际应用价值清晰且收入与需求正保持强劲增长,整体行业前景向

    来源 AI 开发者社区
  17. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  18. 奥特曼谈黄仁勋离职:AI行业需求强劲不会受冲击

    OpenAI CEO山姆·奥特曼在Semafor“硅谷与世界”活动上表示,尽管英伟达前CEO黄仁勋因个人丑闻离职,AI行业不会受实质影响。他认为AI市场需求旺盛、应用价值清晰,收入和需求强劲增长,行业前景向好。此次人事变动正值AI高速发展期,OpenAI与英伟达作为长期合作伙伴,过去十年关系紧密。

    来源 AI 产业速递
  19. 奥特曼谈黄仁勋:离开他,英伟达和AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 行业观察
  20. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  21. 华擎SkyOC被砍后:玩家用AI改BIOS,想让非K处理器再超频

    IT之家 11 月 17 日消息,据 Tom's Hardware 昨日报道,一名硬件超频爱好者尝试借助 AI 修改主板 BIOS,重新启用华擎此前已经取消的 SkyOC 技术,以绕过英特尔非 K 系列处理器的超频限制。 Hardware 360º 在 X 上发布消息称,他借助 ChatGPT Astra,对两个不同版

    来源 AI 行业观察
  22. 百度三季度营收308亿,53%靠AI

    智东西11月16日报道,刚刚,百度公布2026年第二季度财报。其第二季度营收为308亿元,同比下降1%,环比下降2%;归属于百度净利润13.95亿元,摊薄后每ADS收益为4.35元,非GAAP净利润24亿元,摊薄后每ADS收益为6.78元。

    来源 网易科技
  23. OpenAI曾拟50亿美元收购Goodfire:AI可解释性赛道价值重估

    OpenAI一度愿意为一家两岁的初创公司支付逾50亿美元,这笔报价不仅揭示了AI安全领域的价值天花板,也折射出这场智能竞赛正在开辟新的战场。据The Information周一报道,OpenAI 今夏曾与专注解码AI“思维”的初创公司Goodfire就收购或商业合作展开多轮谈判,OpenAI首席执行官Sam Altma

    来源 腾讯网
  24. OpenAI开放ChatGPT商家功能:AI当导购,零售流量入口生变

    ChatGPT上线新功能作为生成式AI的领头羊,ChatGPT每周约有12亿人使用。过去几年,ChatGPT让很多人习惯了有问题先问AI。现在,它转身又开辟一个新战场。近日,OpenAI宣布测试ChatGPT商家功能。通过验证的商家可以认领自己的主页,提交带价格和库存的商品目录。ChatGPT发布商家测试公告 图源:C

    来源 腾讯网
向下滚动自动加载更多