GPT-6 Astra仅26.7%:Einsia AI推Visual Cipher Bench考长程视觉推理
最强GPT-6 Astra只对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI
修 bug、写功能、跑长任务,现在的 Agent 基本都能干。前提是任务带着文字说明,做错了还有测试报错兜着。
可要是规则只画在图里呢?
一张线稿,黑白的,上面标着几个编号、几条箭头。题干没有,选项没有,做对做错也没人吱声。
线索全在图里,很难翻成文字,只能一遍遍看图、提假设、再回图里对。这就是长程视觉推理。
8 个前沿模型、3480 次尝试:成绩最好的是
GPT-6 Astra(max),也只答对 26.7%;DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 三家一题都没对。
还有更戏剧性的一幕:规则只要用一句话挑明,总体准确率马上从 12.2% 升到 51.1%。
近日,Einsia AI 旗下 Navers Lab 发布了 Agent 视觉推理基准 Visual Cipher Bench。

它由 40 道原创视觉谜题、67 张黑白线稿组成,考的是长程视觉推理,卡的位置恰好是现有评测的空白处:
- 视觉评测多为单轮问答,问什么写得明明白白,推理链也不长。
- Agent 评测则基本围着文本和代码转,即使出现图像,也能靠试错从环境里拿到反馈。
- Visual Cipher Bench 两边都不给:线索只在图里,对错无人告知。
40 道题共用一句指令:看图,把最终答案写进文件。
哪些图形是样例、哪些是要解的输入、答案该写单词还是数字,全得自己判断。
40 道题分成四类,每类各 10 道:
- 空间操作与模拟:折叠、旋转、投影之后是什么样子。
- 逻辑约束与规划:从图中读出约束条件,找出唯一走得通的方案。
- 规则归纳:从几个样例里推断出这道题特有的规则。
- 知识解码:识别摩斯码、盲文、文字游戏这类“暗号”。

- 论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
- 项目主页:https://lab.einsia.ai/visual-cipher-bench/
- arXiv:https://arxiv.org/abs/2611.16861
- GitHub:https://github.com/Einsia/Visual-Cipher-Bench
成绩单:榜首不到三成,三个模型挂零
测试覆盖 8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排名:
- GPT-6 Astra(max):26.7%,平均每轮解出 40 题中的 10.7 道。
- GPT-6.1 Sol(max)、Claude Opus 5.5(xhigh):并列 21.7%。
- GPT-6 Luna、Claude Sonnet 5.5:0.8%,三轮共 120 次尝试,各自只对了 1 次。
- DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro:0
29 个配置全算上,没有哪一个能越过 30% 这条线。
分档也很干脆:前三名每轮解出 8.7~10.7 题,后五名基本交白卷。

规则归纳这一块最惨——870 次尝试只对了 5 次。29 种配置、每种 40 道题、各跑 3 遍,合计 3480 次尝试,按题型拆开看,各家的偏科程度差得离谱:
- 空间操作:22.8%
- 知识解码:3.3%
- 逻辑规划:2.4%
- 规则归纳:0.6%
排在第一的 GPT-6 Astra(max)空间题能拿到 80%;可换成另外三类,所有配置都没超过 13.3%。
规则归纳一共 10 道题,870 次尝试里只对了 5 次。
差别就一条:空间题的规则往往直接画在图里,照着做即可;规则归纳得自己琢磨出来。
更扎心的是,那 5 次对题里还有蒙的。谜题答案多半是一个英文单词或短语,有些模型压根没找到规则,只是凑出的几个字母恰巧能拼成一个跟题面主题搭边的词,就交了上去,碰巧撞对。

只补一句核心规则提示,准确率就从12.2%升到51.1%。
既然卡在“找规则”这一步,那把规则直接告诉它呢?
Einsia AI研究团队选了 10 道题,分别给 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 加一句提示:只点明核心规则,不给中间状态,更不给答案。
- 总体:12.2% → 51.1%
- 规则归纳:0% → 85.2%
- GPT-6 Astra:23.3% → 70.0%
- GPT-6.1 Sol:13.3% → 66.7%
- 超时次数:90 次尝试里,51 次降到 29 次

那会不会只是“多给一句话”起了作用?团队设了对照:另写一句只讲“怎么表示题目状态”、不提规则的提示,准确率只到 16.7%。
真正起作用的是规则本身,不是提示。
规则也不是啥都能治。逻辑题即便给了规则,正确率也只有22.2%——这类题难就难在,把规则执行下去本身就不容易。
翻看那些失败的轨迹,输的方式其实就两种:一是赌徒,二是苦力。
赌徒的做法是押一把就走。凑出一条只能解释部分样例的规则,剩下的连看都不看就提交;要是实在摸不出门道,就照着题面主题随便押一个词,有的还一边写着"没解完"一边把卷交了。
苦力则埋头算到底。工具调用并不缺,缺的是收网那一步:或者在通用规则里大海捞针,或者明明找对了机制,却把所有组合挨个枚举,偏偏不用题目给的约束去剪枝。时间耗光了,答案还是没解出来。
赢家这两样都不干。他们先写下几个候选规则,再把每个样例当成一道验证题逐一筛,筛到只剩一个才动手求解。
赌徒只用了部分证据,苦力拿穷举顶替证据。可图里那些样例,本身就是测试用例。
真实世界从来不给题干。而只要加上一句提示,准确率就能从12.2%跳到51.1%。
不少时候,AI和答案之间就差这一句话。难也难在这句话上:文档会写需求,测试会报错,真实世界却什么都不说,没人会提前告诉你,眼前这堆线条该按什么规则去读。
自己看、自己猜,再回到图里自己验证。长程视觉推理,就是AI接下来要补的课。从"看图找不同"到密室逃脱,人类一直用解谜来衡量聪明。如今轮到AI站到这把尺子前,第一次量出来的成绩是:26.7分。