GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?
修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480
修 bug、写功能、跑长任务,如今这些 Agent 基本都拿得下。原因在于任务都配了文字说明,做错了还有测试报错兜底。
可要是规则只画在图里,情况会怎样?
一张黑白线稿,标着几个编号、几条箭头。没有题干,没有选项,做对做错也没人提醒。
线索全藏在图里,很难转成文字,只能一遍遍看图、提出假设、再回到图中核对。这就是长程视觉推理。
8 个前沿模型、3480 次尝试:最强的
更戏剧性的是,只要用一句话把规则点破,总体准确率马上从 12.2% 升到 51.1%。
近日 Einsia AI 旗下 Visual Cipher Bench。
40 道原创视觉谜题,67 张黑白线稿,它考的是
视觉评测大多是
Agent 评测基本都集中在文本和代码上,即便涉及图像,也能通过试错拿到环境反馈
Visual Cipher Bench 两边都不提供:线索只存在于图里,对错也无人告知
40 道题共用一句指令:看图,把最终答案写进文件。
哪些图形是样例、哪些是待解的输入、答案该写单词还是数字,全得自己判断。
40 道题分成四类,每类 10 道:
空间操作与模拟:折叠、旋转、投影之后是什么样子
逻辑约束与规划:从图中读出约束条件,走通唯一的方案
规则归纳:从几个样例中悟出这道题独有的规则
知识解码:辨认摩斯码、盲文、文字游戏这类“暗号”
论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
项目主页:https://lab.einsia.ai/visual-cipher-bench/
arXiv:https://arxiv.org/abs/2611.16861
GitHub:https://github.com/Einsia/Visual-Cipher-Bench
成绩单:榜首不到三成,三个模型 0 分
8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排名:
GPT-6 Astra(max),平均每轮解出 40 题中的 10.7 道GPT-6.1 Sol(max)
GPT-6 Luna
DeepSeek V4.1 Flash 等 29 个配置全部登场,结果没有一个摸到 30% 这条线。
中间地带也不存在:前三名每轮能解 8.7~10.7 题,后五名几乎为零。
规则归纳
29 种配置 × 40 道题 × 各跑 3 遍,累计 3480 次尝试。按题型拆开看,偏科偏得离谱:
空间操作:22.8%
知识解码
逻辑规划:2.4%
规则归纳
榜首
在
区别只有一处:空间题的规则一般直接画在图上,照着做就行;
更扎心的是,那 5 次里还有靠蒙的。这些谜题的答案大多是一个英文单词或短语;有的模型压根没找到规则,只是手头凑出的几个字母刚好能拼成一个和题面主题沾边的词,就交了上去,碰巧对了而已。
一句核心规则提示,准确率从12.2%提升到51.1%
既然卡在 “找规则”,那直接把规则告诉它呢?
Einsia AI 研究团队挑了 10 道题,给 GPT-6 Astra、GPT-6.1 Sol 等模型各加一句核心规则提示,总体准确率从 12.2% 升到 51.1%。
规则归纳
分模型看,GPT-6 Astra 从 23.3% 升到 70.0%,GPT-6.1 Sol 从 13.3% 升到 66.7%。
超时次数也降了:90 次尝试里,从 51 次减到 29 次。
那会不会单纯是"多说一句"在起作用?团队另设了一组对照:提示里只写"题目状态该怎么表示",规则一字不提,结果准确率停在 16.7%。
起作用的不是提示,是规则本身。
不过规则也不是万能药:逻辑题给了规则也只有 22.2%,因为对于这些,执行本身就是困难。
AI 的两种输法:赌徒和苦力。翻开失败的轨迹,输家只有两种。
赌徒型:押一把就交。只找到能解释部分样例的规则,其余样例直接跳过;实在看不出门道,就照题面主题随便押一个词,甚至有人一边写着"没解完"一边把卷交了。
苦力型:死磕到底。工具调用并不缺,缺的是收手——不是在通用规则里翻个遍,就是明明摸到了对的机制,却把各种组合逐一枚举,题目的约束摆在那儿也不用。时间耗尽,答案依旧没解出来。
赢家两样都不做,而是先写下几个候选规则,把每个样例当成一道验证题逐一筛,只剩一个才动手求解。
赌徒的做法是只抓一部分证据就下注,苦力则用穷举来顶替证据。问题是,图里那些样例本身,就是测试用例。而真实世界从来不给你现成的题干。
只需一句话提示,准确率便从 12.2% 升到 51.1%。不少情况下,AI 与答案之间差的正是这一句话。
可这句话恰恰最难得到。文档会把需求写下来,测试会报出错误,真实世界却一声不吭——眼前这堆线条该按什么规则去读,没人会提前告诉你。
于是只能自己看、自己猜,再回到图里自己验证。
从“看图找不同”到密室逃脱,人类一直用解谜来衡量聪明程度。如今 AI 也站到了这把尺子前,第一次量出的成绩是:26.7 分。