何恺明团队发布VISTA：Claude通关25款ARC-AGI-3游戏

在需要与人交互的视觉环境里，AI Agent 能不能做到像人那样去看、去想、去动手，并且在完全陌生的世界里靠一次次交互积累经验、不断学习？

ARC-AGI-3 就是用来检验这类本事的一个典型基准。它包含多款交互式视觉游戏，Agent 事先并不清楚规则是什么、目标是什么，只能一边和环境反复互动，一边自己摸索、逐渐摸清其中的门道。

眼下的主流做法是：先把画面转成文本或者结构化网格，再丢给大语言模型（LLM）去推理，同时配合程序合成，搭出一个能跑起来的世界模型。

要是让视觉-语言模型（VLM）直接处理画面，就会碰到几处麻烦。图像一般会被编码成视觉表征，而原始的视觉输入此后就不再留着了。这些被压缩过的表征，未必能保住后面推理需要的细节。上下文一旦逼近容量上限，早期的观察还可能被删掉，或者被换成文字摘要。更关键的一点在于，模型最初看画面的时候，根本不知道将来推理会用到哪些视觉信息。放到长程交互里，这就意味着 Agent 可能既“记不住”之前看到的东西，也没法把当时的视觉细节重新调出来，持续推理的能力因此受到限制。

深度残差网络（ResNets）之父、麻省理工学院（MIT）副教授何恺明团队为此提出了 VISTA——一个面向通用多模态模型的视觉 Harness。

论文链接：https://arxiv.org/pdf/2610.02200

VISTA 的核心思路是：让模型直接看渲染出来的画面，环境返回的每一帧都按原始形式无损存下来，动作产生的中间动画帧也在其中。模型随时能调出任意一帧历史画面，也能把其中任意区域放大，这样在长程交互中完整的视觉历史得以保留，还能根据当下的推理需要重新查看视觉细节。

图｜不同 Agent 设计的比较。

在 ARC-AGI-3 的 25 款公开游戏上，VISTA 把 Claude Opus 5.0 的相对人类行动效率（RHAE）得分从官方实现的 40.68 拉到了 100.00，全部通关。整个过程中 Agent 一共走了 7302 步，而首次游玩的人类参照组用了 17135 步，少了 57.4%。

论文称，VISTA 是首个不靠程序合成、仅凭视觉输入就能拿到满分表现的系统，有望成为一个通用的视觉 Harness，让多模态 Agent 在复杂视觉环境里走得更远。

一、研究方法

VISTA 的设计围绕一个核心判断：模型在编码画面的那一瞬间，并不知道哪些视觉信息之后会在推理中变得要紧，所以任何一次性的编码都可能把后来才需要的东西弄丢。

正因如此，VISTA 没有去改模型本身，而是在模型外面搭了一整套 Harness，相当于给模型装了一种“对交互历史的显式注意力机制”。这套 Harness 由三个核心组件构成：

视觉观察（Visual observation）。模型拿到的是环境渲染后的图像，不是文本化网格。物体长什么样、在什么位置，图像里都保留着，模型可以直接调用预训练阶段攒下的视觉先验来理解环境。

默认情况下，VISTA 收到的 PNG 图像为 512×512，由官方 64×64 帧经 8 倍最近邻上采样得来，每帧大约消耗 308 个图像 Token。做个对比，同样 64×64 的文本网格大约要 4000 个 Token。

无损视觉记忆（Lossless visual memory）。环境返回的每一帧都按原始形式存下来，动作触发的中间动画帧也不例外。每帧以“回合号 + 帧号”建索引，如 t67 f0–f5），在整个交互过程中一直可寻址。

这份记忆是独立于模型上下文存在的。哪怕上下文里的历史信息被压缩或者被拿掉，完整的视觉记录依然在。

视觉检查（Visual inspection），这是 VISTA 的核心机制。模型能沿着空间和时间两个维度主动去查视觉记忆。空间上，它可以挑任意一帧里的任意矩形区域，要一份放大后的视图，以全分辨率看清整幅图里难以辨认的局部；时间上，它能一次性调出任意早先回合的多帧画面，比对不同状态，还能借助中间动画帧把动作带来的变化回放出来。

另外，模型还能用 read pixels 工具，把选定区域内像素的精确 RGB 数值读出来。

图｜VISTA 的关键设计组分和每轮流程。

查不查、查哪几帧、查哪些区域，全由模型按当前推理需求自己拿主意。这样一来，模型就有了一种主动挑视觉证据的本事——需要的时候可以重新翻看过去的观察，也可以针对眼下这个问题把特定区域放大，而不必依赖最初那一次视觉编码留下来的信息。

具体流程上，模型和 Harness 之间靠多轮对话来交互。Harness 本身不含任何训练模型，它只干三件事：执行模型发出的工具调用、返回图像或像素值、报告无效请求。

每个游戏自始至终由同一个 Agent 完成。一个游戏回合里，Agent 可以和 Harness 来回交互多轮，然后再调 play 执行一个游戏动作。play 是唯一会消耗游戏行动的步骤，inspect 和 read pixels 都不计入游戏行动。

与此同时，Agent 维护两份笔记：GUIDE.md 记的是对游戏机制的持久理解，会在不同关卡之间接着用；WORKING.md 则是当前状态下的临时工作区。模型用自由格式的自然语言来推理，提出假设、预判行动结果，再根据新的观察修正理解与后续计划。当上下文快撑到容量上限时，Agent 会写一份简短的交接摘要，然后在一个全新的上下文里继续跑。这时 GUIDE.md、WORKING.md、视觉记忆以及动作历史都还留着。所有游戏共用同一个接口和同一段简短 Prompt，不需要按游戏单独定制。

二、实验结果

研究团队在 ARC-AGI-3 的 25 个公开游戏上对 VISTA 做了评估。评估指标 RHAE 拿 Agent 和首次玩的人类玩家比行动效率：完成关卡且行动数和人类基线打平，得 100%；行动更少，最高能拿 115%；行动更多，只拿部分分数；没完成的关卡记零分；越靠后的关卡权重越高。

测试成绩方面，VISTA 搭配 Claude Opus 5.0 拿到了 100.00 的满分 RHAE，搭配 GPT-5.6 Sol 则为 99.00；而同样这两个模型，在官方实现下只分别得到 40.68 和 13.33。跑 Claude Opus 5.0 的 VISTA 一共做了 7302 个行动，人类参考是 17135 个。

图｜对 25 款公开游戏的系统级比较。

消融实验里，团队把各个组件的作用逐一拆开看。按照下图，官方文本网格实现是 13.33 分；把观察方式换成图像，分数涨到 47.32；放宽动作与时间限制，来到 51.66；再加上持续对话和原生上下文压缩，升到 65.82；补上 GUIDE.md 与 WORKING.md 两份笔记，达到 70.05；引入无损视觉记忆与视觉检查后，分数一下跳到 94.10；最后加上像素读取，完整版 VISTA 落在 99.00。这几项里，无损视觉记忆与视觉检查的贡献最突出。

把两种观察表示摆在一起对比，视觉输入的优点同样看得出来。如下图，不管是在 RHAE 得分、总动作数，还是单个游戏的 token 消耗上，视觉输入都比文本网格更占优。

而且，VISTA 并不只对某一个模型、某一种渲染方式有效。换成开源模型 GLM-5.3 Flash 320B，VISTA 把分数从 1.89 拉到 66.93；一旦拿掉 inspect 和 read pixels 这两个工具，分数又掉回 13.27。把同样的游戏渲染成 3D 画面，VISTA 依然能拿到 84.12 分，只是完成任务要用的动作数从 9126 涨到了 20640。

团队还把同一套 Harness 做了最小改动，迁到 GameWorld、AI GameStore、BabyVision 三个新基准上。GameWorld 的 34 款浏览器游戏、170 个任务中，VISTA 成功率 63.3%，任务进度 79.3%，都超过第一次上手的人类玩家；AI GameStore 的 10 款游戏上，按人类中位数归一化后，得分几何平均值为 140.3，比人类基准的 100 还高；静态基准 BabyVision 的 39 道视觉追踪题，准确率也从官方实现的 41.0% 升到 63.2%。

三、不足与未来工作

这项研究当然也不是没有短板。

比如，模型本身够不够强，依旧是系统能否成功的关键。VISTA 提供的只是一种简单又有效的激发手段，它的意义在于和模型能力的进步相互补足。

另外，他们用的模型发布时间晚于相关公开基准，所以没法排除这些游戏已经进了模型训练数据的可能。往后如果能到 ARC-AGI-3 私有集这类全新游戏上做评估，对检验系统的泛化能力会更有帮助。

往大了看，VISTA 的结果点出了一个常被忽略的变量：多模态模型自身已经足够强的时候，怎么去组织观察和记忆，也会左右 Agent 在长程任务里的发挥。看什么、存什么，还有什么时候回头再看，都可能成为决定任务成败的关键。

在他们看来，VISTA 这种简单的设计，有潜力进一步扩展成游戏之外的通用视觉 harness。下一步，他们想把它用到更复杂、更真实的环境里，并在更贴近物理世界的具身任务等场景中继续验证有效性。

更多技术细节，详见原论文。