WildAWM让AI在合成电脑里学操作，跨界面任务难倒GPT-6 Astra

从 Agent World Model（AWM）到 WildAWM，这条线最近有了新进展。前沿实验室已经证明，RL 对 agent 性能的提升作用很大。可 agent 要在交互中学，就得和环境打交道。拿真实系统来练并不现实：环境没法大批量复制，状态也难以重置，agent 一旦点错，删掉的文件、发出去的邮件全是真的，还可能留下安全隐患。

今年 2 月，研究团队发布了 Agent World Model（AWM，ICML 2026）。world model 通常用神经网络模拟环境、预测下一个 state，把它当作环境来用；AWM 走的是另一条路——用代码和数据库合成可执行、可交互的环境，一共生成 1000 个，覆盖各类日常场景，专门服务于多轮调用工具的 agent 强化学习。只在这些合成环境里训练，模型在三个 OOD benchmarks 上都表现出不错的分布外泛化。

WildAWM 是这一系列的新工作。它面向通用的计算机使用 agent（computer-use agent，CUA），不再一个个合成工具环境，而是直接合成一整台个人电脑。

合成一整台电脑环境

真正的 computer-use agent 应当能访问这台电脑的任何界面，而不是被限定在某一种界面里。agent 可以用 CLI，像 coding model 那样用代码高效完成任务；也可以用 GUI，操纵鼠标、键盘访问图形界面网页；还可以接入 MCP service，发现便捷的软件 services（比如 email）。

网站、应用、MCP 服务和本地文件都待在同一台机器上，状态彼此相连。已有的合成方法大多把每个应用做成孤立环境，比如专门合成 terminal 环境的、专门合成网页环境的，等等。

WildAWM 里的每个环境，都对应着某个人的一台电脑。合成时先立一个虚构人物：把职业、联系人、常逛的网站、手上正忙的几件事定下来，再把这些事情铺成逐日安排。随后由一个 coding agent（GLM-5.2 加 OpenCode）按天把计划搭进环境，往数据库写记录，往文件夹塞文件；每天接着前一天的进度往下走，合成数据也就一天比一天多。网页、应用、数据统统是合成的，全放在本地，不用联网。

图 1: WildAWM 合成世界，包含 GUI web，MCP，CLI 三种 agent 常见的 computer-use 接口

为了不让这个世界前后对不上，每天的状态都要单独重放两遍，两遍结果完全一致，各项服务和网站也都跑得正常，这一天才算留下。另外还会拉起一个 agent，核对当天的数据跟计划是否吻合。整轮下来合成了 36 个人物、640 个世界状态。到最末一天，单个世界里平均有 17 万多条数据库记录、50 个左右本地文件，复杂度盖过同期做合成环境的那批工作。

高质量的合成 Task 是另一个难题

环境有了，接下来要在里面出题 Task。

WildAWM 合成的 Task 叫跨界面（cross-agent-interface, XAI）任务，每道题都必须用到 GUI、MCP 和 CLI 三种接口。

拿一道题来说：Jordan 要在 2 月 21 日跑半马，赛前想再确认跑表该买哪块。训练笔记里列着几款备选 GPS 手表，此前已经“定下”过一块，可 Jordan 想按比赛要用的标准重排一遍——GPS 精度、屏幕清不清楚、预算够不够。agent 先得写一段 python 脚本，把笔记里的候选表捞出来、排好序，存成文件。然后登录 Amazon，搜出来的手表可能不止一款，题目又不给型号，只描述外观（黑色圆形表壳，深色表带内侧有浅灰纹路），只能靠商品图来认。加入购物车之后，还得往本地日志补一条带日期的记录，写清选了哪块表、花了多少钱，最后在聊天应用里告诉好友 Naomi 挑的是哪一块。这道题要跨好几种 agent 界面才能做完，把合成环境用得很透。

这些任务平均包含 4.2 个子任务，要切换 3.1 次接口，74.5% 的任务做到中途还要回到之前用过的接口，有的需要超过 100 多步，是 long-horizon agent 任务。

图 2: agent 完成合成的任务需要横跨多种 computer-use 接口：CLI, GUI, 和 MCP

那么，怎样才能合成这样的高质量 task 呢？尤其是在不依赖任何闭源前沿模型的情况下，如何解决：

任务有效性 （Task Solvability），确保合成的任务是可以正常被完成的；

任务难度（Task Difficulty），确保合成的任务是有足够的难度的，毕竟市面上大多数的 benchmarks 都已经饱和，我们必须要合成足够难度的任务，比如难倒 GPT-6 Astra 的任务。

任务验证器的可靠性（Verifier Reliability），合成的 task 都有一个验证器，用于自动判定 agent 是否完成了任务，提供训练的奖励信号，必须确保足够准确和可靠，才能给出有效的 agent RL 强化学习信号。

图 3：WildAWM 的整体流程。左侧是合成世界，中间细讲合成任务分哪几个阶段，最右边则用合成好的环境、任务和验证器来做强化学习

WildAWM 的做法是在合成阶段就引入大量不同的 agent 去实际去尝试这些题目。研究团队使用 3 个开源模型（GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3），配上 6 种 agent harness，其中 OpenCode、Codex、Claude Code 是编程 agent，Nanobot、OpenClaw、Hermes Agent 是 claw agent。每次合成的 task 要跑至少 6 次，一半给提示。

每轮执行结束后，评价由三种验证方式给出：生成器自带的验证脚本（verifier）、LLM judge，以及一个权限最高、能亲自进入环境查看前后状态的 coding agent judge。三者的 test time 时间与算力依次递增，按说准确度也该越来越高。可 RL 训练需要的是高效验证器，通常就是一个脚本。研究者的目标因此很明确：让验证脚本 verifier 的准确度向 Agent Judge 看齐。

agent 的实际执行轨迹 trajectory 拿到手后，一道 Task 要连闯 5 关才算过关。第一关是评判一致：6 次执行里，verifier、LLM judge 和 agent judge 的结论必须完全相同。第二关看初始状态：agent 什么都不做时，verifier 必须判失败，防止出现一上来就“已完成”的题。第三关是可解性：6 次执行里至少得成功一次。第四关是难度：不给提示的 3 次如果全成功，说明题太简单，得改难一点。

第五关叫反事实探针。大模型有个毛病，容易顺着别人的话往下说。研究者故意把相反的结论摆给 agent judge，让它重新查；它要是因此改了判定，这次判定就不可靠，题目需要返工。

几道关卡筛下来，2,551 个任务草稿里最终留下 341 道合格题目。

图 4: 合成任务的漏洞，每过一道关卡，就会筛选掉很多不合格的 task

这批合成 Task 的质量究竟如何？先看能不能做（Task Solvability）。研究者拉来 24 种模型与框架的组合——前面 3 个开源模型加上闭源较强的 Opus-4.8，各配 6 种框架——来解这批题。每道题只要被一种组合做出来就算数，即便只用合成时那 3 个较弱的开源模型，也能拿下 95% 以上。

图 5: 合成的 Tasks 能够被多少 agent 解决：每个 task 都至少被一个 agent 成功解决，但没有一道能够被所有 agent 都解决

再看难不难（Task Difficulty）。合成阶段不给任何提示，agent 的平均成功率只有 21.3%，341 道题里有 273 道被标成难题。换到验证集上，GPT-6 Astra 第一次就做对的比例约为 Pass@1 60%；让它做 8 次，Pass@8 仍有 27.3% 的题一次都没做出来。WildAWM 完全使用开源模型，却能合成出让 GPT-6 Astra 都做不对的题（每道题都验证过可以被解决）。

图 6：各类模型在合成的 WildAWM 环境和 tasks 上的性能，右图展示了 Test time scaling 下的性能表现

最后看验证器（Verifier Reliability）。随机抽取 100 条 agent 执行记录（成功和失败的都有），验证脚本 Verifier 与 agent judge majority 投票的一致率为 95%，Cohen's κ 为 0.90。一个轻量验证脚本，判得和又重又贵的 agent judge 差不多准，RL 训练用的 reward 因此足够可靠。

图 7：Verifier 和 agent judge 的一致性评估

只在合成环境里训练，能不能泛化到真实世界？341 道题被分成三份：100 道用于 SFT，208 道用于强化学习，33 道留作验证测试集。训练先拿 GLM-5.2 在 SFT 那部分题上的 100 条轨迹做热启动，再跑最多 64 步强化学习，算法用 GRPO，训练两个 Qwen 模型（Qwen3.6-35b-a3b 和 Qwen3.5-4b)。

评测挑了 8 个训练时完全没见过的 OOD benchmarks，分三类：web agent（WebArena、Online-Mind2Web）、claw agent（QwenClawBench、ClawEval）、GUI computer-use agent（CUA-Gym、OSWorld-Verified、OSWorld 2.0、Agents' Last Exam）。

图 8：WildAWM 训练的模型在 8 个分布外 benchmarks 上的性能表现

两个 Qwen 模型在 8 个 benchmarks 上全部提升。Qwen3.6-35B-A3B 平均分从 42.84 涨到 53.42，提高 10.58 分；ClawEval、OSWorld-Verified、WebArena 和 CUA-Gym 上分别涨了 16.67、16.06、13.72 和 12.22 分。训练后它在 WebArena 上与 GLM-5.2 打平（67.26），在 Online-Mind2Web 上超过 GPT-5.5（80.77 对 72.22）。Qwen3.5-4B 平均分从 21.83 升到 30.04，提高 8.21 分。在 WildAWM 自己的 33 道验证测试集上，35B-A3B 的通过率从 5.68% 提到 35.98%，与 GLM-5.2（20x 的参数）的 37.88% 已经相差不远。

图 9：只在合成世界里训练后，Qwen3.6-35B-A3B 在每个 benchmark 上的涨幅

WildAWM 合成环境到底贡献了哪些 agent 能力？作者们为此做了更深入的研究，下面节选两个重要的研究：

5 道 Task 质量关卡，是否每一道都不可少？研究者逐一拿掉其中一道，再重新合成 SFT 数据去训练 Qwen3.5-4B，结果平均分无一例外往下掉，跌幅落在 2.60 到 9.30 分之间。其中作用最明显的是评判一致与初始未完成这两关。

图 10：WildAWM Task 合成 5 道关卡的消融实验结果

那 RL 强化学习训练又给 agent 带来了什么变化？一个变化是接口切换更频繁了：相邻两次工具调用之间换用不同接口的比例，由 18.4% 提高到 25.5%，已经接近 GLM-5.2。研究者据此认为，agent 对不同电脑接口的掌握更熟练了，面对不同需求时能挑出更合适的接口来完成任务。

RL 还让模型扛得住更长的任务。在 40 到 120 步这一区间，只做 SFT 的模型多解出 9.7 个百分点的题目，加上 RL 完整训练后则多解出 17.0 个百分点。不过 RL 并不能让模型越过 Teacher model 本身的能力上限：把任务按难度分桶后可以看到，经过 RL 训练，agent 的提升只出现在 easy、medium、hard 三档，teacher model GLM-5.2 本身都不会做的 hardest 题，它同样拿不下来。这一结果与当前主流研究的结论相符——RL 的作用是激发和重新排列组合 base model 已有的能力。

全部开源

目前 WildAWM 的合成流水线、341 个环境和任务、两个训练好的 Qwen 模型，以及整理成 Harbor 格式的数据集，已全部开源。从生成环境、出题到判分，整条链路只用开源模型，不依赖任何闭源的前沿模型，既可以直接拿来用，也能复现。

研究团队认为，这给开源模型趟出了一条路：自行合成可不断扩充的环境与高质量任务，在其中自己学习、反复迭代，最终成长为强大的通用 computer-use agent，全程不借助闭源模型，也就避开了间接蒸馏。在他们看来，这为开源模型打下了 Recursive Self-Improvement（RSI）的基础。