微软WildAWM造36人合成电脑世界，训练Qwen模型8项评测全提升
sina qqZone renren ydCloud 0
GPT-6 Astra 那手 computer-use agent（CUA）的电脑操作本事是怎么练出来的？微软研究院（Microsfot Research）联合北卡罗来纳大学教堂山分校（UNC-Chapel Hill）、佐治亚理工大学（Gatech）与美国东北大学（Northeastern University）的研究者，拿出了新成果 WildAWM。
论文题目为 Agent World Model in the Wild: Computer-Use Agent Environment Synthesis。
- 论文标题：Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
- arXiv 链接：https://arxiv.org/abs/2610.26828
- 项目主页：https://msr-orchard.github.io/WildAWM/
- 开源代码：https://github.com/MSR-Orchard/WildAWM
- 开源环境、任务与模型的地址是 https://huggingface.co/collections/ChilleD/agent-world-model-in-the-wild
要教 agent 用电脑，最省事的路径无非是把它丢进电脑环境里交互、训练。可真电脑这条路麻烦不少：成本高，铺不开量，还可能惹出安全问题。OpenAI 最近就披露过一桩事故——agent 在线上环境里学习，结果意外攻击了 huggingface 服务器。
于是 WildAWM 用合成的个人电脑环境顶替真实训练环境，里面有 shell、文件系统、浏览器，还有 email 这类常见应用的 MCP 服务。为了避嫌间接蒸馏私有模型，整套合成只靠开源模型完成。环境造好之后，再在其中合成高质量 agent 任务和对应的 verifier 验证器，拼成 {environment, task, verifeir} 训练样本。训练对象只有两个 Qwen 模型（Qwen3.6-35b-a3b 和 Qwen3.5-4b），而且只在这些合成环境里练，结果在 web agent、claw agent 和 GUI computer-use agent 三类共 8 个 OOD 常见评测榜上全部有提升。
视频链接：https://mp.weixin.qq.com/s/gamAVH5qDdXx-Y0sXXvodA
从 Agent World Model (AWM) 到 WildAWM
近期前沿实验室已经证明，RL 对 agent 性能的拉升作用很大。agent 要在交互中学，就得跟环境打交道。可拿真实系统来练并不现实：环境没法大批量复制，状态也难以重置，agent 一旦点错，删掉的文件、发出去的邮件全是真的，安全隐患也躲不开。
今年 2 月，团队发布过 Agent World Model（AWM，ICML 2026）。一般 world model 用神经网络模拟环境、预测下一个 state 来充当环境，AWM 不走这条路——它用代码和数据库合成可执行、可交互的环境，共生成 1000 个，覆盖各类日常场景，专门服务多轮调用工具的 agent 做强化学习。仅在这些合成环境里训练，模型在三个 OOD benchmarks 上就展现出不错的分布外泛化。
WildAWM 是该系列的新作，这回瞄准通用计算机使用 agent（computer-use agent，CUA），不再逐个合成工具环境，而是直接合成一整台个人电脑。
合成一整台电脑环境
真正的 computer-use agent 应当能访问这台电脑的任何界面，而非局限在一种界面里：它可以像 coding model 那样用 CLI 写代码高效完成任务，也可以走 GUI，用鼠标、键盘操作图形界面网页，还能接入 MCP service 调用 email 等便捷软件服务。
网站、应用、MCP 服务和本地文件都落在同一台机器上，状态彼此相连。现有合成方法多数把每个应用做成孤立环境，比如单独合成 terminal 环境的、单独合成网页环境的，各管各的。
WildAWM 的每个环境都对应某个人的电脑。合成从一位虚构人物起步：先敲定他的职业、联系人、常去的网站和手头在忙的几件事，再把这些事排成逐日计划。随后由一个 coding agent（GLM-5.2 加 OpenCode）按天把计划落进环境，往数据库写记录，往文件夹放文件，每天接着前一天的状态往下推，数据自然一天天越积越多。这些网页、应用、数据全是合成的，全在本地，不用联网。
图 1: WildAWM 合成世界，包含 GUI web，MCP，CLI 三种 agent 常见的 computer-use 接口
为保证世界前后一致，每一天的状态都要独立重放两次，两次结果完全一致、所有服务和网站都正常，才会被留下。此外还会启动另一个 agent，核对当天数据与计划是否对得上。整个流程合成了 36 个人物、640 个世界状态。到最末一天，单个世界平均有 17 万多条数据库记录、50 个左右本地文件，复杂度超过同期合成环境类工作。
高质量的合成 Task 是另一个难题
环境备齐了，下一步得在里面出题 Task。
WildAWM 合成的 Task 名为跨界面（cross-agent-interface, XAI）任务，每道题都必须同时用到 GUI、MCP 和 CLI 三种接口。
举个例子：Jordan 打算2月21日跑半马，赛前想再确认一下跑表该买哪块。训练笔记里列着几块备选GPS手表，其中一块此前已经“定下”，但Jordan想按比赛标准重新排一遍——GPS精度、屏幕是否看得清、预算三项都要考虑。agent先要写一个python脚本，从笔记里找出候选表、排好序、存成文件。随后登录Amazon，搜出来的手表可能不止一款，题目又没给型号，只描述了外观：黑色圆形表壳，深色表带内侧有浅灰纹路，只能对着商品图挑。加进购物车之后，还得往本地日志补一条带日期的记录，写清选了哪块表、花了多少钱，最后在聊天应用里告诉好友Naomi选的是哪一块。要完成这道题，得横跨多种agent界面，把合成环境用足。
这类任务平均含4.2个子任务，接口要切换3.1次，74.5%的任务做到一半还得回到先前用过的接口，有的超过100多步，属于long-horizon agent任务。
图 2: agent 完成合成的任务需要横跨多种 computer-use 接口：CLI, GUI, 和 MCP
那这种高质量task该怎么合成？尤其在不借助任何闭源前沿模型的前提下，要解决几个问题：
- 任务有效性（Task Solvability）：合成出来的任务得能正常做完；
- 任务难度（Task Difficulty）：任务得够难。市面上大多数benchmarks已经饱和，必须合成出足够难度的任务，比如难倒GPT-6 Astra的那种；
- 任务验证器的可靠性（Verifier Reliability）：每个合成task都配一个验证器，自动判定agent有没有完成任务，并提供训练奖励信号。它必须足够准确可靠，才能给出有效的agent RL强化学习信号。
图 3：WildAWM 的完整流程。右侧展示的是用合成环境、任务与验证器开展强化学习；中间部分拆解了合成任务的各阶段；左侧为合成世界。
WildAWM的思路是在合成阶段就拉大量不同的agent来实际试做这些题。研究团队用了3个开源模型（GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3），搭配6种agent harness：OpenCode、Codex、Claude Code属于编程agent，Nanobot、OpenClaw、Hermes Agent属于claw agent。每个合成task至少跑6次，其中一半给提示。
跑完之后有三种评价方式：生成器写的验证脚本（verifier）、LLM judge，以及一个权限最高、能自己进环境查看前后状态的coding agent judge。三者依次增加test time的时间和计算，按理说会越来越准。可RL训练需要的是高效验证器，通常就是一个脚本。所以团队的目标，是让验证脚本verifier的准确度向Agent Judge对齐。
拿到这些agent实际执行留下的trajectory之后，一道Task要连过5道关才算合格：
- 评判一致：6次执行中，verifier、LLM judge和agent judge的结论必须完全一致。
- 初始未完成：agent什么都不做时，verifier必须判失败，避免出现一上来就“已完成”的题。
- 可解：6次执行里至少成功一次。
- 难度：不给提示的那3次如果全部成功，说明题太简单，得改难一点。
- 反事实探针：大模型容易顺着别人的话说。研究者故意把相反结论告诉agent judge，让它重新查；它要是改了判定结果，就说明这次判定不靠谱，需要重新修改。
过了这些关卡，2,551个任务草稿里最终留下341道合格题目。
图 4: 合成任务的漏洞，每过一道关卡，就会筛选掉很多不合格的 task
那这些合成Task的质量究竟如何？
先看能不能做（Task Solvability)。研究者拿24种模型和框架的组合来跑这批题——前面3个开源模型加上闭源里较强的Opus-4.8，各配6种框架。每道题至少被一种组合做出来，就算只用合成时那3个较弱的开源模型，也能做出95%以上。
图 5: 合成的 Tasks 能够被多少 agent 解决：每个 task 都至少被一个 agent 成功解决，但没有一道能够被所有 agent 都解决
再看难不难（Task Difficulty）。合成阶段不给任何提示，agent平均成功率只有21.3%，341道题里有273道被标为难题。在验证集上，GPT-6 Astra第一次就做对的比例约为Pass@1 60%，让它做8次，Pass@8仍有27.3%的题一次都没做出来。WildAWM完全使用开源模型，却能合成出让GPT-6 Astra都做不对的题（每道题都验证过是可以被解决的）。
图 6：各类模型在合成的 WildAWM 环境和 tasks 上的性能，右图展示了 Test time scaling 下的性能表现
最后看验证器（Verifier Reliability）。随机抽取100条agent执行记录（成功和失败的都有），验证脚本Verifier与agent judge多数投票的一致率是95%，Cohen's κ为0.90。一个轻量验证脚本，判得和那些又重又贵的agent judge差不多准，RL训练时用的reward因此足够可靠。
图 7：对 Verifier 与 agent judge 做的一致性评估
训练全程只发生在合成环境里。那它能不能迁移到真实世界？这个疑问正是实验要回答的。
作者把 341 道题切成三块：100 道拿来跑 SFT，208 道投入强化学习，剩下 33 道留作验证测试集。训练的第一步，是用 GLM-5.2 在那 100 道 SFT 题上生成的 100 条轨迹做热启动；随后最多进行 64 步强化学习，算法选的是 GRPO。参与训练的是两个 Qwen 模型，分别是 Qwen3.6-35b-a3b 和 Qwen3.5-4b。
评测阶段挑了 8 个训练时压根没见过的 OOD benchmarks，归为三类：web agent 包括 WebArena 和 Online-Mind2Web；claw agent 包括 QwenClawBench 和 ClawEval；GUI computer-use agent 包括 CUA-Gym、OSWorld-Verified、OSWorld 2.0 以及 Agents' Last Exam。
图 8：经 WildAWM 训练后的模型在 8 个分布外 benchmarks 上的成绩
两个 Qwen 模型在这 8 个 benchmarks 上无一例外都有提升。Qwen3.6-35B-A3B 的平均分由 42.84 升到 53.42，净增 10.58 分；分项看，ClawEval 涨 16.67 分，OSWorld-Verified 涨 16.06 分，WebArena 涨 13.72 分，CUA-Gym 涨 12.22 分。训练之后，它在 WebArena 上与 GLM-5.2 打成平手（67.26），在 Online-Mind2Web 上则以 80.77 对 72.22 压过 GPT-5.5。Qwen3.5-4B 的平均分从 21.83 升到 30.04，提高了 8.21 分。换到 WildAWM 自带的 33 道验证测试集上，35B-A3B 的通过率由 5.68% 提高到 35.98%，已经逼近参数多出 20 倍的 GLM-5.2 所取得的 37.88%。
图 9：仅在合成世界中训练后，Qwen3.6-35B-A3B 在各个 benchmark 上的涨幅
那 WildAWM 的合成环境究竟给 agent 带来了哪些能力？研究者为此做了更细的拆解，下面挑出两项关键研究。
先说 5 道 Task 质量关卡是否都不可省略。研究者逐一去掉其中一道做消融，再重新合成 SFT 数据来训练 Qwen3.5-4B，结果平均分每次都掉，跌幅落在 2.60 到 9.30 分之间。其中影响最大的两道是评判一致和初始未完成。
图 10：WildAWM Task 合成 5 道关卡消融实验的结果
再看 RL 强化学习究竟改变了 agent 的哪些行为。
- 相邻两次工具调用之间切换接口的比例，由 18.4% 提高到 25.5%，已经接近 GLM-5.2。这说明 agent 对不同电脑接口的掌握更熟练了，面对不同需求时能切到最合适的接口去完成任务。
- 长任务上的表现也被 RL 推了一把：在 40 到 120 步这一段，只做过 SFT 的模型多解出 9.7 个百分点的题，完整训练（加了 RL）之后则多解出 17.0 个百分点。
- RL 也带不来超出 Teacher model 本身的本事：把任务按难度分桶后可以看到，经过 RL 训练，agent 只在 easy、medium、hard 三档上有提升，到了连 teacher model GLM-5.2 都不会做的 hardest 题上就毫无进展。这个结果与当前主流研究的判断吻合——RL 只能激发和重新排列组合 base model 已有的能力。
全部开源
WildAWM 的合成流水线、341 个环境与任务、两个训练好的 Qwen 模型，以及整理成 Harbor 格式的数据集，现已全部开源。从生成环境、出题一直到判分，整条链路只用开源模型，不碰任何闭源的前沿模型，既可以直接拿来用，也能照着复现。
研究团队认为，这给开源模型趟出了一条路：自行合成规模可以持续扩张的环境和高质量任务，在其中自主学习、反复迭代，最终长成强大的通用 computer-use agent，全程不依赖闭源模型，也就避开了间接蒸馏。在他们看来，这为开源模型打下了 Recursive Self-Improvement（RSI）的基础。
