阿里通义造Cowork-Gym训练场:让AI学会和你一起改方案
你有没有遇到过这种情况:让AI帮你写一份销售报告,它很快写好了,结果你发现数据表格其实是上周的旧版本,而正确的那份今天刚更新。你告诉它"用新数据重做",它改了,可改完一看,前面算过的总价没跟着一起变。这不是AI不够聪明,而是它从没在这种场景里真正练过。现在大多数训练AI智能体的环境,都是给定一个任务,AI一口气...
让AI写份销售报告,它唰唰就交了。可你翻开数据表一看,用的还是上周的旧版本,今天刚更新的那份压根没碰。你补一句“换新数据重做”,它倒是改了,再一看,前头算好的总价压根没跟着动。
这怪不了AI笨,是它压根没在这种场面里练过。眼下多数训练智能体的环境,套路都是给个任务、AI一口气干完、打分、收工。真实工作哪是这样。真实情况是你跟AI一块盯着一堆文件、一张表格、一个代码仓库,你动一点它动一点,干到一半你改主意,甚至直接把源文件换掉。这种边干边改的搭伙方式,业内叫它**Cowork**。
阿里通义团队这回干的,就是给这类Cowork场景专门搭了一整套练手用的“健身房”,名字叫
听着不难,真做起来麻烦不少,咱一点点掰开说。
难处究竟在哪儿
先把问题摆清楚。想教AI学会“搭伙干活”,总得先备出足够多的协作场景让它练。可这种场景造起来,比出几道问答题费劲多了。
一道普通训练样本,无非“这是题、这是答案”。一个Cowork环境却要同时装下五样东西:任务目标是什么、初始工作区长什么样、AI能调用哪些工具、用户会怎么反应和插手、最后凭什么判断干得对不对。这五样还不能各管各的,得互相咬合。
拿“分析销售数据出报告”举例:工作区里就得搁一份真销售表,AI打得开、读得进;用户若设定成“中途替换数据源”,这个替换动作就得真能执行,换完之后原先算出的结论确实应当作废;打分程序还得清楚该去查AI有没有察觉数据变了、有没有重算一遍。
哪个环节掉链子,整条训练样本就报废。比方验证器写岔了,AI随便交个空文件也能拿满分,这条数据训出来的模型就只学会了偷懒;再比如任务设定里埋了逻辑漏洞,这任务压根没法正确完成,AI怎么干都是错,那这条数据反倒是在教AI学歪。
**靠人工一条条去设计这种环境,成本高得离谱,出错率也压不住。**
这就是
造环境的两条道:自上而下与自下而上
Cowork-Gym生成任务没走单一套路,而是铺了两条道,一条自上而下,一条自下而上。
自上而下那条叫**
分类法引导生成
这六个维度里,能力和场景是拆开算的。好比“做财务分析”要用到“数据分析”这项能力,但不会专门再挂一个“财务数据分析”的能力标签。这么设计,是想让能力和场景能随意拼装,同一项能力可以落到不同行业的场景里,免得标签越堆越多。
这条道胜在可控:想多要些编程任务,就多采样编程场景;想补上某项能力的覆盖缺口,就照着定向生成。毛病是它天生是“凭空想出来”的任务,容易跟现实脱节。
于是有了第二条道,自下而上的**
资源驱动生成
这条道反过来走。不是先定好“我要一个跨期财务分析任务”再去找财报凑数,而是先拿到一份真实的季度财报对比文件,看它天然适合干点什么,比如跨期对比、异常项目标注,再围着这份素材本身的特点去设计任务。这么生成出来的任务,自带真实数据那股“脏乱差”:有缺失值,有格式不统一,有得跨文件核对的地方,这些恰恰是手工编任务时很难想到的真实难点。
团队提到,这类任务只留下“素材确实对完成任务起了实质作用”的那些,免得素材光摆着看。
**两条道不是谁替掉谁,而是彼此补位。**
分类法兜住任务覆盖的广度和可控性,资源驱动兜住任务的真实颗粒度和难度来源。只靠分类法,造出来的任务可能逻辑自洽却缺现实感;只靠资源驱动,又很难系统性地保证某些能力或场景被覆盖到。
造出来的环境靠不靠谱,总得有人把关
光生成任务还不够,出来的东西质量参差是免不了的。Cowork-Gym设计了一个叫**
整个流程由“构建—执行—修订”三段串起来,反复跑。
这里头有个要紧的设计:验证器的搭建过程,和工作区的搭建过程,走的是两条完全隔离的线。
做验证器的人看不到搭建者究竟怎么把工作区搭出来的细节,手里只有任务描述和真实数据,得自己去推“这件事做对了该长什么样”。目的就是不让验证器抄答案。要是它知道搭建者是怎么设计这个环境的,打分时很容易照着搭建者预设的那条路走,AI换一种同样正确但不一样的做法,反倒会被判错。
出题的和阅卷的要是同一个人,批改时思路就容易变成“你得按我教的那套解法来”,别的解法结果对也可能被扣分。两个角色不隔开,验证器干的活就变成“查你有没有复制标准答案”,而不是“查你到底有没有把问题解决掉”。隔开之后判分才客观,代价是搭建的工作量和复杂度都翻了一倍。
问题检测器更像“事故调查员”。它会真把这个环境跑一遍,拿正确答案去测,也拿明显错误的答案去测,看验证器分不分得出来。
团队给了一条很实在的检验标准:某个验证器要是连“什么都没做的空白状态”都能打通过,那它本身就是严重缺陷,得打回重做。这法子听着简单,偏偏最容易被漏掉,很多自动化系统里大家都默认验证器没问题,专门去测验证器本身靠不靠谱的人很少。
一轮轮筛下来,最终放出来的环境有6.49万个,覆盖14个顶层应用场景和17种能力标签。
让用户“活起来”:
这是整篇论文里我觉得最有意思的一处设计,叫**
有状态的用户模拟器:它独立运行在AI工作区之外,是个虚拟“用户”。不光会发消息聊天,还能直接动手改共享工作区里的文件,而且每次反应都看AI当下的实际进展,不是事先写死的剧本。
为什么要这样?真实协作里,用户从来不会一口气把要求讲完然后撒手不管。他会盯着AI做到哪一步,看结果对不对,再决定要不要插手、补点信息,或者干脆把数据换掉。
这个模拟器有一套“私有状态”:人设、它自己知道的信息边界、潜在目标,还有一份“信号计划”。这份计划不是固定台词,而是“什么情况下可能说什么”的大致脚本。初始提问只透露刚好够AI开工的信息,更深的约束或偏好,得等到真正相关时才亮出来。
妙就妙在,AI始终看不到模拟器的“内心戏”,只能靠对方发来的消息和工作区里真实发生的变化去感知。真实的职场协作也是这样:同事心里怎么想的你看不见,只能凭他说了什么、改了哪个文件,判断他的需求有没有变。
**要是没有这种工作区层面的干预能力,只靠对话传信息,会怎样?**
那AI练出来的其实是“听话”,不是“适应变化”。举个具体场景:AI刚写完一份销售分析草稿,用户模拟器把源数据表sales.csv换成了修正后的版本。这时候AI要是没有重新读文件、重新核对依赖关系的意识,对话里一个字没错,最后产出的报告照样建在过期数据上。论文给的示例轨迹正是如此:用户只说了句“用更新后的数据,排除退款项”,AI得自己意识到之前算的总额已经作废,要重新读文件、重新算,才能过最后的验证。这种“工作区变了,你自己得发现”的本事,光靠对话式训练练不出来。
论文也反复强调:协作不是单向的“用户下指令、AI执行”,而是两边都在往同一个工作区里写东西、改东西,进度体现在产出物和工作区的变化上,不只在嘴上说了什么。
这些环境怎么变成能喂给模型的训练数据
环境有了还不够,接下来要让一个真的AI智能体进去实际跑一遍,跑出行动轨迹,再从轨迹里挑出可靠的拿去训练。
研究团队用了**
Harbor
他们用了
拿到原始轨迹还得过滤。论文里的数字很直白:7.7万多条原始轨迹起步,先过一轮基础有效性筛选,只剩24,732条,留存率大概31.8%。也就是说将近七成因记录不完整、结果没过验证,或者嘴上说完成了实际状态不对而被扔掉。这个比例挺扎心,说明哪怕前面环境质量已经控得不错,实际执行产生的轨迹里仍有大量不可靠的。
过滤之后还有一道更细的筛选,叫**
模型条件选择
这个思路承认了一件事:同一条正确轨迹,对不同模型“有用”的程度不一样。一道题对你已经简单到闭眼都会,再刷十遍收益基本为零;可它正好卡在你会与不会的边界上,训练价值就很高。
实验结果里有个耐人寻味的现象:模型规模不同,最合适的筛选标准也跟着变。9B和27B上NLL效果最好,可换成35B-A3B这类混合专家架构,情况就反过来。
训练成效:拿数字来看
这套流水线产出的数据拿去喂模型,训练结果究竟如何?
团队挑了三种参数规模的Qwen底座:9B、27B,以及总参数35B但激活参数只有3B的混合专家版本,各自用监督微调加强化学习的方式去训。
**三个规模平均下来,比各自的基础版本分别高出8.7、6.4和4.1分;18组对比中,17组都是正向提升。**
更有意思的是,涨分的位置在各模型身上并不一致。9B模型是在
整体排行榜上,27B版本的综合得分排到第二,只落后于参数量大得多的GLM-5.2,并且在
| 模型 | 参数规模 | 六项均分 | PawBench | ClawEval |
|---|---|---|---|---|
| GLM-5.2 | 744B/40B | **0.6157** | 0.7878 | 0.7601 |
| Ours-27B | 27B | 0.6119 | **0.8400** | **0.8508** |
| DeepSeek-V4-Pro | 1.6T/49B | 0.5744 | 0.7729 | 0.7727 |
| Ours-35B-A3B | 35B/3B | 0.5665 | 0.8187 | 0.7734 |
| Kimi-K2.5 | 1T/32B | 0.4930 | 0.7331 | 0.6967 |
| Ours-9B | 9B | 0.4494 | 0.7699 | 0.7259 |
团队也大方点出了短板,在
多轮交互与跨平台能力,提升同样实实在在
各个设计决策究竟有没有用,团队没靠想当然,而是专门跑了几组对照实验来验证。
其中一组拿只用单轮交互数据训练和混入多轮数据训练做比较。掺进多轮数据后,27B模型在ClawEval上再涨近1分,ClawMark上多出3.23分。用户中途改主意、换数据这类协作场景练出来的能力,能迁移到实际评测中,并非自娱自乐。
另一组实验考察的是:用某个执行框架采集的数据训出的模型,换个没见过的框架还灵不灵。答案是可以。用OpenClaw采的数据训练后,模型在从未接触的Hermes框架上也提升了9个百分点,甚至比专门用QwenPaw采集的数据还略好一些。这又一次印证了前面的判断:这套数据教给模型的是通用的任务解决逻辑,而非某个工具界面的操作套路。
更聪明的训练路子:在线蒸馏
论文末尾还提到一个颇值得留意的技术选择,叫作**
在策略蒸馏:学生模型从基础版本起步,先自己去和环境互动、跑出行动轨迹;随后由训练好的老师模型针对学生实际走过的这些轨迹逐词给出概率分布,学生去模仿这个分布,而不是把老师走过的轨迹直接硬灌进去。
这个设计对准的是一个老两难:直接用监督微调加强化学习硬训,专项能力是上去了,可模型在其他领域(比如科学推理)的本事往往跟着往下掉,业内管这叫"
策略蒸馏的关键,不在逼学生复制老师走过的那条具体路径。它让老师站到学生真实会碰上的情境中,给出“如果是我,下一步怎么选”的概率判断,学生再向这个判断靠拢。训练素材取自学生自己走出来的轨迹,并非老师那套固定剧本,所以学生原有知识结构受到的冲击更小。
实验数据也支撑了这个思路。在ClawEval这一专项基准上,接受策略蒸馏训练的学生模型把pass?指标拉高了4.5分,达到老师模型约80%的提升幅度,差距只剩1.1分。更关键的一点出现在一个完全不相关的通用知识基准上
打个比方,学生若把老师某一套解题步骤背死,碰上没见过的题型就容易发懵;反过来,跟着老师一起做题、模仿老师面对每道新题时的思考权重分布,判断力更容易真正内化,而不只是记住一套固定动作。若不这么设计,直接拿老师生成的轨迹硬训,专项分数或许涨得更快,可别的方面会退化,放到实际部署里就是很现实的风险。没人想要一个某方面变聪明、其他方面却变笨的助手。
写在后面
论文读下来,最让我记住的不是榜单名次,而是7.7万条原始轨迹中留下来训练的不到三分之一。这个数字藏着一个常被忽略的事实:自动造数据,真正吃功夫的地方是“淘汰”,不在“生成”。很多人默认规模化就是多生成,论文却用大量篇幅讨论怎么判定一条数据是垃圾、怎么判定一个环境本身逻辑是否自洽。这种先质检再谈产量的做法,放在不少工程领域都成立,只是在AI训练数据上,“规模”这个词太容易让人上头,忘了规模得先有质量可控作前提。
还有一处细节我反复想过:验证器构造者与工作区构建者被有意隔开,彼此看不到对方的具体实现。乍看像多此一举,细想是用工程手段压住一个很隐蔽的认知偏差——出题的人同时阅卷,判分时很容易顺着自己设计的那条路走,嘴上说“条条大路通罗马”,手上还是偏爱自己想到的那条。人类教育系统里这种偏差同样常见,只是很少专门造机制把它隔开。
论文也留了个没讲透的疑问:筛选标准NLL和RSR在不同规模模型上表现并不一致,这里头有没有更系统的规律能提前判断,而不必每换一个新模型就重试一遍?这个问题若有答案,下一代数据筛选也许就不用再靠经验试错,可以直接算出该用哪把尺子。