OpenGCUA实测:8个顶尖模型任务得分平均涨19.6分
2026年9月的某一天,研究团队让Qwen3.8-Max去完成一个真实的macOS任务:在一张工作表里解答125道题目。模型写出了一段看起来有模有样的代码,用了循环、用了函数,处理完后自信地打印出"computed answers: 85"。问题是,这份工作表一共有125道题要答,它只答了85道,剩下40道题目所在的行
2026年9月,研究团队给
Qwen3.8-Max派了一个真实的macOS任务:在一张工作表里答完125道题。模型吐出的一段代码看着挺像样,循环、函数都用上了,跑完之后它很自信地打印出「computed answers: 85」。
可这张表总共有125道题。它只答了85道,剩下40道题所在的行区间,代码根本没扫到。更耐人寻味的是,模型自己并不知道漏了40道。换成GPT-6 Astra来做同一个任务,它先写了一个通用的解题函数,用官方给的七个样例跑了一遍,确认没问题,再去动态找出表里所有符合条件的题目行,125道题最后全部答完。
这跟哪个模型「更聪明」没关系,差别在于AI操作电脑的一整套方法论。阿里巴巴Token Hub团队的这份报告,拆的就是这套方法论。
AI操作电脑这件事,正在经历一次路线转折
背景得先交代。过去几年,业界研究「计算机使用智能体」(
**不过2026年GPT-6 Astra发布之后,这套默认玩法被悄悄改掉了。**
OpenAI在官方文档里开始推荐一种新做法:让模型直接写一小段程序,比如用
批量动作
代码执行
这个区别听着技术,放到具体场景里就能感觉到分量。假设你交代助理一件事:把这份文件里所有符合条件的客户信息,一条条更新到系统里。
要是走「批量指令」模式,你得事先把每一步点哪里、输入什么,全写成一张详细清单交给助理。助理照着清单机械地走,哪怕清单第三步的前提根本不成立,它也会继续往下,因为清单已经定死了。
如果是"
workbook任务里漏答40道题的Qwen3.8-Max,用的正是前一种思路:行区间被写死,程序没有去动态识别所有符合条件的题目行。这不是算力不够,是写代码的思路还停在「预先列清单」的阶段,没有真正用上
什么是「通才型」计算机使用智能体
报告提出了一个核心概念,叫生成式计算机使用智能体(GCUA, Generalist Computer-Use Agent)。
G
这个定义的关键,不是「它能用多少种工具」,而是「用哪种工具由谁来决定」。报告里有个很精确的比方:有的智能体功能样样齐全,GUI能点、CLI能跑、API也能调,可它在某一步可能点十几屏菜单去干一件命令行一行就能搞定的事,也可能该先看一眼屏幕,却直接跑了脚本。工具齐全,不等于用得对。
报告把这套判断标准拆成三个决策维度:观察什么、怎么行动、怎么组织工作。
观察什么,说的是模型要不要截图、要不要读取
怎么行动,说的是具体走GUI点击、走无障碍接口直接操作、走命令行、还是走API调用,甚至把这几种方式写进同一段程序里混着用。
怎么组织工作,说的是模型要不要维护任务进度表、要不要把之前的截图留在上下文里。这些原本由开发者写死的规则,现在逐步交还给模型自己定。
报告依据这套标准,把现有的智能体类型逐一划入了对应类别。纯GUI智能体三项决策全被写死:截图是固定的,每次只能执行一个操作,上下文管理则依赖固定规则。命令行智能体的观察范围仅限于命令输出,屏幕上的内容它看不到,动作也只围绕shell命令展开。多智能体混合系统则不同,像是由一个总指挥把任务分派给专管点鼠标的子智能体和专管写代码的子智能体,表面看功能很全,可选择权握在总指挥手里,按子任务一次性分配下去,并非每一步都做动态判断。
而团队去年发布的
这套理论读起来有点绕,但它解决了一个真实的测量难题:以前判断一个智能体「够不够通用」,看的是它身上挂了几个工具接口;现在标准变了,看它在每一步是不是真能自己判断该用哪个工具、该不该看屏幕、该记住什么忘掉什么。
代码执行到底比批量指令强在哪
光讲理论没意思。报告拿了八个顶尖模型(包括GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash等)在
结果相当惊人:**在全套GCUA配置下,八个模型的任务完成得分平均提升了19.6分,执行步骤数平均减少了53.0%。**
这两个指标得停一下解释。任务得分按部分完成度打分,完成了80%的要求就给80分,不是非黑即白的成功失败。步骤数则是模型调用的次数,每次调用可能包含一整段代码。
更有意思的是,这种提升并非靠削峰填谷拉平均。GPT-6 Astra原本就是基线最高的模型,67.1分,升级后还往上走到75.7分,步骤数从102降到33.5,降幅67.2%。Qwen3.8-Flash原本效率最差,每任务232步,升级后也涨了21.6分,步骤数少了62.8%。模型起点高低不影响结论:这套设计思路对谁都奏效。
不过这里头有个容易混淆的地方,团队专门做了对照实验来拆解:起作用的是接口变多,还是代码执行本身。
对照分成四档:单动作GUI,最原始,一次只能点一下;批量GUI动作;批量GUI加CLI混合动作;代码执行,GUI和CLI都能用,但要以写程序的方式组合。接口范围在后两档完全一致,差别只在于是提前列好清单,还是写成能动态决策的程序。
结果摆出来:光是把批量指令换成代码执行,三个测试模型Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3-Flash的任务得分又涨了7.4到8.0分,步骤数再降17%到18.7%。
接口范围扩大只是前菜,大头来自程序能不能根据中间结果决定下一步。前面workbook任务的例子说的也是这件事:有写循环的能力,和真会用循环把全部数据覆盖掉,是两码事。
代码执行在实战中长什么样
报告从GPT-6 Astra的真实作答轨迹里归纳出五种反复出现的代码执行模式。这部分读起来有意思,能直接看到AI是怎么想的。
第一种是跨接口组合。生成合同的任务里,模型先点界面上的生成合同按钮,然后不等,立刻写代码检查生成的20个文件是否都在、电子表格状态单元格是否显示COMPLETE,确认后才点第二个按钮创建邮件草稿,再用代码核查生成了20份本地草稿。GUI操作和程序化检查在同一步里来回切换。
第二种是基于循环的执行。记录网站导览视频时,模型写了个循环,依次点七个导航目标,每点一次就读网页DOM里当前激活的区块信息,用断言检查该区块是否匹配预期目标。七次访问和核对全在一次程序执行里完成,不用每点一次就停下来问模型下一步干嘛。
第三种是结果依赖执行。发邮件回复前,模型先把草稿内容从界面复制出来,跟保存的版本比对,去掉首尾空格再比,只有内容匹配才点发送,不匹配就打印出不一致的内容并放弃发送。原本要模型肉眼判断的活,交给了代码里的if判断。
第四种是观察准备。三维模型检查任务里,模型写代码连续旋转视角拍了25张图,每张裁出关键区域,拼成一张5乘5的联系表,再打开这张表请求一次新的视觉观察。等于AI自己给自己备了一份考卷汇总,不用让模型对着25张散图分别判断。
第五种是可执行验证。编辑完两页幻灯片背景图后,模型写代码对比原始文件和保存后的文件包,检查预期改动确实发生,同时验证另外64个未涉及的文件条目一个字节都没变。这比我觉得应该改对了可靠得多,是程序跑出来的证据,不是模型的自我感觉。
五种模式有个共同点:模型用代码去做它原本做不到的事,检查、循环、条件判断,而不只是把点击动作打包发出去。报告结论很克制,说这些例子展示的是代码执行的互补用法,不是互相排斥的分类,更不是说某种模式本身就能带来性能提升;真正起作用的是这些能力组合之后,任务完成得更彻底、更可验证。
哈内斯
除了代码执行,报告提出的第二个核心设计叫**
哈内斯(harness)指的是围着AI模型搭起来的那套执行框架和运行环境,截图、上下文管理、工具调用这些基础活儿都归它管,相当于模型跑起来所依赖的操作系统那一层。
传统做法是,
报告的做法是,把这类判断权交还给模型。具体落地成三个机制。
头一个是按需观察:模型能主动去调用screenshot()函数,自己决定这一步要不要截。环境照样每一步都存一张图,可只有模型开口要,这张图才会进到它眼前。
缓存命中率
第二个是任务状态追踪,模型维护一个todo清单,记录每个子任务是待处理、已尝试但未验证、还是已验证。这不是花架子。一个表单填写任务里,模型先把所有字段填完,状态标为已修改未验证,后来点了提交按钮并读取页面确认信息,才把状态改成已验证。显式记录能防止模型中途忘了哪些做了、哪些还悬着。
再一个是意图声明:每段代码开跑之前,模型先写一句话交代这段打算做什么。一个CRM任务里,原本64行的程序被压成一句话——更新29个客户的状态,同时保留原始客户信息。这么设计图的是让真实用户看明白AI在忙什么,不必去啃那64行代码,提升跑分并不是它的目标。
三个机制当中,按需观察和任务状态追踪这两个对任务表现确实有正向作用;意图声明则主要服务于用户理解,实测下来得分反而略降了一点。这也从侧面说明,让模型多做决策的设计未必都带来性能提升,有些本身就是冲着别的目标在做取舍。
真实电脑和测试环境完全是两回事
前面讲的这些实验都在
不妨设想:你请了个新助理替你处理电脑上的活儿。测试环境就像你事先把桌面拾掇得干干净净,要用的文件全摆在明面上,助理可以从零开始专心干一件事,没人打搅。真实场景却是桌面一团乱,十几个窗口还开着,你自己也在用这台电脑,中途说不定还插一句“等等,我改主意了,顺便把这个也弄一下”。助理要是应付不了这种混乱,理论知识再强也白搭。
报告梳理出真实设备上五个特有的难点。
头一条,用户和智能体共用控制权。智能体不能抢鼠标键盘,得尽量挑不打扰人的路子走,比如借无障碍接口直接操作后台窗口,别把窗口拽到前台霸占用户的视线。
屏幕一直在变。窗口随时开、随时关、随时挪位置,智能体先前记下的坐标,等真正动手时可能早就作废了。
用户的要求也会变。指令随时可能被补充或修正,智能体既要始终盯住任务的大目标,又得能接住打断。
观察和控制,都得明确指向具体某个目标。真实电脑上,要处理的应用、窗口、浏览器标签未必在最前面,截一张全屏图,看到的只是当前可见的那组窗口,被遮住的内容一概拍不到。报告里举了个很形象的例子:智能体本来在处理Amazon购物页面,截屏抓到的却是另一个后台窗口弹出来的淘宝登录页。这种误判在测试环境里几乎碰不到,真实电脑上却随时可能冒出来。
任务起步的环境是现成的,带着历史痕迹,不像测试环境那样提前清得干干净净。真实电脑上堆着旧文件、过期的登录状态、同名但内容不同的文件,哪些才是真正要用的,智能体得自己认。
上面这五条,直接引出了报告里的另外两项产出:
跨设备SDK
这套SDK的思路是,每个操作都明确挂到一个具体资源上——设备、应用、窗口或标签,而且挂上去就保持住;选中一个新目标,之前绑定的旧目标不会被自动顶掉。报告给了一个很具体的使用场景:智能体通过手机应用取回一份报告,传到电脑上做分析,再把分析结果输进一个浏览器里的服务,三个阶段在同一个任务里顺顺当当接上。
这背后分成三层设计。最上面是统一接口,模型写的程序里,变量和绑定关系跨多轮对话都能保持不变。中间层把观察和动作拆开,SDK同时提供结构化的
这个设计有点像给不同国家的插座配一个万能转换器:转换器外壳统一,可每个国家插座背后的电压标准、安全规范照样各管各的,不会因为套了同一个壳就被强行捏成一个标准。
真实设备哈内斯,五层架构应对复杂现实
面向真实设备场景,团队搭了一套五层的哈内斯架构:模型层负责生成程序;运行时层负责执行程序并维护跨轮次的状态,变量、导入的模块、工作目录都能留住;设备SDK层把观察和动作绑定到明确的资源上;驱动层把SDK请求翻译成具体平台支持的原生操作,比如无障碍动作或者坐标点击;最底下是真实的应用和操作系统,哪些操作真正可行,由它说了算。
这套架构里有个细节特别值得说一下,关于操作的"
这个优先级顺序,很像去图书馆借书:自助借书机能办成,就不去柜台麻烦工作人员;自助机坏了,才去找柜台;实在没辙了,才打断正忙的管理员求个特殊处理。每一级都意味着对别人(这里是用户)工作的打扰更深一层,系统会尽量停在打扰最小的那一级。
实测结果:同样的真实任务,模型之间的差距有多大
报告挑了四个真实的macOS任务——工作表推理、PDF表单填写、带饮食限制的购物调研、酒店价格对比——用同一套真实设备哈内斯来测不同模型的表现。
数据摆出来,差距相当扎眼:**在这四个任务上,Qwen3.8-Max消耗的推理token是GPT-6 Astra的19.4倍,输出token总量是5.7倍。**
具体来看,GPT-6 Astra平均每个任务只花2.6K推理token,Qwen3.8-Max花了50.2K。这跟任务难度无关,两个模型面对的是完全相同的任务。
报告里有个特别直观的案例对比。一个购物任务需要截一张屏幕截图,Qwen3.8-Max写了四行简单程序就把这步做完了,可光是这一步的模型响应就烧掉2105个输出token,其中2030个是推理token。GPT-6 Astra在同一任务里也做了类似的截图操作,整段响应只用了124个输出token,推理token仅11个。同样一件简单的事,两个模型的"思考成本"差了近200倍。
差距不只在计算开销上,还体现在模型能不能适应真实设备的特殊性。前面那个Amazon截图误抓成淘宝登录页的例子,正是Qwen3.8-Max犯的错:它面对一个已经绑定好的Amazon浏览器对象,却去请求桌面截图,拿到的是前台的淘宝登录窗口,后来才意识到得把Amazon窗口切到前台重新截。GPT-6 Astra直接对准已经选定的浏览器页面请求截图,压根不存在抓错目标的问题。
但有意思的是,token消耗大,不等于花钱多。按当时的API定价,Qwen3.8-Max每个任务大约花1.49美元,GPT-6 Astra则要18.29美元。token用量和实际成本并不总是正相关,这取决于各家模型的定价策略。
钱和时间,各自买到的是不同的最优选择
报告里还有一项分析,现实意义不小:假如给每个任务定下花费上限或时间上限,哪个模型能拿到最高分?
答案并不固定,排名会跟着预算走。若按金钱预算来算,预算压得很低时(约0.38美元每任务),Qwen3.8-Flash得分最高,为60.5分;预算逐步放宽,GLM-5.3-Flash、Gemini 3.8 Flash先后占据领先位置;直到预算宽裕到每任务15.26美元,GPT-6 Astra才实现反超,以75.7分拿到最高分。可换成时间预算来衡量,GPT-6 Astra在几乎所有时间档位上都处于领先。
这就意味着,“哪个模型最好”的答案,取决于你在乎的是省钱还是省时间。预算紧张的创业团队,Qwen3.8-Flash可能是更划算的选择;更在意任务多快能办完的,GPT-6 Astra可能更合适。排行榜第一名从来不是唯一答案,关键看你愿意拿什么去换。
这篇报告的价值,不只在测出了哪个模型更强。它提出的那套“三个决策”分析框架,给整个行业提供了一把可以复用的尺子。过去评价一个智能体系统,大家习惯看它接了多少工具、支持多少种操作;报告提醒的是,真正该问的问题在于:它在每一步,有没有真正自主地决定该看什么、该怎么做、该怎么记。
报告本身也是开放的。团队把实现代码、提示词、八个模型的完整执行轨迹,以及这套真实设备哈内斯和跨设备SDK的预览版都公开了出来。
相比之下,GPT-6 Astra这类系统,模型权重、完整提示词设置、真实设备哈内斯都不公开。这份报告选择把设计过程摊开给整个社区看,这种姿态本身也是一种态度。
Q&A
Q1:
A:
Q2:代码执行和
A:
Q3:同一个任务,为什么不同AI模型消耗的token差距这么大?
A:报告测试发现,在真实macOS任务中,Qwen3.8-Max用的推理token是GPT-6 Astra的19.4倍。差异主要来自模型在简单操作上的思考成本不同,以及对真实设备复杂环境(如后台窗口、焦点切换)的适应能力不一样。