AI给电脑打工，到底干得怎么样？一套新评分标准掀了桌子

你有没有想过，如果让AI帮你打开电脑，完成一个需要一百多步操作的任务，比如先写代码、再跑程序、再把结果复制到文档里排版、最后存成指定文件名，你怎么判断它到底做得好不好？

大多数人的第一反应是：看结果呗。文件存对了没有，内容对不对，不就完了。

这正是目前业界评测AI操作电脑能力的主流做法，一个叫OSWorld的评测体系就是这么干的。但NVIDIA的一群研究者发现,这个看似理所当然的评分方式,藏着一个大漏洞。

一百步走到第九十步,和一百步只走了一步,得分一样

想象两个学生去考试,一个做对了前面所有大题,只差最后一道附加题没写完,另一个从第一题就交了白卷。按照"只看最终答案"的判卷方式,如果附加题要求提交完整答案才给分,这两个学生可能都是零分。

这听起来很荒谬,但放到AI操作电脑的场景里,这件事真实地在发生。

OSWorld这类评测用的是"功能性验证器"

功能性验证器:一种自动检查程序,只看任务结束时产生的最终文件是否符合预设标准,不关心过程中发生了什么。

它只检查任务做完之后留下的文件对不对。如果AI要完成一个需要几百步操作的长任务,比如先打开软件、写代码、跑程序、复制结果、粘贴排版、存成特定文件名,只要任何一步出了差错导致最终文件没生成,系统给出的分数就是零。不管AI是在第一步就卡住了,还是已经做完了九成工作只差最后一步。

这就是论文作者们想要解决的核心矛盾:终点评分法完全没法区分"几乎成功"和"完全失败"。

研究团队给出了一个形象的例子。一个任务需要完成九个依次相连的子目标,如果AI在第一个子目标就失败了,和AI做到第九个子目标才失败,在OSWorld的打分体系下,两者的得分是一样的,都是零。可是任何一个正常人都知道,这两种"失败"的含金量完全不同。

更麻烦的是,当AI变得越来越强,它们也越来越擅长"走捷径"。2026年初,

于是研究者们提出了一个新思路,叫做"过程评测"

过程评测:不只检查任务最终完成的结果,而是把一个大任务拆解成一串有先后顺序的小目标,逐一检查AI在每一步上走到了哪里,是否取得了实际进展。

这个思路其实是从人类工作方式里借来的。想一想你自己做一个科研项目,你不会等到论文写完才知道自己进展如何,你会盯着数据收集到了多少,实验跑了几轮,图表画出来没有。这些中间节点,才是真正反映进度的信号。

OSWorld-Pro的三大特点:长、难、细

基于这个想法,研究团队搭建了一个叫OSWorld-Pro的新评测体系。它包含超过300个任务,被拆分成超过2800个子目标,背后是67000多条人工标注,花费了5000多个人工小时。

这套评测体系有三个明显特征。

第一个特征是任务特别长。平均每个任务要拆成9.2个依次相连的子目标,前一个没做完,后一个根本没法开始。这和OSWorld里大多数任务只有单一子目标的设计完全不同。研究者还特意提到另一个叫ChainWorld的工作,它是把多个互不相关的OSWorld任务硬拼在一起,但那种拼接出来的"长任务"里,子目标之间并没有真正的依赖关系,和现实世界里一环扣一环的工作流完全不是一回事。

这里要澄清一个概念:什么叫"子目标"

子目标:一个大任务被拆分出来的、可以单独判断"完成了没有"的小任务节点,比如"打开VS Code""写一个计算阶乘的函数""把结果粘贴到文档里"分别算三个子目标。

第二个特征是难度陡增。完成一个OSWorld-Pro任务平均要用到3.45个不同的应用软件,而OSWorld平均只需要1.34个。研究者还特意加入了一些冷门软件,比如音频标签工具Kid3、压缩文件管理器、绘图软件LibreOffice Draw,以及一些少见的Linux系统和桌面环境,比如AlmaLinux配合MATE桌面。目的很直接:逼着AI去适应它训练数据里可能根本没怎么见过的场景。

结果呢?就连目前表现最顶尖的大模型Claude Opus 5,在OSWorld-Pro上也只拿到75.7%的分数,而它在OSWorld上能拿到83.4%。这接近8个百分点的落差,说明这套新测试确实挖出了之前被掩盖的短板。

第三个特征是颗粒度极细。它不满足于告诉你"这个AI行不行",而是告诉你这个AI具体在哪类操作上容易出错,在哪类任务上效率低下,遇到根本做不到的任务时会不会及时放弃。比如研究团队观察到,Claude Opus 5有时候会在完成了所有子目标之后,还做出一大串和任务完全无关的操作,一次甚至持续了超过50步。

要让AI来当裁判,先得证明AI裁判靠得住

这里出现一个新问题。67000条标注听起来很厉害,但靠人工一步步去检查每一个AI交上来的操作记录,成本高得吓人。每个任务的人工标注要花5到20个小时。这显然没法规模化地用来评测市面上所有的AI模型。

于是研究团队想了个办法:训练一个AI裁判,去模仿人类的判断标准。

但这里有个隐患。如果这个AI裁判自己判断不准,那用它来打分岂不是自欺欺人?所以在正式拿它去评测别的模型之前,团队必须先验证,这个AI裁判到底靠不靠谱。

这就好比你想雇一个代课老师帮你批改期末考卷,你总得先让这个老师批改几份你自己已经知道答案的卷子,看看批改结果和标准答案差多少,才敢把剩下几百份卷子都交给他。如果不做这一步验证,你根本不知道最终给出的分数,是反映了学生的真实水平,还是反映了这个代课老师自己的理解偏差。如果代课老师的判断标准本身就有系统性偏差,比如总是对某类题型打分过严或过松,那所有拿到这份成绩单的学生都会被误判,而你却毫不知情。

研究团队选用了OpenAI的GPT-5.6系列模型作为候选裁判,测试了不同参数规模(论文里分别叫Sol、Terra、Luna,从大到小)以及不同思考深度(从不思考到最高强度思考)的组合。

评判的核心任务是让AI裁判针对每一步操作,判断它针对的是哪个子目标,这个子目标在当时的环境下是不是真的能做到(可行性),这一步有没有带来实质进展(进展性),这一步是不是彻底完成了这个子目标(完成性)。

衡量裁判准不准的指标叫Macro-F1

Macro-F1:一种综合考虑"判断准确"和"判断全面"两个维度的打分方式,数值越高说明判断越贴近真实情况。

结果显示,表现最好的GPT-5.6-Sol在最高思考强度下,判断子目标到底是哪个的准确率达到97.0%,非常接近人类标注者之间95.6%到98.4%的一致性水平。但在判断"这个任务当下到底能不能做成"这一项上,它只有61.9%,远低于人类的91.6%。

这个差距背后的原因挺有意思。研究者发现,人类标注者之间在判断"可行性"和"进展性"时,本身的一致程度也比判断"是否完成"要低一些。这说明这类判断天生就带有一定主观性。比如说,一个功能藏在层层嵌套的菜单里,在没被发现之前看起来像是"做不到",一旦被发现又变成"完全可行"。这种模糊地带,连两个经验丰富的人类标注者都可能意见不一,更难苛求AI裁判做到完美。

还有个现象值得说一说。模型的思考强度越高,它对"可行性"的判断反而越差。具体表现为:随着思考强度提升,模型越来越倾向于认为任务是可行的,不思考时判断为"不可行"的比例是9.7%,拉满思考强度后降到5.1%,而真实的人工标注比例是15.3%。这说明过度思考反而让模型变得过于乐观,低估了环境中真实存在的障碍。这有点像一个人想得太多反而钻进死胡同,忘了抬头看看眼前的墙到底撞不撞得过去。

最终团队选定GPT-5.6-Sol在最高思考强度下作为正式裁判,它的综合判断准确率达到94.1%,和独立的人类审核者之间95.6%的一致性已经非常接近。

打分结果出来了,顶尖AI也栽在这上面

有了靠谱的裁判,团队把市面上一众主流模型拉过来跑了一遍OSWorld-Pro。结果相当扎心。

表现最好的是Claude Opus 4.8,在最高算力配置下拿到77.7%的总分。而OSWorld上表现最好的Opus模型能拿到83.4%,这中间的落差再次印证了OSWorld-Pro确实更难。

开源模型的表现更惨。表现最好的开源模型只拿到55.1%,而在OSWorld上,开源模型普遍能超过80%。有一个对照特别扎心:Minimax M3这个模型,在OSWorld上能拿75.2%,到了OSWorld-Pro上直接跌到28.9%,落差接近47个百分点。

这个结果其实给开源社区指了一条路。如果一个评测体系里,大家轻轻松松就能拿到90%以上,那这套评测很快就会失去区分度,没法指导后续的改进方向。OSWorld-Pro目前的分数分布,恰好处在一个"有挑战但没绝望"的区间,这正是它作为长期对标基准的价值所在。

团队还发现一个规律,开源模型在三类任务上的表现呈现明显梯度:冷门软件类任务表现最好,多软件协同类任务中等,跨系统环境适配类任务最差。这说明开源模型泛化到陌生Linux系统和桌面环境的能力,目前还是短板。一个合理的解释是,这些冷门系统环境在训练数据里本就稀缺,毕竟没有哪家公司会费劲去专门优化AlmaLinux或者MATE桌面下的使用体验,这类数据天然就少。

模型越大越聪明?这事没那么简单

团队还做了一个很有意思的对比,想搞清楚"参数规模大是不是就等于表现好"。

答案出人意料:没有明显证据表明参数规模越大表现就越好

比如在Claude家族里,Sonnet 5的表现反而超过了体量更大的Opus 5,却又不如Opus 4.7和4.8。GPT-5.6家族里,Luna的表现超过了体量更大的Terra,却又比不上最大的Sol。

但团队发现了一个补偿机制:体量较小的模型,往往会用更多的操作步数来弥补能力上的差距。比如Luna平均要用60.2步完成任务,而Sol只需要54.9步。Sonnet 5需要108.7步,而Opus 5只需要76.0步。这就像一个经验不够丰富的工匠,靠多试几次、多修几遍来弥补手艺上的不足,最终也能把活干完,只是耗时更长。

开源模型这边的情况更复杂。同样是Qwen家族、参数量级相近的两个模型,Qwen 3.8的27B版本拿到32.1%,而上一代Qwen 3.6的27B版本只拿到10.2%,差了整整22个百分点。这说明训练方式、调优策略对最终表现的影响,可能比单纯堆参数更关键。

这个发现其实挺反直觉的。我们通常会下意识认为"更大的模型=更聪明的模型",但这套测试告诉我们,真正决定AI能不能把电脑用好的,未必是脑子多大,而是有没有针对这类任务做过专门的训练。

效率这件事,比你想象的更重要

光看任务完不完成还不够,现实世界里用AI做事,时间和成本同样重要。

论文给出了三个衡量效率的维度:操作步数、输出的文字量(token数)、实际花费的金钱成本。这三者关心的角度不太一样,在意响应速度的人会盯着步数和token量,在意钱包的人只盯着实际花费。

一个有趣的现象是,有些模型步数少但token量巨大。比如Kimi K3只用42.2步就完成任务,但产生了超过12万个输出token。原因在于底层的操作库支持一步做多个动作,所以Kimi K3把很多操作压缩进了更少的步骤里,但每一步要想清楚该做什么,需要更多的"思考文字"去支撑。

另一个扎心对比是成本差异能达到20倍。完成同一个任务,GPT-5.6-Luna平均花费0.51美元,而GPT-5.6-Sol平均花费9.56美元,中间差了将近19倍,但两者的任务完成率其实很接近(74.4%对74.8%)。这说明贵不一定等于好,便宜也不一定意味着能力差。对于真正要把AI用到生产环境里的团队来说,这种性价比的权衡,可能比追逐榜单第一名更现实。

哪类操作最容易让AI栽跟头

过程评测真正的杀手技能,是能告诉你AI具体在哪一类操作上容易出错。研究团队按照动作类型(点击、拖拽、键盘输入、滚动等)分别统计了每种操作带来实际进展的概率。

结果显示,大多数主流模型在点击操作上表现不错,但Minimax M3和Kimi K3是明显的例外。团队翻看了Minimax M3的具体操作记录,发现它经常连最基本的点击坐标都对不准,比如想关闭一个窗口,结果没点到真正的关闭按钮上。这种基础操作的失误率,反映在数字上就是:Minimax M3和Kimi K3的点击类操作成功率只有39.0%到41.9%,而Claude和GPT-5.6这类强模型能做到72.4%到92.5%。

Claude Opus 4.8相比它的上一代Opus 4.7,在点击操作上从86.3%提升到92.5%,在拖拽和移动操作上更是从41.0%大幅跃升到74.3%,说明这一代模型应该专门针对鼠标操作做了训练优化。

Claude系列在键盘输入和滚动操作上的表现同样突出,普遍超过89%和84%,远远甩开其他所有模型,这两项上没有任何其他模型能达到80%。

值得一提的是,开源模型里的Qwen 3.8系列表现亮眼,尽管体量只有27B到125B,比其他428B到2.8T规模的大模型小了一个量级,甚至比自己上一代同体量的Qwen 3.5和3.6都强出一截,这透露出一个信号:针对图形界面操作做专门的训练,效果可能比单纯堆参数量更直接。

AI完成了所有任务,却在半路发了59步的呆

过程评测最打动人的发现,是揪出了一种光看结果根本看不见的问题:模型虽然最终完成了所有子目标,但中间却极度低效。

论文里给出一个具体案例。Claude Opus 5在处理一个"给幻灯片标题页插入logo并调整位置"的子目标时,卡在了一个长达59步的停滞期里。在这59步里,它做的所有操作全部执行成功,没有任何错误,但这些操作统统和目标无关。它跑去调整了主幻灯片的字体样式,修复了主题颜色,又在单页层级重复了一遍同样的操作,折腾了一大圈之后,才回过头来完成真正该做的事,插入logo并调整位置。

这个场景特别像你让一个同事去把会议室的投影仪打开,结果他走进会议室之后,先把桌子擦了一遍,整理了白板笔,调整了窗帘的角度,最后才想起来去按投影仪的开关。每一步他做的事都没出错,但大部分时间都花在了和你交代的任务毫不相干的事情上。如果公司只按"投影仪开没开"来发工资,你永远不会知道这位同事浪费了多少本可以节省的时间。而过程评测,就是那个把每一步都记录下来、告诉你问题出在哪个环节的监控系统。

为了量化这种现象,研究团队定义了三个指标。一个叫"成功投入度",衡量模型完成一个子目标平均用了多少步,数字越低说明越直接高效。GPT-5.6-Sol和Kimi K3在这项上表现最好,平均只用4.9步和5.1步,而Sonnet 5和Minimax M3分别需要9.9步和21.2步。

另一个叫"失败坚持度",衡量模型在一个子目标最终没做成的情况下,到底折腾了多少步才放弃,这项数字和成功投入度的表现基本呈正相关。

第三个叫"无效坚持度",衡量模型面对一个根本做不到的任务时,要折腾多少步才意识到这是白费功夫。Opus 5在这项上表现出色,平均只需9.5步就能认清现实及时收手,GPT-5.6-Terra也只需12.1步。相比之下,Sonnet 5平均要磨蹭39.8步才肯放弃,这种"死磕到底"的倾向,放在真实工作场景里恐怕会让用户的耐心耗尽。

Q&A

Q1：OSWorld-Pro是什么？

A：OSWorld-Pro是NVIDIA团队推出的一套针对AI电脑操作能力的过程评测体系，包含300多个长任务、2800多个子目标和超过6.7万条人工标注，专门用来检测AI在完成复杂任务过程中的具体表现，而不只是看最终结果。

Q2：OSWorld-Pro和OSWorld有什么区别？

A：OSWorld只看任务最终完成的文件结果，不管中间过程怎么样；OSWorld-Pro把任务拆成一串有依赖关系的子目标，逐步检查AI在每一步上到底进展到哪里，能精确定位失败发生的具体环节和效率问题。

Q3：目前表现最好的AI模型在OSWorld-Pro上能拿多少分？

A：表现最好的是Claude Opus 4.8，拿到77.7%的总分，而顶尖开源模型只能拿到55.1%，远低于它们在OSWorld上普遍超过80%的成绩，说明OSWorld-Pro的挑战难度明显更高。