OS-Helix让智能体手眼并用:纯加工具接口成功率反降2个百分点
2024年底,OSWorld这个基准测试出现时,很多人以为通用电脑操作智能体的好日子快来了。毕竟GPT-4V能看图了,能点按钮了,能在屏幕坐标上找东西了。结果两年过去,榜单最靠前的纯图形界面智能体,成功率还在30%到40%这个区间里挣扎。同一批模型,换个基准,成绩又能翻倍。你可能不知道,就在这样的背景下,有一批研究者做
图形界面智能体到2024年底时,成功率还卡在30%到40%之间。可同一批模型换一个基准去测,分数又能翻上一倍。
就在这种局面下,有研究者做了个近乎"自废武功"的试验:给一个成功率34%的图形界面智能体直接配上执行代码的能力,再测一遍。结果掉到了32%。
工具给到手,反而更笨了。这话听着不合常理,可它正是
得先交代这篇论文到底在讨论什么。
瓶颈在哪?论文一开篇就点得很直接。
屏幕上的按钮,有的是小图标,有的是纯色文字,有的还被弹窗挡掉一半,视觉定位一出错,后面就全崩。更难缠的是另一类活:八百行的表格要按条件重新归类,一批PDF要照规律改名下载。这种任务拿鼠标去点,就算支持批量操作,也跟用筷子夹米粒一样费劲。
于是自然而然有人想:给智能体开个终端不就成了?代码一次能处理几百行数据,能循环着批量干,人类要花五分钟的事它几秒就完。这个思路几乎每家做智能体的团队都试过,做法是在推理阶段外挂一个工具调用接口。
论文一句话就把这条路堵上了:只在提示词层面拼装工具,换不来图形界面与代码之间真正的协同。
这句话摘要里就写了,真正撑住它的是论文第2页那张表。34%到32%,两个百分点的落差,底下是行为模式的整体偏移。模型并非"多了个工具随手用用",而是被这个新工具带偏了。
原因何在?论文给出的解释是:基座模型此前一直只在纯图形界面上训练,它学到的决策边界里压根没有"何时该转向代码"这一项。动作空间里突然被塞进一个完全陌生的选项,它没有相应的先验知识去判断这选项适合什么场景。结果一些本该动鼠标的地方,它开始试着写脚本。脚本一失败,任务就崩。
这里有个判断很要害,也是整篇论文的出发点:
协同能力属于策略层面的问题,不是接口能解决的,得靠训练把它内化进模型。
说白了,一个从没学过"两条路该怎么挑"的司机,你不能指望他拿到导航仪就会跑山路。选路线的本事,得先长在他脑子里。
接下来就变成工程问题了:想让模型学会这件事,先得有大量"手眼配合"的示范数据,可这类数据现实里基本不存在。谁也不会把自己编辑表格的全过程录下来,还给每一步标好心里的盘算。所以论文的第一大贡献不在算法,而在造数据的那套基础设施。
先说这个叫
大致是说,研究者把一台Ubuntu虚拟机的桌面拆成了两个能随意拼装的零件库。一头是45款应用,从
两边由一张兼容性图连着。谁跟谁能配上,不是拍脑袋定的,而是照"这个应用能不能打开这种格式"来连边。一个.pptx文件既能连到LibreOffice Impress,也能连到WPS演示,两条边都算数,具体走哪条看应用配置里记的初始化概率。比如PyCharm的配置写着:10%的概率空着启动,90%的概率带着一个Python项目启动,路径从素材库里随机抽。
打个比方,这像餐厅后厨的备料。厨师不用每天现场洗菜切菜,而是有个恒温冷库,里头按菜品分好一袋袋净菜,标着保质期和做法。客人点单,厨房照菜单取那一袋,两分钟出菜。不这么干的话,每个新任务都得从"装系统、装软件、找文件"起步,一台机器半小时才备出一个样本,一天产出几十条数据,训练一个27B参数的模型远远不够。代价是兼容性规则得提前一条条写清楚,新加一款软件就补一份配置,但这笔一次性成本换来的是能并行开上百台沙箱、批量复现同一初始状态。
光有环境还不行,任务指令得有人来写。这一步论文用了个挺有意思的设计:
它是这么干的:抽一个应用,打开,看看里头有哪些文件,点两下、滚两下、瞧瞧界面长什么样,然后退出来,依据看到的真实状态写一条像人话的任务指令。全程只许只读操作,不许输入文字,不许保存,不许改动任何东西。为什么卡这么严?因为它一旦动了状态,后面生成的标准答案就站不住脚了。
更巧的是
指令写完后,还有一个独立的
这里是有意做成解耦的。指令一经接受就冻结,评估器只能对着这份冻结的指令去搭验证逻辑,不许回头改题面。好比出题和阅卷必须分给两个人:同一个人既出题又阅卷,很容易不知不觉把题出成"只有自己那种解法能得分"的样子。
评估器的搭建遵循一个叫
凡是能落成文件、或者在命令行里读出状态的结果,都尽量物化成虚拟机里的一个文件表示,再用Python写的规则函数逐项打勾。网页上的内容可以下载后序列化,内存里的结果可以导出,答案可以写成txt。只有那些真没法程序化读出来的,比如画布上的排版效果,才交给视觉模型去判。
规则评估器
再讲强化学习阶段。
至此,模型通过监督微调已经掌握了基本的动作语法,但还没能在两条执行路径之间自如切换。
紧接着,研究者碰到了一个很典型的麻烦。
训练推进下去,模型调用代码的比例一路往上走,任务成功率反而往下掉。论文对此的判断是:问题不在学习率,而在于奖励分配机制存在结构性的缺陷。
展开说:一个混合动作训练样本里,一次点击可能不过几十个token,而一段bash脚本动辄上千个token。标准
GSPO*的做法是把整条序列的重要性权重聚合成一个标量比率,这种优化方法比逐token计算的PPO更稳,但聚合方式本身会带来粒度上的失衡。所谓GSPO*,即Group Sequence Policy Optimization。
后果可以借一个场景来看。你带一个实习生做项目,他每天干三件事:打两个电话,写一份两页的报告。如果按字数算绩效,报告的贡献会压倒性地盖过打电话。半年后他学到的是什么?把报告写到十页,因为那才计分;电话打得对不对,已经无所谓了。模型遇到的情况一模一样:代码步骤天生字多,在梯度里它说了算,结果模型学会的是"多写代码",而不是"该写代码时写代码"。
论文给出的补丁叫步平衡GSPO。改动只在一处:聚合时不再按token数量加权,而是先算出每个动作步骤内部的平均对数权重,再对所有步骤做等权平均。GUI步和代码步各占一份,都是1.0。
这个改动在数学上带来什么变化,论文附录E里推得很干净:动作步骤k的聚合标量梯度系数,原先依赖该步骤的token数,现在与token数无关。这是一条可验证的性质,不是经验性的trick。
代价也清楚:它放弃了对长步骤的天然重视,长代码里那些细节token的贡献被均摊了。论文自己承认,这并不等价于让不同长度动作的完整参数梯度范数相等,只是在标量系数这一层切断了长度依赖。所以说,它解决的是"漂移",不是"路由最优"。
数据上的对比很直接。同样的SFT初始化、同样的采样策略、同样的奖励信号,标准GSPO把成功率从62.75%拉低到60.47%,代码动作占比从27.9%涨到40.0%;换成步平衡GSPO,成功率升到66.44%,代码占比26.1%,几乎没动。
接下来看结果。
OSWorld-Verified| 方法 | 设置 | 操作系统 | 办公 | 日常 | 专业 | 工作流 | 平均 ||---|---|---|---|---|---|---|---|
| OS-Symphony w/
GPT-5 | 混合 | 79.17 | 65.73 | 67.76 | 69.23 | 57.98 | 65.84 |
| Agent S3 w/ GPT-5 | 混合 | 77.50 | 66.46 | 61.23 | 69.80 | 51.37 | 62.63 |
| Claude Sonnet 4.5 | 图形界面 | 70.83 | 72.59 | 61.35 | 63.27 | 49.54 | 62.88 |
| Kimi K2.6 | 图形界面 | 79.17 | 80.03 | 77.11 | 81.63 | 54.97 | 73.07 |
| Qwen3.5-27B(复现) | 混合 | 66.67 | 39.26 | 58.79 | 49.96 | 38.29 | 46.50 |
| Qwen3.5-35B-A3B(复现) | 混合 | 69.57 | 40.94 | 46.21 | 52.22 | 31.01 | 42.84 |
| OS-Helix-35B-A3B | 混合 | 60.87 | 70.00 | 52.19 | 56.31 | 45.14 | **57.27** |
| OS-Helix-27B | 混合 | 75.00 | 72.60 | 58.32 | 56.49 | 54.28 | **62.75** |
| OS-Helix-27B-RL | 混合 | 82.61 | 69.14 | 65.01 | 79.59 | 53.32 | **66.44** |
先看第一组数,最刺眼的是办公那一列:27B版从自家混合基线的39.26跳到72.60,涨了33.3个点;工作流从38.29到54.28,涨了16.0。
涨幅最集中的为什么是办公和工作流这两个域?办公域的任务,典型样子是“先把这份Calc表格的数据整理好,再导入Impress做成图表”,其中一部分要看渲染效果才能判断,属于视觉活;另一部分是几百行结构化数据的精确变换。工作流域则要跨应用传信息:先在浏览器里查到一个数值,再到表格里填进去。这两类活,光靠鼠标或光靠脚本都干不好,非得两条路配合。涨得最猛的地方,正好说明能力是从哪来的。
35B-A3B那一行有个反常的地方:操作系统域掉了8.7个点。论文没有绕开,但也没往下挖,这一点本身就该记下来。
泛化又是怎么来的?论文的失败分析给了一条有意思的线索:余下的差距主要不在策略层,而在具体的系统命令层。模型常常大方向选对了,然后卡在写
消融实验里有几组结果特别有看头。
只做RL、去掉SFT,成功率48.20%,相比未训练的46.50%只高出1.7个点。可见主力是SFT,RL负责精修。SFT加RL合计66.44%,两者并不重叠,各管一段。
推理时把代码访问禁掉,同一个OS-Helix检查点掉到52.13%。换句话说,27.9%的代码动作撑起了10.62个点。再把SFT数据从混合换成纯图形界面,规模一样是1万条,混合60.61%,纯图形界面57.56%,相差3.05个点。这3个点说明:光有代码工具不够,还得有人教过模型什么时候该用。
还有一个更狠的对调实验。把Qwen3-VL-32B-Instruct的代码能力打开、但不训练,成绩从34.17%掉到32.68%。还是同一个模型、同样的工具,训练之后跳到50.56%,涨了17.88个点。这组数据把“工具可得”和“策略学会”彻底分成了两件事。
论文正文里的两张行为图,信息密度很高。
图3左半边讲的是效率。三根柱子并排比平均交互步数:全部任务上纯图形界面19.47步,混合基线21.01步,OS-Helix只要17.25步。右边那条累积成功率曲线更直观:横轴是允许的步数预算,纵轴是成功率,OS-Helix那条线从很靠左的位置就甩开了另外两条。步数更少、完成的任务更多,这是学会路由带来的效率红利,不是靠更大的模型硬算出来的。
图4左上角那条代码动作占比曲线,是整篇论文在学术层面最出彩的一张图。标准GSPO是红线,随着训练步数增加,代码占比从30%持续升到50%以上,且起伏明显。步平衡GSPO是绿线,基本停在30%附近,几乎不漂。两条线起点相同,之后走势分开,正是这个对照,让所谓“结构缺陷”从说法变成了肉眼可见的证据。
论文还做了一次手动轨迹审计,从30条工作流任务的成功轨迹里逐条检查模态切换。27条有实质性的跨模态交接,其中22条属于“一种模态验证或修复另一种模态的产出”。这个数字比总体成功率更能说明协同真的发生了,而不是碰巧两条路各自都能过关。
最典型的一例:智能体先通过代码画出一张簇状柱形图,再回到图形界面查看渲染效果,结果发现只剩Sales这一组数据,COGS那组不见了。代码路径里根本察觉不到这个问题,因为代码逻辑本身没毛病,出错的是库的默认参数。看到图之后,它返回去修改代码,把第二组数据补上。
反过来的例子也有。先在幻灯片里手动加上批注、把标题加粗,然后用
最后说说论文自己承认的窟窿,这部分其实比结论更值得读。
其一,评估器很脆。假如一篇论文的最终状态要求“保留原始格式”,而格式又涵盖隔行底纹、货币符号、边框粗细这些东西,那么走代码路径做出来的结果常常是看着不丑、但就是不对,而规则检查很可能抓住这些细节,把分数直接判成零。反过来说,如果指令只写了“保留格式”,却没讲清格式究竟指哪些内容,模型就会挑一个对自己更容易达成的解释。问题不在模型,而在任务描述和验证覆盖之间留出的那道缝。
其二,在线强化学习里策略这条路被彻底排除了,原因是视觉判断太不稳,容易滑向奖励作弊。于是训练任务池只能收进“脚本能打分”的那一部分,任务类型的丰富程度也就被压窄了。
其三,强化学习只跑过27B的稠密模型。35B-A3B那个专家版本在SFT阶段表现不错,可混合专家架构在训练与推理一致性、优化稳定性上带来的麻烦,让这条流水线眼下还撑不起来。论文已将这一点明确写入未来工作。
其四,也是我本人认为最有意思的一条:数据合成流水线天生就造不出不可行的任务。原因在于它是从“可执行的目标状态”倒推出指令。结果就是模型不太会主动讲“这个任务做不了”,而是一直试到步数用完。论文为此做了一项诊断:把两个基准中不可行的任务去掉后,平均成功率能提高3到5个点。
再往深里想一层:眼下训练的这批智能体,学的是“怎么把事办成”,可真实世界里有相当一部分工作,恰恰是“判断这事办不成,然后往上报”。一个从不说“不”的助手,和一个会掂量后果再报价的顾问,差距不在能力,而在敢不敢承认边界。偏偏这条边界,正是当前数据构造方式从结构上就排除在外的。
Q&A
Q1:OS-Helix是什么?
A1:OS-Helix由上海AI实验室等机构提出,是一种计算机操作智能体。它把鼠标点击与代码执行统一进同一个策略,由模型自行判断何时该点界面、何时该写脚本,在OSWorld基准上成功率做到66.44%。
Q2:为什么给智能体加代码工具反而会让它变差?
A2:论文实测显示,给一个纯图形界面模型直接配上代码工具,成功率反而从34%降到32%。原因在于模型没学过如何权衡这两种动作,原本该点击的位置开始乱写脚本,把已经学会的行为破坏了,可见协同能力得靠训练才能得到。
步平衡GSPO究竟解决了什么问题?
按token数聚合权重是标准GSPO的做法。长代码步骤的权重会压过短点击步骤,训练中模型因此越来越偏向写代码,成功率不升反降。步平衡GSPO改为让每个动作步骤等权,梯度系数不再依赖token长度,成功率从60.47%回到66.44%。