OS-Helix让智能体手眼并用:纯加工具接口成功率反降2个百分点

资讯 腾讯网 作者:科技行者 全文 5948 字 · 约 15 分钟读完 配图 1 张 分类GPTOpenAI智能体

2024年底,OSWorld这个基准测试出现时,很多人以为通用电脑操作智能体的好日子快来了。毕竟GPT-4V能看图了,能点按钮了,能在屏幕坐标上找东西了。结果两年过去,榜单最靠前的纯图形界面智能体,成功率还在30%到40%这个区间里挣扎。同一批模型,换个基准,成绩又能翻倍。你可能不知道,就在这样的背景下,有一批研究者做

所属频道 大厂动态ChatGPT 与 GPT智能体与 Agent

图形界面智能体到2024年底时,成功率还卡在30%到40%之间。可同一批模型换一个基准去测,分数又能翻上一倍。

就在这种局面下,有研究者做了个近乎"自废武功"的试验:给一个成功率34%的图形界面智能体直接配上执行代码的能力,再测一遍。结果掉到了32%。

工具给到手,反而更笨了。这话听着不合常理,可它正是

得先交代这篇论文到底在讨论什么。

瓶颈在哪?论文一开篇就点得很直接。

屏幕上的按钮,有的是小图标,有的是纯色文字,有的还被弹窗挡掉一半,视觉定位一出错,后面就全崩。更难缠的是另一类活:八百行的表格要按条件重新归类,一批PDF要照规律改名下载。这种任务拿鼠标去点,就算支持批量操作,也跟用筷子夹米粒一样费劲。

于是自然而然有人想:给智能体开个终端不就成了?代码一次能处理几百行数据,能循环着批量干,人类要花五分钟的事它几秒就完。这个思路几乎每家做智能体的团队都试过,做法是在推理阶段外挂一个工具调用接口。

论文一句话就把这条路堵上了:只在提示词层面拼装工具,换不来图形界面与代码之间真正的协同。

这句话摘要里就写了,真正撑住它的是论文第2页那张表。34%到32%,两个百分点的落差,底下是行为模式的整体偏移。模型并非"多了个工具随手用用",而是被这个新工具带偏了。

原因何在?论文给出的解释是:基座模型此前一直只在纯图形界面上训练,它学到的决策边界里压根没有"何时该转向代码"这一项。动作空间里突然被塞进一个完全陌生的选项,它没有相应的先验知识去判断这选项适合什么场景。结果一些本该动鼠标的地方,它开始试着写脚本。脚本一失败,任务就崩。

这里有个判断很要害,也是整篇论文的出发点:

协同能力属于策略层面的问题,不是接口能解决的,得靠训练把它内化进模型。

说白了,一个从没学过"两条路该怎么挑"的司机,你不能指望他拿到导航仪就会跑山路。选路线的本事,得先长在他脑子里。

接下来就变成工程问题了:想让模型学会这件事,先得有大量"手眼配合"的示范数据,可这类数据现实里基本不存在。谁也不会把自己编辑表格的全过程录下来,还给每一步标好心里的盘算。所以论文的第一大贡献不在算法,而在造数据的那套基础设施。

先说这个叫

大致是说,研究者把一台Ubuntu虚拟机的桌面拆成了两个能随意拼装的零件库。一头是45款应用,从

两边由一张兼容性图连着。谁跟谁能配上,不是拍脑袋定的,而是照"这个应用能不能打开这种格式"来连边。一个.pptx文件既能连到LibreOffice Impress,也能连到WPS演示,两条边都算数,具体走哪条看应用配置里记的初始化概率。比如PyCharm的配置写着:10%的概率空着启动,90%的概率带着一个Python项目启动,路径从素材库里随机抽。

打个比方,这像餐厅后厨的备料。厨师不用每天现场洗菜切菜,而是有个恒温冷库,里头按菜品分好一袋袋净菜,标着保质期和做法。客人点单,厨房照菜单取那一袋,两分钟出菜。不这么干的话,每个新任务都得从"装系统、装软件、找文件"起步,一台机器半小时才备出一个样本,一天产出几十条数据,训练一个27B参数的模型远远不够。代价是兼容性规则得提前一条条写清楚,新加一款软件就补一份配置,但这笔一次性成本换来的是能并行开上百台沙箱、批量复现同一初始状态。

光有环境还不行,任务指令得有人来写。这一步论文用了个挺有意思的设计:

它是这么干的:抽一个应用,打开,看看里头有哪些文件,点两下、滚两下、瞧瞧界面长什么样,然后退出来,依据看到的真实状态写一条像人话的任务指令。全程只许只读操作,不许输入文字,不许保存,不许改动任何东西。为什么卡这么严?因为它一旦动了状态,后面生成的标准答案就站不住脚了。

更巧的是

指令写完后,还有一个独立的

这里是有意做成解耦的。指令一经接受就冻结,评估器只能对着这份冻结的指令去搭验证逻辑,不许回头改题面。好比出题和阅卷必须分给两个人:同一个人既出题又阅卷,很容易不知不觉把题出成"只有自己那种解法能得分"的样子。

评估器的搭建遵循一个叫

凡是能落成文件、或者在命令行里读出状态的结果,都尽量物化成虚拟机里的一个文件表示,再用Python写的规则函数逐项打勾。网页上的内容可以下载后序列化,内存里的结果可以导出,答案可以写成txt。只有那些真没法程序化读出来的,比如画布上的排版效果,才交给视觉模型去判。

规则评估器

再讲强化学习阶段。

至此,模型通过监督微调已经掌握了基本的动作语法,但还没能在两条执行路径之间自如切换。

紧接着,研究者碰到了一个很典型的麻烦。

训练推进下去,模型调用代码的比例一路往上走,任务成功率反而往下掉。论文对此的判断是:问题不在学习率,而在于奖励分配机制存在结构性的缺陷。

展开说:一个混合动作训练样本里,一次点击可能不过几十个token,而一段bash脚本动辄上千个token。标准

GSPO*的做法是把整条序列的重要性权重聚合成一个标量比率,这种优化方法比逐token计算的PPO更稳,但聚合方式本身会带来粒度上的失衡。所谓GSPO*,即Group Sequence Policy Optimization。

后果可以借一个场景来看。你带一个实习生做项目,他每天干三件事:打两个电话,写一份两页的报告。如果按字数算绩效,报告的贡献会压倒性地盖过打电话。半年后他学到的是什么?把报告写到十页,因为那才计分;电话打得对不对,已经无所谓了。模型遇到的情况一模一样:代码步骤天生字多,在梯度里它说了算,结果模型学会的是"多写代码",而不是"该写代码时写代码"。

论文给出的补丁叫步平衡GSPO。改动只在一处:聚合时不再按token数量加权,而是先算出每个动作步骤内部的平均对数权重,再对所有步骤做等权平均。GUI步和代码步各占一份,都是1.0。

这个改动在数学上带来什么变化,论文附录E里推得很干净:动作步骤k的聚合标量梯度系数,原先依赖该步骤的token数,现在与token数无关。这是一条可验证的性质,不是经验性的trick。

代价也清楚:它放弃了对长步骤的天然重视,长代码里那些细节token的贡献被均摊了。论文自己承认,这并不等价于让不同长度动作的完整参数梯度范数相等,只是在标量系数这一层切断了长度依赖。所以说,它解决的是"漂移",不是"路由最优"。

数据上的对比很直接。同样的SFT初始化、同样的采样策略、同样的奖励信号,标准GSPO把成功率从62.75%拉低到60.47%,代码动作占比从27.9%涨到40.0%;换成步平衡GSPO,成功率升到66.44%,代码占比26.1%,几乎没动。

接下来看结果。

OSWorld-Verified| 方法 | 设置 | 操作系统 | 办公 | 日常 | 专业 | 工作流 | 平均 ||---|---|---|---|---|---|---|---|

| OS-Symphony w/ GPT-5 | 混合 | 79.17 | 65.73 | 67.76 | 69.23 | 57.98 | 65.84 |

| Agent S3 w/ GPT-5 | 混合 | 77.50 | 66.46 | 61.23 | 69.80 | 51.37 | 62.63 |

| Claude Sonnet 4.5 | 图形界面 | 70.83 | 72.59 | 61.35 | 63.27 | 49.54 | 62.88 |

| Kimi K2.6 | 图形界面 | 79.17 | 80.03 | 77.11 | 81.63 | 54.97 | 73.07 |

| Qwen3.5-27B(复现) | 混合 | 66.67 | 39.26 | 58.79 | 49.96 | 38.29 | 46.50 |

| Qwen3.5-35B-A3B(复现) | 混合 | 69.57 | 40.94 | 46.21 | 52.22 | 31.01 | 42.84 |

| OS-Helix-35B-A3B | 混合 | 60.87 | 70.00 | 52.19 | 56.31 | 45.14 | **57.27** |

| OS-Helix-27B | 混合 | 75.00 | 72.60 | 58.32 | 56.49 | 54.28 | **62.75** |

| OS-Helix-27B-RL | 混合 | 82.61 | 69.14 | 65.01 | 79.59 | 53.32 | **66.44** |

先看第一组数,最刺眼的是办公那一列:27B版从自家混合基线的39.26跳到72.60,涨了33.3个点;工作流从38.29到54.28,涨了16.0。

涨幅最集中的为什么是办公和工作流这两个域?办公域的任务,典型样子是“先把这份Calc表格的数据整理好,再导入Impress做成图表”,其中一部分要看渲染效果才能判断,属于视觉活;另一部分是几百行结构化数据的精确变换。工作流域则要跨应用传信息:先在浏览器里查到一个数值,再到表格里填进去。这两类活,光靠鼠标或光靠脚本都干不好,非得两条路配合。涨得最猛的地方,正好说明能力是从哪来的。

35B-A3B那一行有个反常的地方:操作系统域掉了8.7个点。论文没有绕开,但也没往下挖,这一点本身就该记下来。

泛化又是怎么来的?论文的失败分析给了一条有意思的线索:余下的差距主要不在策略层,而在具体的系统命令层。模型常常大方向选对了,然后卡在写

消融实验里有几组结果特别有看头。

只做RL、去掉SFT,成功率48.20%,相比未训练的46.50%只高出1.7个点。可见主力是SFT,RL负责精修。SFT加RL合计66.44%,两者并不重叠,各管一段。

推理时把代码访问禁掉,同一个OS-Helix检查点掉到52.13%。换句话说,27.9%的代码动作撑起了10.62个点。再把SFT数据从混合换成纯图形界面,规模一样是1万条,混合60.61%,纯图形界面57.56%,相差3.05个点。这3个点说明:光有代码工具不够,还得有人教过模型什么时候该用。

还有一个更狠的对调实验。把Qwen3-VL-32B-Instruct的代码能力打开、但不训练,成绩从34.17%掉到32.68%。还是同一个模型、同样的工具,训练之后跳到50.56%,涨了17.88个点。这组数据把“工具可得”和“策略学会”彻底分成了两件事。

论文正文里的两张行为图,信息密度很高。

图3左半边讲的是效率。三根柱子并排比平均交互步数:全部任务上纯图形界面19.47步,混合基线21.01步,OS-Helix只要17.25步。右边那条累积成功率曲线更直观:横轴是允许的步数预算,纵轴是成功率,OS-Helix那条线从很靠左的位置就甩开了另外两条。步数更少、完成的任务更多,这是学会路由带来的效率红利,不是靠更大的模型硬算出来的。

图4左上角那条代码动作占比曲线,是整篇论文在学术层面最出彩的一张图。标准GSPO是红线,随着训练步数增加,代码占比从30%持续升到50%以上,且起伏明显。步平衡GSPO是绿线,基本停在30%附近,几乎不漂。两条线起点相同,之后走势分开,正是这个对照,让所谓“结构缺陷”从说法变成了肉眼可见的证据。

论文还做了一次手动轨迹审计,从30条工作流任务的成功轨迹里逐条检查模态切换。27条有实质性的跨模态交接,其中22条属于“一种模态验证或修复另一种模态的产出”。这个数字比总体成功率更能说明协同真的发生了,而不是碰巧两条路各自都能过关。

最典型的一例:智能体先通过代码画出一张簇状柱形图,再回到图形界面查看渲染效果,结果发现只剩Sales这一组数据,COGS那组不见了。代码路径里根本察觉不到这个问题,因为代码逻辑本身没毛病,出错的是库的默认参数。看到图之后,它返回去修改代码,把第二组数据补上。

反过来的例子也有。先在幻灯片里手动加上批注、把标题加粗,然后用

最后说说论文自己承认的窟窿,这部分其实比结论更值得读。

其一,评估器很脆。假如一篇论文的最终状态要求“保留原始格式”,而格式又涵盖隔行底纹、货币符号、边框粗细这些东西,那么走代码路径做出来的结果常常是看着不丑、但就是不对,而规则检查很可能抓住这些细节,把分数直接判成零。反过来说,如果指令只写了“保留格式”,却没讲清格式究竟指哪些内容,模型就会挑一个对自己更容易达成的解释。问题不在模型,而在任务描述和验证覆盖之间留出的那道缝。

其二,在线强化学习里策略这条路被彻底排除了,原因是视觉判断太不稳,容易滑向奖励作弊。于是训练任务池只能收进“脚本能打分”的那一部分,任务类型的丰富程度也就被压窄了。

其三,强化学习只跑过27B的稠密模型。35B-A3B那个专家版本在SFT阶段表现不错,可混合专家架构在训练与推理一致性、优化稳定性上带来的麻烦,让这条流水线眼下还撑不起来。论文已将这一点明确写入未来工作。

其四,也是我本人认为最有意思的一条:数据合成流水线天生就造不出不可行的任务。原因在于它是从“可执行的目标状态”倒推出指令。结果就是模型不太会主动讲“这个任务做不了”,而是一直试到步数用完。论文为此做了一项诊断:把两个基准中不可行的任务去掉后,平均成功率能提高3到5个点。

再往深里想一层:眼下训练的这批智能体,学的是“怎么把事办成”,可真实世界里有相当一部分工作,恰恰是“判断这事办不成,然后往上报”。一个从不说“不”的助手,和一个会掂量后果再报价的顾问,差距不在能力,而在敢不敢承认边界。偏偏这条边界,正是当前数据构造方式从结构上就排除在外的。

Q&A

Q1:OS-Helix是什么?

A1:OS-Helix由上海AI实验室等机构提出,是一种计算机操作智能体。它把鼠标点击与代码执行统一进同一个策略,由模型自行判断何时该点界面、何时该写脚本,在OSWorld基准上成功率做到66.44%。

Q2:为什么给智能体加代码工具反而会让它变差?

A2:论文实测显示,给一个纯图形界面模型直接配上代码工具,成功率反而从34%降到32%。原因在于模型没学过如何权衡这两种动作,原本该点击的位置开始乱写脚本,把已经学会的行为破坏了,可见协同能力得靠训练才能得到。

步平衡GSPO究竟解决了什么问题?

按token数聚合权重是标准GSPO的做法。长代码步骤的权重会压过短点击步骤,训练中模型因此越来越偏向写代码,成功率不升反降。步平衡GSPO改为让每个动作步骤等权,梯度系数不再依赖token长度,成功率从60.47%回到66.44%。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
  2. GPT-6.2自己造出全新证法,94分钟拿下20年前顶刊定理首证

    刚刚,第三方评测机构Vals AI放出了高难数学基准Autoform-Hard的最新榜单。 56道博士与科研级数学难题,此前10个前沿大模型去测,结果一道都没做出来。 而在这轮测试里,Claude Fable 5.2和GPT-6.2 Sol双双做对48道,打成平手。 唯独GPT-6.2 Astra多做对了第49道题,拿

    来源 AI 行业观察
  3. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  4. 苹果自研Agent:3个岗位曝光,最快明年推出

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月20日消息,今日,据彭博社报道,苹果正自研Agent,并于11月17日至19日陆续发布3个相关招聘岗位,进一步披露其研发计划。苹果希望借此进入快速增长的Agent市场,与早已占据先发优势的OpenAI、Anthropic和Meta等科技公司展开竞

    来源 腾讯网
  5. OpenAI向部分Plus用户开放dots智能体体验

    IT之家 11 月 20 日消息,OpenAI 核心产品负责人蒂博 · 索蒂奥(Thibault Sottiaux)今天(11 月 20 日)在 X 平台发布推文,宣布邀请少量 ChatGPT Plus 用户测试 dots,同时宣布向所有 ChatGPT Business Standard 用户开放。IT之家今年 9

    来源 腾讯网
  6. 苹果自研AI智能体曝光:可操控设备、写代码,2027年底或落地

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  7. OpenAI用GPT-4o改芯片电路,AMD旗舰GPU能效最高提14%

    OpenAI 当地时间 18 日发布技术报告,披露 AI 辅助芯片设计进展。自研推理芯片 Jalapeño 2025 年初就交给 GPT-4o 打下手:模型重写浮点加法器、乘法器等电路,新乘法器综合后面积减约 15%、延迟压到一个时钟周期;合计向量计算单元面积减约 13%,矩阵计算单元减约 10%,

    来源 AI 开发者社区
  8. 苹果AI新布局:自研智能体操控Mac,对标四款竞品

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,

    来源 AI 科技快讯
  9. 苹果自研AI智能体曝光:招聘信息透露产品方向,对手已抢先落地

    苹果公司正开发自家AI智能体,以期与OpenAI、Anthropic竞争。11月19日,据彭博报道,苹果公司正在开发一款能够代替用户完成任务的自主人工智能智能体,正式进军由OpenAI、Anthropic、Meta等公司激烈角逐的赛道。此前11月18日苹果官网新增一条招聘信息,透露公司正在寻找一名高级工程经理,负责一款

    来源 腾讯网
  10. 苹果自研AI智能体曝光:让它替你操作Mac

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,苹果有机会

    来源 AI 行业观察
  11. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  12. 苹果自研AI智能体曝光:能操控设备写代码,2027年底或推出

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。 古尔曼发现,苹果已经在官网

    来源 AI 行业观察
  13. 谷歌Gemini 4再添Neon:中杯模型补位,Genie 4开放

    编辑|冷猫 一觉醒来,谷歌又双叒叕发 Gemini 4 模型了。 谷歌最近一直在基础模型上发力,从最高智能到最高效率的模型不停发布,为了重返王座真是拼了。 在 Carbon、Argon、Hydrogen 之后,填补最高智能和最高效率之间的「中杯」模型 Gemini 4 Neon 登场! Demis

    来源 AI 开发者社区
  14. 计算医学补AI制药短板:十部门规划提出新路径

    AI制药发展到今天,出现了一个有些反直觉的现象。 一边,是模型能力的快速跃迁。AlphaFold之后,蛋白质结构预测已经发生根本变化,生成式AI开始进入蛋白设计、小分子设计、抗体发现,生命科学基础模型、大模型和科研智能体不断出现。2026年,OpenAI发布面向生物学、药物发现和转化医学的GPT-Rosalind。Is

    来源 AI 行业观察
  15. Gemini上Mac可代操作电脑,Runway推270亿参数机器人模型

    本期重点包括Google向数亿用户免费开放Gemini Tasks,并在Mac端推出可代操作电脑的Computer use功能。Runway发布27B参数机器人世界模型Praxis-1,OpenAI开放GPT-Live-1.1语音API。此外,Cognition评测显示Gemini 4 Neon在代码任务上性价比突出,

    来源 AI 应用前沿
向下滚动自动加载更多