通用图形界面操作
直接处理屏幕原始像素,用虚拟鼠标和键盘完成点击、滚动、输入,不用为每个系统或网站写专用 API,同一套动作空间可跨环境使用。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
CUA 是 OpenAI 于 2025 年 1 月 23 日发布的研究预览模型,把 GPT-4o 的视觉能力与强化学习推理结合,通过屏幕像素、虚拟鼠标与键盘来操作软件,不需要为每个系统或网站单独写 API。在 OSWorld 完整电脑操作任务上成功率为 38.1%,WebArena 为 58.1%,WebVoyager 为 87%。它目前只随 Operator 研究预览在 operator.chatgpt.com 面向美国 Pro 档用户开放,遇到登录、验证码等敏感步骤会要求用户确认,整体仍处于早期阶段。
CUA 是 OpenAI 在 2025 年 1 月 23 日公布的研究预览模型,全称 Computer-Using Agent,用来驱动 Operator 这个能替用户上网执行任务的智能体。它面向的是需要让 AI 直接操作软件的开发者和高级用户,而不是只做文本问答的场景。
它的做法是把 GPT-4o 的视觉能力与通过强化学习获得的推理能力结合,直接读取屏幕像素,再通过虚拟鼠标和键盘完成点击、滚动、输入等动作,因此不依赖操作系统或网站专用的 API,能在各种图形界面里工作。运行方式是一个循环:截取屏幕加入上下文作为感知,用思维链推理下一步,再执行动作,直到任务完成或需要用户介入。
不同用户的使用方式不一样。普通用户通过 Operator 在 operator.chatgpt.com 上以美国 Pro 档身份体验;开发者关注的是它作为通用动作空间的潜力,用来构建跨系统的自动化;团队则需要评估它在多步任务、错误处理和突发变化下的稳定性,以及敏感操作要求确认带来的流程影响。
直接处理屏幕原始像素,用虚拟鼠标和键盘完成点击、滚动、输入,不用为每个系统或网站写专用 API,同一套动作空间可跨环境使用。
把截图加入模型上下文进行感知,用思维链推理下一步,再执行动作,循环推进直到任务完成或需要用户输入,能评估观察结果并动态调整。
能把任务拆成多步计划,导航多步流程、处理错误并适应突发变化,适合填表单、走网站流程这类没有现成 API 的操作。
大多数步骤自动执行,但涉及输入登录信息或响应 CAPTCHA 表单等敏感动作时会先向用户请求确认,把最终控制权交回使用者。
在 OSWorld 完整电脑操作任务上成功率 38.1%,WebArena 网页任务 58.1%,WebVoyager 87%,均以屏幕、鼠标、键盘这一套通用界面取得。
可用 Operator 研究预览实测多步任务的实际成功率,判断 CUA 这套通用动作空间是否值得接入自己的工作流。
填表单、走网站流程这类没有开放接口的操作适合交给它,但每一步都依赖屏幕识别,复杂界面下需要人工盯住结果。
OSWorld 完整电脑任务成功率 38.1%,多数步骤会出错或需要接管,目前还不适合直接放进没有人工复核的生产流程。
Operator 研究预览目前面向美国 Pro 档用户开放,其他地区用户暂时无法直接使用。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| OSWorld 完整电脑任务成功率 | 38.1% | OpenAI Computer-Using Agent 发布页 |
| OSWorld 此前最佳成功率 | 22.0% | OpenAI Computer-Using Agent 发布页 |
| OSWorld 人类成功率 | 72.4% | OpenAI Computer-Using Agent 发布页 |
| WebArena 成功率 | 58.1% | OpenAI Computer-Using Agent 发布页 |
| WebArena 此前最佳成功率 | 57.1% | OpenAI Computer-Using Agent 发布页 |
| WebArena 人类成功率 | 78.2% | OpenAI Computer-Using Agent 发布页 |
| WebVoyager 成功率 | 87.0% | OpenAI Computer-Using Agent 发布页 |
| WebVoyager 此前最佳成功率 | 56.0% | OpenAI Computer-Using Agent 发布页 |
聊天模型输出文字,CUA 输出的是屏幕上的动作。它读取屏幕原始像素作为感知,用虚拟鼠标和键盘执行点击、滚动、输入,再把新截图放回上下文继续推理,直到任务完成或需要用户确认。这样它不需要操作系统或网站专用的 API,就能在多种图形界面里执行填表单、走网站流程这类任务。
在 2025 年 1 月 23 日公布的结果里,OSWorld 完整电脑操作任务成功率为 38.1%,此前最佳为 22.0%;WebArena 网页任务为 58.1%,此前最佳为 57.1%;WebVoyager 为 87.0%。同一套屏幕、鼠标、键盘的通用界面同时跑这几项基准,是它区别于单一场景方案的地方。
可以,但范围有限。CUA 目前通过 Operator 的研究预览开放,入口是 operator.chatgpt.com,先面向美国的 Pro 档用户。OpenAI 表示会先收集真实使用反馈来完善安全措施,再逐步扩大范围,所以其他地区和非 Pro 档用户暂时还用不上。
不会全自动。大部分步骤由它自己完成,但当动作涉及输入登录信息或响应 CAPTCHA 表单时,它会先向用户请求确认。这属于它安全设计的一部分,目的是让使用者在敏感环节保留最终决定权,而不是把账号操作完全交给模型。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| CUA本工具 | 4.4 | 未标价 | 通用图形界面操作;感知推理动作循环;多步任务与纠错;敏感操作需确认 | Web |
| OpenPhone API | — | API 访问包含在 Quo 套餐内,出站短信按分段计费 | 自动化消息和构建自定义工作流程的通信接口 | Web / API |
| WoolyAI | — | 未标价 | WoolyAI 是一种通过解耦 CUDA 执行与 GPU 来实现无限制 AI 基础设施管 | — |
| PoloAPI | — | 未标价 | OpenAI 接口聚合管理平台 | — |
| SunoAI API | — | 未标价 | 开源项目,实现 AI 音乐服务的 API 接口 | — |
| 多奥淘宝客 | — | 未标价 | 开源淘宝 API 接口程序 | — |
OpenAI 公布 Computer-Using Agent,并同步开放 Operator 研究预览,入口为 operator.chatgpt.com,先面向美国 Pro 档用户。