CUA

CUA

AI TOOL PROFILE工具资料

用屏幕、鼠标和键盘操作任意软件的通用界面模型。

官网地址 https://openai.com/index/computer-using-agent/

访问官网
价格官网未标价
平台Web
归类API 与算力
收录2025-01-23
复核2025-01-23
编辑评分 4.4 / 5

CUA编辑总结

EDITOR REVIEW编辑评测

CUA 是 OpenAI 于 2025 年 1 月 23 日发布的研究预览模型,把 GPT-4o 的视觉能力与强化学习推理结合,通过屏幕像素、虚拟鼠标与键盘来操作软件,不需要为每个系统或网站单独写 API。在 OSWorld 完整电脑操作任务上成功率为 38.1%,WebArena 为 58.1%,WebVoyager 为 87%。它目前只随 Operator 研究预览在 operator.chatgpt.com 面向美国 Pro 档用户开放,遇到登录、验证码等敏感步骤会要求用户确认,整体仍处于早期阶段。

CUA是什么?

CUA 是 OpenAI 在 2025 年 1 月 23 日公布的研究预览模型,全称 Computer-Using Agent,用来驱动 Operator 这个能替用户上网执行任务的智能体。它面向的是需要让 AI 直接操作软件的开发者和高级用户,而不是只做文本问答的场景。

它的做法是把 GPT-4o 的视觉能力与通过强化学习获得的推理能力结合,直接读取屏幕像素,再通过虚拟鼠标和键盘完成点击、滚动、输入等动作,因此不依赖操作系统或网站专用的 API,能在各种图形界面里工作。运行方式是一个循环:截取屏幕加入上下文作为感知,用思维链推理下一步,再执行动作,直到任务完成或需要用户介入。

不同用户的使用方式不一样。普通用户通过 Operator 在 operator.chatgpt.com 上以美国 Pro 档身份体验;开发者关注的是它作为通用动作空间的潜力,用来构建跨系统的自动化;团队则需要评估它在多步任务、错误处理和突发变化下的稳定性,以及敏感操作要求确认带来的流程影响。

CUA核心功能

CAPABILITIES工具标签

通用图形界面操作

直接处理屏幕原始像素,用虚拟鼠标和键盘完成点击、滚动、输入,不用为每个系统或网站写专用 API,同一套动作空间可跨环境使用。

感知推理动作循环

把截图加入模型上下文进行感知,用思维链推理下一步,再执行动作,循环推进直到任务完成或需要用户输入,能评估观察结果并动态调整。

多步任务与纠错

能把任务拆成多步计划,导航多步流程、处理错误并适应突发变化,适合填表单、走网站流程这类没有现成 API 的操作。

敏感操作需确认

大多数步骤自动执行,但涉及输入登录信息或响应 CAPTCHA 表单等敏感动作时会先向用户请求确认,把最终控制权交回使用者。

公开基准成绩

在 OSWorld 完整电脑操作任务上成功率 38.1%,WebArena 网页任务 58.1%,WebVoyager 87%,均以屏幕、鼠标、键盘这一套通用界面取得。

CUA适合谁用?

WHO IS IT FOR工具标签

想验证电脑自动化的开发者

推荐

可用 Operator 研究预览实测多步任务的实际成功率,判断 CUA 这套通用动作空间是否值得接入自己的工作流。

需要跨系统搬运数据的运营

有条件

填表单、走网站流程这类没有开放接口的操作适合交给它,但每一步都依赖屏幕识别,复杂界面下需要人工盯住结果。

追求稳定产出的企业流程

不推荐

OSWorld 完整电脑任务成功率 38.1%,多数步骤会出错或需要接管,目前还不适合直接放进没有人工复核的生产流程。

美国以外的个人用户

不推荐

Operator 研究预览目前面向美国 Pro 档用户开放,其他地区用户暂时无法直接使用。

CUA优点和缺点

PROS & CONS工具标签

优点

  • 不依赖专用 API,靠屏幕像素和虚拟鼠标键盘即可操作各类图形界面
  • 在 OSWorld 上取得 38.1% 成功率,高于此前最佳的 22.0%
  • WebVoyager 网页任务成功率达 87.0%
  • 把任务拆成多步计划,出错后能自行调整继续推进
  • 输入登录信息和响应 CAPTCHA 前会请求用户确认

缺点

  • 仍是研究预览,OpenAI 明确表示它尚处早期且有局限
  • 完整电脑操作任务成功率仅 38.1%,多数步骤仍需人工接管
  • 目前只通过 Operator 面向美国 Pro 档用户开放
  • 多步任务依赖屏幕识别,界面变化时稳定性会下降

CUA关键指标

MEASURED FACTS工具标签
指标数值数据来源
OSWorld 完整电脑任务成功率 38.1% OpenAI Computer-Using Agent 发布页
OSWorld 此前最佳成功率 22.0% OpenAI Computer-Using Agent 发布页
OSWorld 人类成功率 72.4% OpenAI Computer-Using Agent 发布页
WebArena 成功率 58.1% OpenAI Computer-Using Agent 发布页
WebArena 此前最佳成功率 57.1% OpenAI Computer-Using Agent 发布页
WebArena 人类成功率 78.2% OpenAI Computer-Using Agent 发布页
WebVoyager 成功率 87.0% OpenAI Computer-Using Agent 发布页
WebVoyager 此前最佳成功率 56.0% OpenAI Computer-Using Agent 发布页

CUA常见问题

FAQ工具标签
CUA 和普通聊天模型有什么区别?

聊天模型输出文字,CUA 输出的是屏幕上的动作。它读取屏幕原始像素作为感知,用虚拟鼠标和键盘执行点击、滚动、输入,再把新截图放回上下文继续推理,直到任务完成或需要用户确认。这样它不需要操作系统或网站专用的 API,就能在多种图形界面里执行填表单、走网站流程这类任务。

它的实际能力有多强?

在 2025 年 1 月 23 日公布的结果里,OSWorld 完整电脑操作任务成功率为 38.1%,此前最佳为 22.0%;WebArena 网页任务为 58.1%,此前最佳为 57.1%;WebVoyager 为 87.0%。同一套屏幕、鼠标、键盘的通用界面同时跑这几项基准,是它区别于单一场景方案的地方。

现在能直接用到吗?

可以,但范围有限。CUA 目前通过 Operator 的研究预览开放,入口是 operator.chatgpt.com,先面向美国的 Pro 档用户。OpenAI 表示会先收集真实使用反馈来完善安全措施,再逐步扩大范围,所以其他地区和非 Pro 档用户暂时还用不上。

遇到登录和验证码它会自己处理吗?

不会全自动。大部分步骤由它自己完成,但当动作涉及输入登录信息或响应 CAPTCHA 表单时,它会先向用户请求确认。这属于它安全设计的一部分,目的是让使用者在敏感环节保留最终决定权,而不是把账号操作完全交给模型。

CUA竞品对比

COMPARISON工具标签
工具编辑评分价格核心功能平台
CUA本工具 4.4 未标价 通用图形界面操作;感知推理动作循环;多步任务与纠错;敏感操作需确认 Web
OpenPhone API — API 访问包含在 Quo 套餐内,出站短信按分段计费 自动化消息和构建自定义工作流程的通信接口 Web / API
WoolyAI — 未标价 WoolyAI 是一种通过解耦 CUDA 执行与 GPU 来实现无限制 AI 基础设施管 —
PoloAPI — 未标价 OpenAI 接口聚合管理平台 —
SunoAI API — 未标价 开源项目,实现 AI 音乐服务的 API 接口 —
多奥淘宝客 — 未标价 开源淘宝 API 接口程序 —

CUA最新动态

CHANGELOG工具标签
  1. CUA 与 Operator 研究预览发布

    OpenAI 公布 Computer-Using Agent,并同步开放 Operator 研究预览,入口为 operator.chatgpt.com,先面向美国 Pro 档用户。