CUAWright：只用终端命令，3000行代码如何改写电脑智能体

让AI操作电脑，为什么非得学人点按钮、拖鼠标、盯着截图找坐标？这事看着顺理成章，细想却别扭。

电脑本来就是给人用鼠标键盘的，可AI模型最拿手的其实是写代码、处理结构化文本，偏偏被逼着去模仿人类最原始的交互方式。好比请来一位顶级程序员整理文件，不让他写脚本批量处理，非要他一个个右键点开、手动拖进文件夹。

来自微软研究院、俄亥俄州立大学、卡内基梅隆大学等机构的论文，提出了一个简单到有点返璞归真的方案：CUAWright。

CUAWright是一个只把终端命令当作唯一操作接口的AI智能体系统，全称可理解为“计算机使用智能体的终端化方案”。整套方案约3000行代码，却在多个权威测试基准上压过了复杂的GUI图形界面方案和混合方案。

眼下AI操作电脑有两条主流路子，走起来都不轻松。

一条是纯GUI方式：AI每走一步先截屏，看清屏幕现状，再预测该点哪个像素坐标、该在哪个输入框打字。OpenAI的computer-use智能体Operator、Claude Computer Use、Gemini Computer Use都是这么干的。

问题在于，截图只看得到表面，系统底层发生了什么一无所知；每一步都要截图再分析图像，又贵又慢，长任务跑下来上下文越堆越大，模型到后面容易迷路。

另一条是混合方案，比如CoAct-1这类工作，安排一个管GUI操作的子智能体和一个写代码的子智能体配合干活。听着聪明，可这些方案往往针对特定领域，工具提前定好、写死在系统里。

好比给工人配齐螺丝刀、扳手、锤子，可碰上工具箱里没有的活，比如要一把特殊角度的扭矩扳手，他就只能干着急，没法自己打一把新工具出来。

研究者显然是被这个“工具箱锁死”的问题逼出了灵感：AI模型现在的编程能力已经相当强，何不把终端命令行当成唯一操作方式？终端本身极度灵活，想干什么就写段代码或敲条命令去实现，不必提前备好工具。

核心设计上，终端是唯一入口，文件系统兼作记忆和工具箱。

架构说起来挺朴素。每一步，AI模型默认收到的信息就是上一条终端命令执行后输出的文字内容——不是截图，是纯文本的命令行输出。

只有真的需要“看一眼”屏幕时，它才主动调用截图工具，把图片存进文件，再用另一个工具把图加载进自己的“视野”。这个设计叫“按需视觉，而非默认视觉”。

按需视觉的意思是：传统方案每一步都强制往上下文塞一张截图，CUAWright默认不看图，只在必要时才主动睁眼。

这为什么重要？设想你在写一份长达几小时的游戏攻略文档，如果笔记软件每写一句就自动截一张当前屏幕贴进去，哪怕你只是在打字，文档很快会被图片撑爆，打开都卡；只在真正要记录画面的关键时刻贴图，文档就清爽得多、也更聚焦。论文数据印证了这个直觉：在OSWorld 2.0桌面任务测试上，按需截图让单任务的API成本直降37.5%左右。

浏览器任务怎么办？AI生成的代码直接对接浏览器调试协议——一套让程序精确控制浏览器行为的通信标准，比如打开哪个网页、点击哪个元素，也就是Playwright这类工具底层用的那套。桌面任务靠终端命令、命令行工具，甚至直接编辑源文件完成；只有当某个操作界面确实没法用程序控制，比如纯视觉的游戏画面，AI才退而使用xdotool或pyautogui这类模拟鼠标键盘的命令。

xdotool和pyautogui是两个常见的自动化工具库，能用代码模拟人类的鼠标点击、键盘输入等操作，相当于GUI操作的最后一道保险。

这套设计有两个关键特点：终端这一个动作空间同时覆盖系统操作和鼠键模拟，不必为不同场景单独设计接口；AI能直接读写文件系统，用它管理上下文、记忆信息，甚至现场打造新工具。文件系统既是AI的记忆本，也是它的工具车间。

有个细节挺有意思：CUAWright根本没单独做一个“记忆模块”。过去搞AI智能体，一般会另搭一套记忆机制，向量数据库、摘要系统之类，专门存AI执行任务时攒下来的信息。CUAWright不这么干，它把记忆直接当成普通的文件操作。

AI要记住什么，写成文件就行；想翻之前记的东西，读那个文件；哪条记录过时了，删掉改掉都行，用不着让这些信息一直挂在对话历史里。

这么设计好在哪？可以拿侦探办案打比方。老办法是把线索、推理、怀疑全装脑子里，案子越复杂，脑内堆的东西越多，后面容易记混、记漏，信息一多思路就卡。CUAWright更像给你配了一整个案件档案柜：线索随手写在便签上，贴进对应文件夹，要用就翻出来，不用也不占脑子。更关键的是，某条线索被证伪了，把那张便签扔掉就行，不必继续在脑子里背着一个已经推翻的假设。

不这么设计会怎样？论文做了对照实验：强行禁止AI用终端命令直接操作文件系统，只准走GUI间接改文件。结果GPT-5.6 Sol模型的表现从67.9%掉到55.5%，整整少了12.1个百分点。能不能直接、程序化地碰文件系统，对整套系统的表现影响很大，并非可有可无的辅助功能。

文件系统还兼着“工具车间”的活儿。AI干活时发现某个操作要反复用，就会主动把它写成小脚本，存进工作目录，测试、调试，再在后面的步骤里反复调用。

论文里有个例子很生动。OSWorld 2.0的一个任务中，用户让AI从桌面一堆文件里找出与2024年看病记录相关的医疗档案和个人信息。按常规GUI思路，AI得一张张打开图片看，判断是不是医疗相关。CUAWright里的AI换了个做法：先写个小工具，把所有图片拼成一张大“拼接图”，一次性塞进自己的视觉理解里，然后一口气把需要的信息全提出来。

这就像要从几十张名片里挑出卖保险的联系人。笨办法一张张翻，聪明办法先把名片铺开拍张全景照，一眼扫过去，符合条件的直接挑出来。效率差着量级。

论文统计显示，OSWorld 2.0测试中有84.8%的任务里，AI会主动创建至少一个可执行文件或代码脚本。总共创建了776个可执行文件，其中24.7%被重复使用至少两次。这些工具主要干信息提取、界面自动化、文件构建编辑和验证测试。

实测结果：便宜又好用，不是说着玩的

设计理念说了这么多，数据才是硬道理。研究者在六大类测试基准上做了全面评估，覆盖网页、桌面、长程任务和CAD设计四个大方向。

先看最经典的桌面任务测试**OSWorld 2.0**

**OSWorld 2.0*：这个权威基准用来衡量 AI 能否在真实电脑环境里完成长程、复杂的桌面任务，覆盖办公软件、系统设置等真实场景。

这项测试里，CUAWright配GPT-5.5模型跑出63.2%的部分得分，比官方公布的GPT-5.5基线47.5%高15.7个百分点，每个任务的成本还从16.1美元降到10.1美元。换成GPT-5.6 Sol模型，CUAWright拿到67.9%，比官方基线62.7%又高5.2个百分点，成本从13.9美元直接降到4.4美元，降幅接近七成。

这意味着什么？花更少的钱，办更多的事。AI应用落地时这一点很现实，很多企业真正担心的不是“AI能不能做到”，而是“做到这件事要烧多少钱”。

再看网页任务。在**Online-Mind2Web**这个覆盖300个真实网站任务的基准测试上，CUAWright用GPT-5.4模型跑出88.1%的成功率，比同模型的GUI方案83.4%高出4.7个百分点。

**Online-Mind2Web*：一个用真实、活跃网站来测试网页智能体表现的基准，覆盖136个热门网站。

到了考验长程规划能力的**Odysseys**基准，差距拉得更夸张。CUAWright用GPT-5.4跑出77.5%的成功率，GUI基线方案只有33.5%，差了44个百分点。

**Odysseys*：这个基准专门考察 AI 做长程网页任务的能力，这类任务要跨多个页面、分多步规划，由若干原子任务拼成，更接近真实工作流。

差距为什么这么大？长程任务最怕“走着走着忘了之前干了啥”。CUAWright靠文件系统持久化记忆、随时可查可改，恰好补上这个短板。GUI方案每一步都靠截图堆上下文，任务一长，上下文窗口塞不下，模型容易“失忆”。

CAD设计类任务的结果也挺震撼。在**BenchCAD**这个要求根据四视图还原3D模型的测试上，CUAWright达到79.0%的平均IoU得分，比OpenAI官方报告的55.8%高出23.2个百分点。

**BenchCAD / IoU*：BenchCAD是测试AI能否从工程图纸还原三维模型的基准，IoU（交并比）是衡量生成的三维形状与真实形状重叠程度的指标，数值越高说明还原越精确。

在**CADGenBench**上，CUAWright相比使用预定义MCP工具的Codex方案，整体得分提升了3.7到2.5个百分点。任务不同、模型不同，结果都是正向提升。

**MCP**指模型上下文协议（Model Context Protocol），是让AI模型调用外部工具的一套标准化接口。CADGenBench基线采用的就是这种预先注册好的工具接口，CUAWright则把同一个内核直接当成普通终端命令来调用。

单智能体够不够？多智能体是否更强

不少人会直觉认为，让AI带上一位“规划者”和一位“审核员”组队干活，肯定胜过单打独斗。过去不少研究，像CoAct-1，也反复验证过这个结论。

可CUAWright的实验结果有点出人意料：在终端原生的架构下，单智能体与多智能体基本打平，多智能体甚至会带来额外的成本和效率损耗。

研究者专门做了对照，给主智能体配了两名助手：一位“规划者”负责制定计划和验收标准，一位“自我验证者”负责在提交前检查任务是否真的完成。结果，多智能体设置下任务步数的中位数从101步暴涨到151步（GPT-5.6 Sol模型），从73步涨到137步（GPT-5.5模型），最终得分却没有明显提升。

研究者进一步分析原因，发现规划者智能体常常提不出准确的验收标准；而GPT-5.5、GPT-5.6 Sol这类前沿模型本身已经学会在提交前自查答案，根本不需要再配一个专门的“审查员”。

论文举了两个对照案例来说明问题。一个任务是录制7页仪表盘展示的GIF动画，多智能体团队的审查员指出，用单帧截图拼出来的GIF并非真实的操作录屏，促使主智能体改用真实的屏幕录制工具，最终得分从0.95提升到1.00。这个案例里，多智能体确实帮上了忙。

另一个案例恰恰相反。任务要求修改六页PPT幻灯片，主智能体独立完成只用了42步，拿到满分1.00。多智能体团队却跑了整整300步，审查员反复给出“不确定”的结论，最终把全部步数预算耗尽，连提交都没完成，只拿到0.95分（系统默认保留了最后的持久化结果）。

这就像团队做项目，审核流程设计得不好，审核员总说“再确认一下吧”，却说不出具体哪里有问题，那审核就不是在把关质量，而是在空转消耗时间。真正有价值的审核，能指出具体风险并推动改进，而不是形式主义地反复确认。

失败案例：AI也会“看错题”

研究者还对失败案例做了细致的归类分析，这部分挺有参考价值。

对比GPT-5.5和GPT-5.6 Sol两个模型的失败模式，它们“栽坑”的方式不太一样。

GPT-5.5最常见的失误是“看错任务要求”，占比19.4%，也就是对任务的理解本身就偏了。GPT-5.6 Sol更容易出现的问题是“输出看起来对但精度不够”，占比19.0%，这类问题更隐蔽，表面像完成了，细究起来有偏差。

GPT-5.6 Sol还更容易出现“内容对了但位置错了”的问题，占比10.5%，是GPT-5.5的近三倍。这或许说明更强的模型在执行力上更自信，也因此在细节核对上更容易放松警惕。

论文还统计了一个有意思的对比：只用终端命令完成的任务，表现明显好于混用终端和GUI鼠键操作的任务。纯终端操作的任务平均得分71.89%，精确完成率33.3%；混合操作的任务平均得分只有66.32%，精确完成率25.3%。这进一步印证了核心论点：越能用程序化方式解决的问题，解决得越干净。

写在后面

读完这篇论文，最让我意外的其实不是性能提升的数字，而是那个“没有专门记忆模块”的设计选择。

我们习惯性地认为，AI要做好长程任务，必须有一套复杂精巧的记忆系统，向量检索、摘要压缩、重要性打分，一套一套的机制堆上去。CUAWright的做法近乎“偷懒”：记忆就是文件，查记忆就是读文件，事情就这么简单。

这让我想到一个更大的问题：我们是不是经常为了显得“工程完善”，给系统堆砌了很多本来不必要的复杂度？文件系统是计算机里最古老、最朴素的概念，其实天然具备持久化、可编辑、可检索的全部特性，而我们偏偏要重新发明一套“记忆系统”去替代它。

论文里还提到一个观察，值得单独拎出来说：最新一代模型“本身已经学会了自己验证答案”。模型能力往上走，系统设计的最优解也在跟着变。以前得靠外部机制硬约束的行为，如今模型自己就长出来了。那是不是说，底层模型越强，很多复杂的多智能体编排、工具框架反倒成了多余的，甚至还会拖后腿？

比起给出的答案，这篇论文留下的问题更让人着迷：模型越来越聪明之后，究竟该多给它一些脚手架，还是把脚手架一层层拆掉，只留一个终端，然后退后一步，看它自己把活干完？

Q&A

Q1：CUAWright是什么？

A：CUAWright 是一套 AI 智能体系统，操作接口只有终端命令，代码大约 3000 行。它让 AI 靠敲命令、写脚本、读写文件去完成网页、桌面和 CAD 设计任务，而不是截图、点坐标。

Q2：CUAWright比传统GUI方案好在哪里？

A：在OSWorld 2.0桌面任务测试上，CUAWright得分比官方GUI基线高出15.7个百分点，成本还降低了37.5%；在长程任务Odysseys基准上成功率更是高出44个百分点。

Q3：让多个AI智能体一起上，CUAWright的效果会更好吗？

A：未必。实验显示，单智能体与多智能体两种设置下的表现大体持平；多智能体有时反而拖慢节奏，原因是反复审核，甚至会让任务最终没能提交。只有当审核员能点出具体问题时，协作才真正派得上用场。