普林斯顿SWEeper-Bench:AI自主找bug成功率仅59%?
你有没有遇到过这种情况:请一个很能干的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可装完之后他就走了,从不回来检查一下窗户关不关得严,插座是不是装反了。直到你半夜被漏风的窗户吵醒,才发现问题。这差不多就是现在AI编程助手的真实处境。普林斯顿大学的研究团队做了一个叫SWEeper-Bench的测试,结果显
请一个手艺不错的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可活儿干完人就走了,从不回头看看窗户关不关得严、插座有没有装反。
直到半夜被漏风的窗户吵醒,你才发现问题。
眼下AI编程助手差不多就是这个处境。普林斯顿大学的研究团队做了个叫SWEeper-Bench的测试,结果显示,哪怕是顶尖的AI模型,在没人告诉它bug在哪的前提下自己去软件里找问题,成功率也只有59%;反过来,把bug明明白白写出来告诉它,修复成功率能冲到96%以上。
中间差了37个百分点。这个数字意味着什么,值得好好聊聊。
换句话说,AI干得了活,却不会自己验收活干得怎么样。
现在的AI编程工具,比如
听着挺美好,麻烦在于:这些软件的bug往往不是一眼能看出来的,得经过好几步操作才会露出马脚。
论文里有个例子举得很形象。有个叫
这个bug藏得有多深?研究者统计过,复现它得连续走九个步骤,还得在两个不同账号之间来回切换。而根本原因简单到让人哭笑不得:添加成员那步操作,只是把“谁是成员”记进了数据库,却没把这个看板归进新成员侧边栏默认显示的那个分类。
一行代码的疏漏,就埋在九个步骤的操作链条背后。
说到底,问题就出在这儿。
目前用来衡量AI编程能力的测试,比如大家熟知的那几个
SWEeper-Bench这个新基准反过来问了一个此前没人正经问过的问题:什么都不告诉AI,只给个大致方向,比如“去检查一下
难在什么地方?
研究团队从200个真实开源网页应用里各挑了一条真实发生过的bug修复记录,凑成200个测试任务。这些应用横跨七个领域,从内容管理工具
交给AI的只有两样东西:一份带bug的源代码,一句开放式请求,比如前面说的“检查一下看板分享功能”。哪儿出了问题、代码藏在哪个文件、怎么复现,AI一概不知。它拿到的是一个完整沙盒环境:能跑起来的应用实例、命令行工具,还有一个装了
Playwright
AI要做的,其实就是一个产品经理在新功能上线前做的那种
判断得对不对,恰恰是最容易被低估的一环。
那怎么判断AI修对了没有?办法是让另一个AI扮演真实用户。
这里有个很实际的问题:谁来评判AI修的bug是不是真修好了?
传统做法是靠
隐藏单元测试
SWEeper-Bench则请另一个AI当裁判。这个裁判不看源代码,只负责打开浏览器,像真实用户那样一步步操作,再根据肉眼可见的结果判定通过还是不通过。
拿前面的例子来说,SWEeper-Bench 安排的裁判并不翻源代码,它只负责打开浏览器,像普通用户那样一步步操作,再凭肉眼看到的结果判定过还是不过。
换个说法,这就像餐厅请了位神秘顾客,此人不进厨房查食材新不新鲜,只关心端上桌的那盘菜味道对不对、摆盘整不整。要是没这道设计,光听后厨自己说“我按配方做的,肯定没问题”,菜难吃了也没人知道——检验标准和顾客的真实体验,压根对不上。
裁判AI到底靠不靠谱?研究者做了交叉验证:让它分别检查“确实带bug的旧版本”和“已经修好的新版本”。按理说,旧版本该几乎全判不通过,新版本该几乎全判通过。结果三种裁判配置的误判率都在1个百分点以内,表现相当稳。
成绩单摆出来了:59%,离及格线还差得远。
这次测试覆盖15个主流AI智能体,Grok、Claude、GPT系列都在名单里。
排第一的是Grok 4.6,搭配Cursor框架,通过率59.0%。第二名——
花费和效果不成正比,这点更有意思。Grok 4.6平均每个任务耗12分钟,成本6.41美元;Qwen 3.8 Flash平均要跑102分钟,成本反倒只有0.76美元;Claude Opus 5一个任务花掉25美元,成绩却和只花三分之一价钱的Claude Fable 5.1差不多。
砸钱、砸时间,未必能换来更强的找bug能力。
研究者还专门验证了“干得越久效果越好”这个说法,给三个模型设了20分钟、40分钟、60分钟、80分钟四档时间预算。通过率从20分钟到40分钟确实涨了,再往后就停住,甚至还有轻微波动。
好比让人去找家里漏水的地方:给20分钟可能走马观花漏看了,给40分钟认真查一遍能找出大半;可要是他压根没想到去拧开水龙头底下的阀门看看,再站在原地发愣八个小时也没用。时间不是瓶颈,方法才是。
卡点在哪:AI能走到门口,却认不出门后的问题。
研究团队把每个AI的工作过程切成五个连续阶段,逐个看卡在哪里。这五步依次是:找到问题所在的功能区域、触发并识别出异常行为、诊断出根本原因、修复问题、确保没有破坏其他功能。
平均下来,75.4%的尝试能顺利找到正确的功能区域,这个比例还行。可紧接着,能识别出“这里确实有问题”的比例骤降到50.0%,是整条链路里跌得最狠的一环。再往后,能诊断出真正根因的剩43.8%,最终修好且没搞坏别的功能的,只剩40.8%。
最大的落差就出在“识别buggy行为”这一步,比找到功能区域和诊断根因都更致命。研究者的解释很实在:很多时候AI确实点到了出问题的地方,眼睛也看到了异常画面,但它没把这当成一个bug。
论文里有个对比值得细说。四个不同的AI智能体,在Focalboard这个案例上,全都走到了“用户B登录后侧边栏空空如也”这个画面。接下来四个AI的反应完全不同。
Claude Fable 5.1 发现侧边栏是空的,就沿着线索追查下去:这个侧边栏只展示归属于某个分类的看板,而“加入看板”这个动作实际上没有把看板归入任何分类。它由此认定这是一处 bug,并动手改掉了。
Claude Opus 5看到同样的空侧边栏,却去查了现有的单元测试代码,发现这些测试里根本没检查过侧边栏要不要更新,于是推理出“这应该是故意设计成这样的,不是bug”,干脆没修。
同样一双眼睛看到同样的画面,得出了四种不同的结论。看见不等于看懂,中间差的那一步,恰恰是现在AI最薛弱的环节。
这里有个相当尖锐的反思:假如现有的单元测试本身就是照着有 bug 的行为写的,AI 就会拿这些测试当权威依据,误判成“这是有意设计,并非漏洞”。原本用来检验正确性的东西,结果却成了替错误打掩护的理由。好比一份写错的说明书,让后来查证的人反倒相信那套错误操作才是标准流程。
AI不会主动打开浏览器,除非你命令它这么做。
研究团队做了个很直接的对照实验:把提示语里“请像真实用户一样打开浏览器测试”这句话删掉,其他什么都不变,看AI会不会自己想到去浏览器里点一点。
结果让人意外。GPT-5.6 Luna在200个任务里,只有2次主动打开了浏览器。
少了这句提醒,通过率立刻从42.0%掉到39.5%,从43.5%掉到31.5%。
这个发现挺值得琢磨。AI擅长读代码、跑命令、发请求,这些都是它熟悉的工作方式;真正像一个普通用户那样坐在屏幕前点点点、看看效果,反而不是它会主动选的路径。它知道怎么写代码,但不太会主动代入“用户视角”,除非被明确要求这么做。
这就像一个手艺老到的厨师,拿到食谱能一丝不差地照着步骤把菜做出来。可你要是不提醒,他未必想得到先尝一口、看看咸淡再端上桌。长期的专业训练让他更在意步骤走没走对,而不是吃到嘴里的感觉怎么样。
发现问题这一步,比解决问题难上太多。研究团队另做的一组对照实验最能说明这一点:他们选了五个模型,换上一套"详细版"提示语,把具体bug是什么、期望行为该是什么全写清楚,等于直接递上一份现成的bug报告。
五个模型的通过率随即一起冲到96%到96.5%之间。原本彼此差着十几二十个百分点的几个模型,这会儿几乎站在了同一条线上。GPT-5.6 Luna就是例子:浏览器打开次数的中位数从26次降到14次,改动代码行数的中位数从49行降到13行,整个流程变得又快又准。
这组对比透出一件挺有意思的事:论"修bug",如今的AI已经相当成熟,真正把它卡住的,是"发现bug"这一环。换个说法,把软件开发比作看病,现在的AI已经是个很厉害的外科医生,下刀又快又准;可要它先给病人做体检、自己找出病灶在哪儿,表现就明显差了一截。
框架固然重要,模型本身却更关键。研究者还单独测了同一个模型换用不同运行框架的情况,把GPT-5.6 Luna分别放进不同框架里跑。结论指向一个趋势:给模型配上适配度最高的工具,确实能让它表现好一点,但框架带来的提升幅度有限,真正决定上限的还是模型自身的能力。这跟开车有点像,同一台发动机,配个更顺手的变速箱确实开得更稳,可发动机马力不够,变速箱再好也救不回来。
成绩单上,谁跑得又快又准?研究团队给出了详细数据,挑几个关键数字说清楚。排第一的是Grok 4.6配Cursor框架,通过率59.0%,目标测试通过率59.0%,保留测试通过率100.0%,平均耗时12.3分钟,成本6.41美元。第二名Qwen 3.8 Flash配Codex,通过率57.5%,耗时却飙到101.8分钟,成本反而更低,只要0.76美元。Claude Fable 5.1和Claude Opus 5并列56.5%,成本却差出一倍以上,分别是11.76美元和25.01美元。垫底的Qwen 3.8 Max通过率只有28.0%,成本2.51美元,属于又慢又不准的那一档。
还有一个现象:几乎所有模型的"保留行为测试"通过率都稳定在97.5%以上。也就是说,AI在修复过程中很少把其他正常功能搞坏,它们的短板不在粗手粗脚,而在压根没找对目标。
这事接下来会往哪走?论文作者提到两个值得追的方向。一是把AI审查代码变更的能力和实际跑起来测试的能力结合起来,市面上已经有不少代码审查工具,比如Cursor的
三年前的
还有一类更早的工作叫
写在后面
读到Focalboard那个例子时,让我愣住的不是bug本身,而是四个AI面对同一个空侧边栏,给出了四种截然不同的判断。看见问题和承认问题是两种能力,后者靠的是判断力,而判断力恰恰最难靠堆算力解决。
还有个细节值得单独拎出来说。当AI依赖现有的单元测试去判断某个行为正不正常,如果这些测试本身就是围着bug写出来的,AI反倒会被测试"说服",把错误认成正确答案。这背后是件更大的事:任何自动化系统,一旦判断依据本身被污染过,它越自信,可能错得越彻底。这不单是AI的问题,人类团队里"我们一直都这么干,肯定没问题"的心态,本质上是一回事。
另一个让我意外的地方是,给AI多留时间几乎不管用,给AI更明确的指令却立刻见效。这似乎在说,面对眼下这代AI,与其操心"它脑子不够快",不如想想"我把问题交代清楚了没有"。结论听着简单,放到实际场景里,其实是在提醒那些打算用AI自动生成软件、不经人工审查就直接推给用户的团队:指望AI自己把关,现阶段还靠不住。
下一步呢?如果AI真要在没人盯着的情况下把软件打磨干净,它需要补的到底是更聪明的推理,还是更像人那样"直觉上觉得哪里不对"的敏感?这个问题,留给下一篇论文去回答吧。
Q&A
Q1:SWEeper-Bench是什么?它是普林斯顿大学团队提出的一个测试基准,用200个真实开源网页应用的bug案例,考察AI智能体能否在没人告知bug具体位置的情况下,自己操作软件发现并修复问题。
Q2:为什么顶尖AI模型自己找bug的通过率只有59%?原因在于AI擅长读代码、改代码,却很少主动像真实用户那样去操作软件验证功能;即便触发了异常画面,也常常不认为那是个bug。发现问题因此成了最大的卡点,而不是修复能力不够。
Q3:给AI详细的bug描述和只给方向,差别有多大?差别非常大。研究显示,只给方向时AI通过率普遍在35%到51.5%之间;给出详细bug描述后,同样的模型通过率能冲到96%以上。这说明AI修bug的能力已经很强,真正的短板是自己发现bug的能力。