普林斯顿SWEeper-Bench:AI自主找bug成功率仅59%?

资讯 腾讯网 作者:科技行者 全文 4988 字 · 约 13 分钟读完 分类AI 编程学术研究

你有没有遇到过这种情况:请一个很能干的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可装完之后他就走了,从不回来检查一下窗户关不关得严,插座是不是装反了。直到你半夜被漏风的窗户吵醒,才发现问题。这差不多就是现在AI编程助手的真实处境。普林斯顿大学的研究团队做了一个叫SWEeper-Bench的测试,结果显

所属频道 AI 编程与开发前沿研究

请一个手艺不错的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可活儿干完人就走了,从不回头看看窗户关不关得严、插座有没有装反。

直到半夜被漏风的窗户吵醒,你才发现问题。

眼下AI编程助手差不多就是这个处境。普林斯顿大学的研究团队做了个叫SWEeper-Bench的测试,结果显示,哪怕是顶尖的AI模型,在没人告诉它bug在哪的前提下自己去软件里找问题,成功率也只有59%;反过来,把bug明明白白写出来告诉它,修复成功率能冲到96%以上。

中间差了37个百分点。这个数字意味着什么,值得好好聊聊。

换句话说,AI干得了活,却不会自己验收活干得怎么样。

现在的AI编程工具,比如

听着挺美好,麻烦在于:这些软件的bug往往不是一眼能看出来的,得经过好几步操作才会露出马脚。

论文里有个例子举得很形象。有个叫

这个bug藏得有多深?研究者统计过,复现它得连续走九个步骤,还得在两个不同账号之间来回切换。而根本原因简单到让人哭笑不得:添加成员那步操作,只是把“谁是成员”记进了数据库,却没把这个看板归进新成员侧边栏默认显示的那个分类。

一行代码的疏漏,就埋在九个步骤的操作链条背后。

说到底,问题就出在这儿。

目前用来衡量AI编程能力的测试,比如大家熟知的那几个

SWEeper-Bench这个新基准反过来问了一个此前没人正经问过的问题:什么都不告诉AI,只给个大致方向,比如“去检查一下

难在什么地方?

研究团队从200个真实开源网页应用里各挑了一条真实发生过的bug修复记录,凑成200个测试任务。这些应用横跨七个领域,从内容管理工具

交给AI的只有两样东西:一份带bug的源代码,一句开放式请求,比如前面说的“检查一下看板分享功能”。哪儿出了问题、代码藏在哪个文件、怎么复现,AI一概不知。它拿到的是一个完整沙盒环境:能跑起来的应用实例、命令行工具,还有一个装了

Playwright

AI要做的,其实就是一个产品经理在新功能上线前做的那种

判断得对不对,恰恰是最容易被低估的一环。

那怎么判断AI修对了没有?办法是让另一个AI扮演真实用户。

这里有个很实际的问题:谁来评判AI修的bug是不是真修好了?

传统做法是靠

隐藏单元测试

SWEeper-Bench则请另一个AI当裁判。这个裁判不看源代码,只负责打开浏览器,像真实用户那样一步步操作,再根据肉眼可见的结果判定通过还是不通过。

拿前面的例子来说,SWEeper-Bench 安排的裁判并不翻源代码,它只负责打开浏览器,像普通用户那样一步步操作,再凭肉眼看到的结果判定过还是不过。

换个说法,这就像餐厅请了位神秘顾客,此人不进厨房查食材新不新鲜,只关心端上桌的那盘菜味道对不对、摆盘整不整。要是没这道设计,光听后厨自己说“我按配方做的,肯定没问题”,菜难吃了也没人知道——检验标准和顾客的真实体验,压根对不上。

裁判AI到底靠不靠谱?研究者做了交叉验证:让它分别检查“确实带bug的旧版本”和“已经修好的新版本”。按理说,旧版本该几乎全判不通过,新版本该几乎全判通过。结果三种裁判配置的误判率都在1个百分点以内,表现相当稳。

成绩单摆出来了:59%,离及格线还差得远。

这次测试覆盖15个主流AI智能体,Grok、Claude、GPT系列都在名单里。

排第一的是Grok 4.6,搭配Cursor框架,通过率59.0%。第二名——

花费和效果不成正比,这点更有意思。Grok 4.6平均每个任务耗12分钟,成本6.41美元;Qwen 3.8 Flash平均要跑102分钟,成本反倒只有0.76美元;Claude Opus 5一个任务花掉25美元,成绩却和只花三分之一价钱的Claude Fable 5.1差不多。

砸钱、砸时间,未必能换来更强的找bug能力。

研究者还专门验证了“干得越久效果越好”这个说法,给三个模型设了20分钟、40分钟、60分钟、80分钟四档时间预算。通过率从20分钟到40分钟确实涨了,再往后就停住,甚至还有轻微波动。

好比让人去找家里漏水的地方:给20分钟可能走马观花漏看了,给40分钟认真查一遍能找出大半;可要是他压根没想到去拧开水龙头底下的阀门看看,再站在原地发愣八个小时也没用。时间不是瓶颈,方法才是。

卡点在哪:AI能走到门口,却认不出门后的问题。

研究团队把每个AI的工作过程切成五个连续阶段,逐个看卡在哪里。这五步依次是:找到问题所在的功能区域、触发并识别出异常行为、诊断出根本原因、修复问题、确保没有破坏其他功能。

平均下来,75.4%的尝试能顺利找到正确的功能区域,这个比例还行。可紧接着,能识别出“这里确实有问题”的比例骤降到50.0%,是整条链路里跌得最狠的一环。再往后,能诊断出真正根因的剩43.8%,最终修好且没搞坏别的功能的,只剩40.8%。

最大的落差就出在“识别buggy行为”这一步,比找到功能区域和诊断根因都更致命。研究者的解释很实在:很多时候AI确实点到了出问题的地方,眼睛也看到了异常画面,但它没把这当成一个bug。

论文里有个对比值得细说。四个不同的AI智能体,在Focalboard这个案例上,全都走到了“用户B登录后侧边栏空空如也”这个画面。接下来四个AI的反应完全不同。

Claude Fable 5.1 发现侧边栏是空的,就沿着线索追查下去:这个侧边栏只展示归属于某个分类的看板,而“加入看板”这个动作实际上没有把看板归入任何分类。它由此认定这是一处 bug,并动手改掉了。

Claude Opus 5看到同样的空侧边栏,却去查了现有的单元测试代码,发现这些测试里根本没检查过侧边栏要不要更新,于是推理出“这应该是故意设计成这样的,不是bug”,干脆没修。

同样一双眼睛看到同样的画面,得出了四种不同的结论。看见不等于看懂,中间差的那一步,恰恰是现在AI最薛弱的环节。

这里有个相当尖锐的反思:假如现有的单元测试本身就是照着有 bug 的行为写的,AI 就会拿这些测试当权威依据,误判成“这是有意设计,并非漏洞”。原本用来检验正确性的东西,结果却成了替错误打掩护的理由。好比一份写错的说明书,让后来查证的人反倒相信那套错误操作才是标准流程。

AI不会主动打开浏览器,除非你命令它这么做。

研究团队做了个很直接的对照实验:把提示语里“请像真实用户一样打开浏览器测试”这句话删掉,其他什么都不变,看AI会不会自己想到去浏览器里点一点。

结果让人意外。GPT-5.6 Luna在200个任务里,只有2次主动打开了浏览器。

少了这句提醒,通过率立刻从42.0%掉到39.5%,从43.5%掉到31.5%。

这个发现挺值得琢磨。AI擅长读代码、跑命令、发请求,这些都是它熟悉的工作方式;真正像一个普通用户那样坐在屏幕前点点点、看看效果,反而不是它会主动选的路径。它知道怎么写代码,但不太会主动代入“用户视角”,除非被明确要求这么做。

这就像一个手艺老到的厨师,拿到食谱能一丝不差地照着步骤把菜做出来。可你要是不提醒,他未必想得到先尝一口、看看咸淡再端上桌。长期的专业训练让他更在意步骤走没走对,而不是吃到嘴里的感觉怎么样。

发现问题这一步,比解决问题难上太多。研究团队另做的一组对照实验最能说明这一点:他们选了五个模型,换上一套"详细版"提示语,把具体bug是什么、期望行为该是什么全写清楚,等于直接递上一份现成的bug报告。

五个模型的通过率随即一起冲到96%到96.5%之间。原本彼此差着十几二十个百分点的几个模型,这会儿几乎站在了同一条线上。GPT-5.6 Luna就是例子:浏览器打开次数的中位数从26次降到14次,改动代码行数的中位数从49行降到13行,整个流程变得又快又准。

这组对比透出一件挺有意思的事:论"修bug",如今的AI已经相当成熟,真正把它卡住的,是"发现bug"这一环。换个说法,把软件开发比作看病,现在的AI已经是个很厉害的外科医生,下刀又快又准;可要它先给病人做体检、自己找出病灶在哪儿,表现就明显差了一截。

框架固然重要,模型本身却更关键。研究者还单独测了同一个模型换用不同运行框架的情况,把GPT-5.6 Luna分别放进不同框架里跑。结论指向一个趋势:给模型配上适配度最高的工具,确实能让它表现好一点,但框架带来的提升幅度有限,真正决定上限的还是模型自身的能力。这跟开车有点像,同一台发动机,配个更顺手的变速箱确实开得更稳,可发动机马力不够,变速箱再好也救不回来。

成绩单上,谁跑得又快又准?研究团队给出了详细数据,挑几个关键数字说清楚。排第一的是Grok 4.6配Cursor框架,通过率59.0%,目标测试通过率59.0%,保留测试通过率100.0%,平均耗时12.3分钟,成本6.41美元。第二名Qwen 3.8 Flash配Codex,通过率57.5%,耗时却飙到101.8分钟,成本反而更低,只要0.76美元。Claude Fable 5.1和Claude Opus 5并列56.5%,成本却差出一倍以上,分别是11.76美元和25.01美元。垫底的Qwen 3.8 Max通过率只有28.0%,成本2.51美元,属于又慢又不准的那一档。

还有一个现象:几乎所有模型的"保留行为测试"通过率都稳定在97.5%以上。也就是说,AI在修复过程中很少把其他正常功能搞坏,它们的短板不在粗手粗脚,而在压根没找对目标。

这事接下来会往哪走?论文作者提到两个值得追的方向。一是把AI审查代码变更的能力和实际跑起来测试的能力结合起来,市面上已经有不少代码审查工具,比如Cursor的

三年前的

还有一类更早的工作叫

写在后面

读到Focalboard那个例子时,让我愣住的不是bug本身,而是四个AI面对同一个空侧边栏,给出了四种截然不同的判断。看见问题和承认问题是两种能力,后者靠的是判断力,而判断力恰恰最难靠堆算力解决。

还有个细节值得单独拎出来说。当AI依赖现有的单元测试去判断某个行为正不正常,如果这些测试本身就是围着bug写出来的,AI反倒会被测试"说服",把错误认成正确答案。这背后是件更大的事:任何自动化系统,一旦判断依据本身被污染过,它越自信,可能错得越彻底。这不单是AI的问题,人类团队里"我们一直都这么干,肯定没问题"的心态,本质上是一回事。

另一个让我意外的地方是,给AI多留时间几乎不管用,给AI更明确的指令却立刻见效。这似乎在说,面对眼下这代AI,与其操心"它脑子不够快",不如想想"我把问题交代清楚了没有"。结论听着简单,放到实际场景里,其实是在提醒那些打算用AI自动生成软件、不经人工审查就直接推给用户的团队:指望AI自己把关,现阶段还靠不住。

下一步呢?如果AI真要在没人盯着的情况下把软件打磨干净,它需要补的到底是更聪明的推理,还是更像人那样"直觉上觉得哪里不对"的敏感?这个问题,留给下一篇论文去回答吧。

Q&A

Q1:SWEeper-Bench是什么?它是普林斯顿大学团队提出的一个测试基准,用200个真实开源网页应用的bug案例,考察AI智能体能否在没人告知bug具体位置的情况下,自己操作软件发现并修复问题。

Q2:为什么顶尖AI模型自己找bug的通过率只有59%?原因在于AI擅长读代码、改代码,却很少主动像真实用户那样去操作软件验证功能;即便触发了异常画面,也常常不认为那是个bug。发现问题因此成了最大的卡点,而不是修复能力不够。

Q3:给AI详细的bug描述和只给方向,差别有多大?差别非常大。研究显示,只给方向时AI通过率普遍在35%到51.5%之间;给出详细bug描述后,同样的模型通过率能冲到96%以上。这说明AI修bug的能力已经很强,真正的短板是自己发现bug的能力。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  2. AI写汉字出错,OCR为何仍给出0.99置信度

    你有没有见过一张设计精美的海报,配色考究,排版专业,但凑近一看,上面某个汉字多了一笔或者少了一撇?远看完全正常,近看才发现问题。这种事现在越来越常见了,因为AI生成图片已经能把中文文字写得像模像样,但"像模像样"不等于"完全正确"。**这篇论文要解决的问题,说出来你可能都没想到:现在最强的OCR识别模型,面对一个...

    来源 腾讯网
  3. AI画图文字总写错怎么办?阿里浙大PixText给出像素级修字方案

    你有没有发现一个很奇怪的现象。现在的AI画图工具已经强到离谱了,随便输入一句话,就能生成一张光影、构图、氛围感都拉满的图片。可只要图里出现文字,事情就开始变得滑稽。招牌上的字缺胳膊少腿,海报上的标题多一笔少一划,甚至干脆变成一堆谁都认不出的乱码符号。这事儿说起来挺讽刺的。一个能画出以假乱真的人脸、能模...

    来源 腾讯网
  4. 微软全球大宕机,AI 怎么又成了背锅侠

    微软 Microsoft 365 故障导致德国酒店泳池安全警报未能及时送达,美国 FAA 和 Workday 也接连发生系统异常。三起事故没有共同技术原因的证据,却引发了对 AI 编程、工程师系统理解能力与复杂系统可靠性的讨论。

    来源 爱范儿
  5. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  6. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  7. 爱优腾芒抢AI导演,谁的offer更有吸引力

    作者|莉拉 去年,张蓓带着团队参加爱奇艺“鲍德熹·爱奇艺AI剧场”的AI短片比赛。16个入围作品里,她的团队是唯一做动画片的。比赛结束后,爱奇艺找到她,问了一个问题:有没有可能把作品做成长....

    来源 腾讯网
  8. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  9. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  10. 李彦宏谈AI泡沫:算力投入大,应用落地不及预期

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。尽管如此,李彦宏对 AI 长期

    来源 腾讯网
  11. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  12. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  13. Qwen4-Max发布:单任务费用降58%,1M上下文本周免费开放

    刚刚,阿里正式发布了 Qwen4-Max,这是 Qwen4 系列的第一款模型,上下文 1M,最大输出 393KMoE 架构,2.4T 总参,71B 激活,原生视觉老规矩,这周 Qwen4-Max 在我的 AGI Bar 敞开用,token 免费,开到 11 月 22 日欢迎各位朋友来 AGI Bar,试试这款模型先看一

    来源 腾讯网
  14. 李沐出任Aimotion联合创始人兼CTO,这家AI公司做什么的?

    AI大神李沐,悄悄多了一个新身份。 最新消息,这位前AWS AI资深首席科学家、Apache MXNet创始人之一、卡内基梅隆计算机博士,已经正式出任硅谷AI公司Aimotion的联合创始人兼CTO,亲自带队搭建其下一代产业级AI技术体系。 这家公司来头不小,Aimotion主要面向汽车等高价值、长决策周期行业,提供A

    来源 AI 行业观察
  15. 反超谷歌王牌模型,决策新王拿下全球榜首,全尺寸开源

    硅谷最卷的新赛道,刚刚杀出了一位开源新王! 最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。 通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。 比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复杂推理

    来源 AI 行业观察
  16. Sam Altman谈黄仁勋:很难想象没有他的AI革命

    编译|褚杏娟从黄仁勋的去留,到 AI 行业的算力投资,再到超级智能是否会让人类失去控制权,Sam Altman 在最新访谈中谈到了 AI 产业面临的一系列关键问题。他对黄仁勋表达了强烈的敬意,非常共情黄仁勋如今的处境,并且表示很难想象没有 Jensen 的 AI 革命。对于竞争对手 Anthropic 本周上市,他表示

    来源 腾讯网
  17. AMD高管:AI取代不了超算,FP64高精度计算仍长期不可缺

    科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP64 的高精度科学计算仍将长期存在

    来源 IT之家
向下滚动自动加载更多