AI改完代码测试没过:NVIDIA与清华新方法让失败变线索
你有没有想过,当一个AI程序员提交了代码,结果测试没通过,接下来会发生什么?大部分现在的训练方法里,答案是:这个AI会把这次失败彻底忘掉,然后换一张白纸,重新试一次。就好像你去考试,第一次考砸了,老师不会把你错的卷子给你看,直接让你换一套新题再考一次。你永远不知道自己哪里错了,只能靠蒙。这事儿听起来有点荒谬...
提交代码却卡在测试上,一个AI程序员接下来会怎么做?
如今多数训练方法给出的答案是:把这次失败丢到脑后,换一张白纸从头再来。好比考试头一回考砸了,老师连错卷都不给看,直接换套新题再考一遍。自己错在哪儿始终不知道,只能靠猜。
听起来有点荒唐,可这恰恰是眼下训练AI软件工程师最普遍的做法。NVIDIA和清华大学的研究者在新论文里把这个漏洞挖得很透,还提出了一套叫
**AI改代码,究竟难在何处**
先把讨论的任务说清楚。
AI编程助手如今早已不止帮你敲几行代码。真正的考验在仓库级软件工程。
仓库级软件工程:不是让AI从零写个独立小程序,而是让它钻进一个已存在、动辄几万行代码的真实项目里修bug。
这类任务拼的是耐力。AI要先翻文件读代码,再跑测试看报错,照着报错改代码,改完再测,往往得来回好几轮。每一次操作都会改变仓库状态,也会带来新信息。这种一环扣一环、后一步依赖前一步结果的任务,学术上叫
要把这种活训练好,业界目前普遍用的方法叫
强化学习
GRPO
GRPO
这套方法确实有效,但研究者发现了一个明显的漏洞。一次失败的尝试,绝不只是冷冰冰的“零分”。它背后藏着一堆信息,比如哪个测试用例没过、报错信息写了什么、代码崩在哪一行。这些内容,专业点说叫
打个比方,新手厨师在后厨试做新菜,头一回盐放多了,主厨尝一口直接倒掉,一声不吭,让他拿全新食材再做一遍。厨师始终不知道自己哪一步出了岔子,只能凭运气瞎试。主厨要是能说一句“盐多了,少放点”,下一次多半就成了。GRPO现在扮演的,正是那个倒掉菜却什么都不说的主厨。
**失败不是终点,是起点:**
研究者提出的方案,名字就点明了关键:FC-SWE,全称是失败条件
基本逻辑很直白:AI提交的补丁没通过验证,系统不会直接判它出局,而是把代码仓库恢复到任务最初的干净状态,再把刚才那份失败补丁的内容,以及
验证器
流程听着简单,真正落地却有两个绕不开的难题。
第一个难题:第二次尝试会不会污染第一次的记录?假设AI第一次失败、第二次靠着线索成功,那第一次那个失败补丁该怎么算分?要是简单粗暴地把“最终成功”这个结果倒着套到第一次头上,等于告诉AI“你刚才那个错误做法其实是对的”,学习方向显然被带偏了。
第二个难题更微妙:整条“先失败再恢复”的链条,会不会破坏强化学习原本那套比较机制?GRPO靠的是把一组互相独立的尝试摆在一起比优劣,可现在尝试有先有后,后面的尝试是否执行、何时执行,全看前一次有没有失败。这种“看脸色行事”的结构,跟原来“大家平等独立”的假设,完全是两套逻辑。
论文把这种结构叫做
结果依赖的恢复链
为破解这两个难题,FC-SWE设计了两项关键机制。
**第一个机制:每次尝试只认自己的账**
这个机制叫
轨迹局部奖励
具体来说,第一次失败、第二次成功,这条链的奖励记录就是[0, 1]。第一次那个0分永远算0分,不会因为后面成功就被改写成1分。
设计看着朴素,却守住了一条底线:不能让“后来的运气”篡改“当下的事实”。
假设你参加了一场辩论赛,首轮告负,裁判给你记了负分。当晚你复盘并调整了论证思路,第二轮赢了。如果这时规则说“既然第二轮赢了,第一轮的负分也一并改成赢”,那显然荒唐——照此逻辑,第一轮怎么打都无所谓,反正后面能补回来。FC-SWE不允许这种事发生:第一轮输了就是输了,这份记录对AI学会“第一次就把事情做对”至关重要。
论文里还提到另一种极端做法:只拿最后一次成功的尝试去训练,把先前失败的那次彻底丢弃。问题在于,AI就再也看不到“失败是什么样子”,也失去了拿失败与成功做对比、从中学习两者差异的机会。FC-SWE因此选择把每一次尝试都留下,各记各的账,让AI既能看到错误的样子,也不会被误导。
**第二个机制:比较时只拿真正发生过的事情说话**
这个机制叫
活跃集优势估计
前文提到,GRPO里八个尝试互相独立比较优劣。FC-SWE延续了“拿一群结果互相比较”的思路,但比较范围从“固定数量的独立尝试”改成了“这个问题上真实跑过的所有尝试”。
举例来说,一条链如果是[0, 1]这样的结果,活跃集优势估计会把这两次尝试放在一起比,算出来的结果是:成功的第二次拿到正向的相对优势,失败的第一次拿到负向的相对优势。这里改变的是“相对优势”这个评分,而非前面所说的“轨迹局部奖励”原始分数,两者分开计算。
这有点像公司年底做绩效评估。你今年换了三次岗位,前两次都没做出成绩,第三次终于做出亮眼业绩。年底打分时,HR不会把你换过的那些空缺岗位也算进评估池子里一起比(那些岗位根本没人去干,是空的),但会把你实际干过的这三段经历都纳入对比,从中看出“换到第三个岗位之后表现明显变好了”这个相对关系。如果HR把完全没人去干的空缺岗位也混进来一起打分,结果就会被莫名其妙地拉低或拉高,完全失真。FC-SWE要排除的,正是那些“压根没被执行过”的恢复位置,因为它们根本不是AI生成的真实行为,混进来比较毫无意义。
论文里配了一张示意图,把GRPO和FC-SWE的训练流程摆在一起对照,画得很直观:GRPO是两条独立箭头各走各的,分别打分;FC-SWE则是第一条路走到失败节点后,系统清空重置一次,把失败的补丁连同验证器给出的证据一起带到第二条路上,两条路各自的分数标签都留着,最终汇入同一个比较篮子统一权衡。
**实验说话:这套方法到底有没有用**
设计思路说了这么多,到底管不管用,还得看数字。
研究者们用的模型叫
实验安排了三组对照:一组是完全没有训练过的原始模型(论文中称Base),一组是经过传统GRPO训练的模型,还有一组是经过FC-SWE训练的模型。三组用的评测工具是同一套,名叫
结果上,第一次就答对的概率(论文里叫
允许失败一次再补救的情况下(
更值得关注的一个指标是
这组数字说明一件事:FC-SWE不仅第一次做得更好,失败之后“反思改进”的能力也明显更强。
研究者还设计了一个颇有意思的对照实验,想正面回答一个尖锐问题:“多给一次机会”本身在起作用,还是“看到失败原因”这件事确实有价值?
他们设计了两种对照方式。第一种是让AI不带任何失败信息,就是单纯重新随机生成一次(论文里叫
结果与直觉相反:没训练过的Base模型和GRPO训练的模型,单纯重新生成反而效果更好,带上失败信息倒不那么管用。可换成FC-SWE专门训练过的模型,结论就翻了过来,带失败信息明显更有效,19.0%对17.0%。
这个发现的分量不轻。模型如果在训练中从来没专门学过“怎么利用失败信息”,你硬塞给它一堆错误日志和失败补丁,它未必会用,甚至可能被这些内容干扰判断,倒不如清空重来一次。只有专门训练过“读懂失败、针对性改进”的模型,失败信息才真正成为有用线索,而不是噪音。
拿学开车打比方。一个刚拿驾照、没系统学过“倒车入库失败怎么分析”的新手,教练把上次撞锥桶的录像放给他看,他看完可能更紧张,表现更差,还不如忘掉上一次、重新打方向盘再试一回。换成专门训练过“看录像分析失误点”的老司机,录像就成了帮他快速定位问题、下一次直接改进的利器。FC-SWE训练出来的模型,就是那个学会看录像分析问题的老司机。
研究者进一步做了拆解,想看哪部分失败信息最管用。只给失败补丁本身,恢复率15.7%;什么都不给,17.0%;补丁加上验证器的详细报错信息一起给,19.0%。可见单给补丁作用不大,甚至比什么都不给还略差,真正管用的是验证器那些具体报错细节,信息量都在那里。
**训练时只给两次机会,测试时能撑到十一次**
有个细节值得琢磨。FC-SWE训练时,每条恢复链最多只给两次尝试机会。测试时研究者把预算放宽到十一次,FC-SWE训练出的模型累计解决率一路升到70.7%,GRPO训练的模型只到67.3%,没训练过的Base模型只有61.1%。
换句话说,FC-SWE掌握的不只是"针对某个特定失败场景的死记硬背",而是一种能迁移的本领——从反馈中提炼教训、一轮轮改下去。学会之后,哪怕尝试链条比训练时见过的更长,这套本事照样管用。
论文还算了一笔经济账:解决同样比例的问题,各模型要烧多少计算资源(按token数算)。解决率到50%时,Base大约要822万token,GRPO要439万,FC-SWE只要315万。折算下来,FC-SWE比Base省了六成以上的计算开销。这些数字建立在一些估算假设上,跟实际部署的真实成本不能画等号,但大方向能说明问题:会用失败信息的模型,既更聪明,也更省钱。
**几个研究者没回避的局限**
有一点我比较认同:论文没把FC-SWE吹成万能解药,反倒老老实实列了好几个待解的问题。
比如现在实验用的验证器,是SWE-bench官方那套基准测试,也就是说AI拿到的反馈是"标准答案级别"的详细报错。可真到了部署现场,未必总有这么精准的测试反馈,很多时候只有AI自己写的粗糙测试,甚至压根没有现成用例。问题就来了:反馈本身不准、甚至误导人的时候,AI还能不能学会"质疑反馈、而不是盲从反馈"?
再比如,测试用例过了,不代表代码真的把那个issue描述的问题解决干净了。论文附录里有个例子挺有意思:两个模型都通过了同一个目标测试,可其中一个方案悄悄引入了30个
还有一点,这次的对照实验只用了一个模型(
**写在后面**
读完论文,我印象最深的是那个反直觉的对照实验结果:给没训练过的模型喂失败信息,反而比不给还差。这提醒了一件容易被忽略的事——信息本身不等于有用的信息,得配上"知道怎么用"的能力才真正值钱。这跟人学习是一个道理:给一个从没分析过错题的学生看满篇红叉的试卷,他可能只会越看越焦虑;换成习惯复盘的学生,他能从中抽出具体的改进点。
另一个让我多想了一会儿的,是论文里拆解补丁和验证器信息哪个更重要的实验。补丁本身贡献有限,真正管用的是报错细节。这多少印证了一个朴素的直觉:知道"我哪里错了",远比知道"我上次写了什么"更重要。错误本身的轨迹不如错误原因的轨迹值钱。
论文末尾还抛出了一个开放问题,同样耐人寻味:现实生活中,哪来那么多带着标准答案的测试反馈,供你反复调用?软件工程师真正要应付的,常常是语焉不详的报错、覆盖不全的测试,甚至只是同事随口一句“这儿好像不太对”。FC-SWE这套“从失败中学习”的框架一旦被搬进那种更混乱、更缺乏确定性的反馈场景,AI还能不能保住这份跌倒再爬起来的本事?这个问题,恐怕比论文里给出的任何一项百分点提升,都更值得接着追问。
Q&A
Q1:FC-SWE是什么?
A:FC-SWE是NVIDIA和清华大学提出的一种失败条件强化学习框架,专门用来训练长程软件工程AI智能体。核心做法是:AI提交的代码补丁没通过测试验证时,不直接放弃重来,而是把失败的补丁和错误信息当线索,让AI基于这些线索做一次有针对性的恢复尝试。
Q2:FC-SWE和传统的GRPO训练方法有什么区别?
A:传统GRPO的做法,是让AI对同一个问题各自独立地做多次尝试,彼此互不相干,失败的尝试所携带的信息被直接扔掉,不会拿去指导后面的尝试。FC-SWE不一样:失败之后,它先把代码仓库还原到最初状态,同时把失败的补丁和验证器给出的具体报错信息留下来当上下文,让AI顺着这些线索去改;另外还有两个机制,负责保证奖励分配和比较方式都准确、合理。
Q3:FC-SWE训练出来的模型效果到底好多少?
A:在全部500个