AI改完代码测试没过:NVIDIA与清华新方法让失败变线索

资讯 腾讯网 作者:科技行者 全文 5048 字 · 约 13 分钟读完

你有没有想过,当一个AI程序员提交了代码,结果测试没通过,接下来会发生什么?大部分现在的训练方法里,答案是:这个AI会把这次失败彻底忘掉,然后换一张白纸,重新试一次。就好像你去考试,第一次考砸了,老师不会把你错的卷子给你看,直接让你换一套新题再考一次。你永远不知道自己哪里错了,只能靠蒙。这事儿听起来有点荒谬...

提交代码却卡在测试上,一个AI程序员接下来会怎么做?

如今多数训练方法给出的答案是:把这次失败丢到脑后,换一张白纸从头再来。好比考试头一回考砸了,老师连错卷都不给看,直接换套新题再考一遍。自己错在哪儿始终不知道,只能靠猜。

听起来有点荒唐,可这恰恰是眼下训练AI软件工程师最普遍的做法。NVIDIA和清华大学的研究者在新论文里把这个漏洞挖得很透,还提出了一套叫

**AI改代码,究竟难在何处**

先把讨论的任务说清楚。

AI编程助手如今早已不止帮你敲几行代码。真正的考验在仓库级软件工程。

仓库级软件工程:不是让AI从零写个独立小程序,而是让它钻进一个已存在、动辄几万行代码的真实项目里修bug。

这类任务拼的是耐力。AI要先翻文件读代码,再跑测试看报错,照着报错改代码,改完再测,往往得来回好几轮。每一次操作都会改变仓库状态,也会带来新信息。这种一环扣一环、后一步依赖前一步结果的任务,学术上叫

要把这种活训练好,业界目前普遍用的方法叫

强化学习

GRPO

GRPO

这套方法确实有效,但研究者发现了一个明显的漏洞。一次失败的尝试,绝不只是冷冰冰的“零分”。它背后藏着一堆信息,比如哪个测试用例没过、报错信息写了什么、代码崩在哪一行。这些内容,专业点说叫

打个比方,新手厨师在后厨试做新菜,头一回盐放多了,主厨尝一口直接倒掉,一声不吭,让他拿全新食材再做一遍。厨师始终不知道自己哪一步出了岔子,只能凭运气瞎试。主厨要是能说一句“盐多了,少放点”,下一次多半就成了。GRPO现在扮演的,正是那个倒掉菜却什么都不说的主厨。

**失败不是终点,是起点:**

研究者提出的方案,名字就点明了关键:FC-SWE,全称是失败条件

基本逻辑很直白:AI提交的补丁没通过验证,系统不会直接判它出局,而是把代码仓库恢复到任务最初的干净状态,再把刚才那份失败补丁的内容,以及

验证器

流程听着简单,真正落地却有两个绕不开的难题。

第一个难题:第二次尝试会不会污染第一次的记录?假设AI第一次失败、第二次靠着线索成功,那第一次那个失败补丁该怎么算分?要是简单粗暴地把“最终成功”这个结果倒着套到第一次头上,等于告诉AI“你刚才那个错误做法其实是对的”,学习方向显然被带偏了。

第二个难题更微妙:整条“先失败再恢复”的链条,会不会破坏强化学习原本那套比较机制?GRPO靠的是把一组互相独立的尝试摆在一起比优劣,可现在尝试有先有后,后面的尝试是否执行、何时执行,全看前一次有没有失败。这种“看脸色行事”的结构,跟原来“大家平等独立”的假设,完全是两套逻辑。

论文把这种结构叫做

结果依赖的恢复链

为破解这两个难题,FC-SWE设计了两项关键机制。

**第一个机制:每次尝试只认自己的账**

这个机制叫

轨迹局部奖励

具体来说,第一次失败、第二次成功,这条链的奖励记录就是[0, 1]。第一次那个0分永远算0分,不会因为后面成功就被改写成1分。

设计看着朴素,却守住了一条底线:不能让“后来的运气”篡改“当下的事实”。

假设你参加了一场辩论赛,首轮告负,裁判给你记了负分。当晚你复盘并调整了论证思路,第二轮赢了。如果这时规则说“既然第二轮赢了,第一轮的负分也一并改成赢”,那显然荒唐——照此逻辑,第一轮怎么打都无所谓,反正后面能补回来。FC-SWE不允许这种事发生:第一轮输了就是输了,这份记录对AI学会“第一次就把事情做对”至关重要。

论文里还提到另一种极端做法:只拿最后一次成功的尝试去训练,把先前失败的那次彻底丢弃。问题在于,AI就再也看不到“失败是什么样子”,也失去了拿失败与成功做对比、从中学习两者差异的机会。FC-SWE因此选择把每一次尝试都留下,各记各的账,让AI既能看到错误的样子,也不会被误导。

**第二个机制:比较时只拿真正发生过的事情说话**

这个机制叫

活跃集优势估计

前文提到,GRPO里八个尝试互相独立比较优劣。FC-SWE延续了“拿一群结果互相比较”的思路,但比较范围从“固定数量的独立尝试”改成了“这个问题上真实跑过的所有尝试”。

举例来说,一条链如果是[0, 1]这样的结果,活跃集优势估计会把这两次尝试放在一起比,算出来的结果是:成功的第二次拿到正向的相对优势,失败的第一次拿到负向的相对优势。这里改变的是“相对优势”这个评分,而非前面所说的“轨迹局部奖励”原始分数,两者分开计算。

这有点像公司年底做绩效评估。你今年换了三次岗位,前两次都没做出成绩,第三次终于做出亮眼业绩。年底打分时,HR不会把你换过的那些空缺岗位也算进评估池子里一起比(那些岗位根本没人去干,是空的),但会把你实际干过的这三段经历都纳入对比,从中看出“换到第三个岗位之后表现明显变好了”这个相对关系。如果HR把完全没人去干的空缺岗位也混进来一起打分,结果就会被莫名其妙地拉低或拉高,完全失真。FC-SWE要排除的,正是那些“压根没被执行过”的恢复位置,因为它们根本不是AI生成的真实行为,混进来比较毫无意义。

论文里配了一张示意图,把GRPO和FC-SWE的训练流程摆在一起对照,画得很直观:GRPO是两条独立箭头各走各的,分别打分;FC-SWE则是第一条路走到失败节点后,系统清空重置一次,把失败的补丁连同验证器给出的证据一起带到第二条路上,两条路各自的分数标签都留着,最终汇入同一个比较篮子统一权衡。

**实验说话:这套方法到底有没有用**

设计思路说了这么多,到底管不管用,还得看数字。

研究者们用的模型叫

实验安排了三组对照:一组是完全没有训练过的原始模型(论文中称Base),一组是经过传统GRPO训练的模型,还有一组是经过FC-SWE训练的模型。三组用的评测工具是同一套,名叫

结果上,第一次就答对的概率(论文里叫

允许失败一次再补救的情况下(

更值得关注的一个指标是

这组数字说明一件事:FC-SWE不仅第一次做得更好,失败之后“反思改进”的能力也明显更强。

研究者还设计了一个颇有意思的对照实验,想正面回答一个尖锐问题:“多给一次机会”本身在起作用,还是“看到失败原因”这件事确实有价值?

他们设计了两种对照方式。第一种是让AI不带任何失败信息,就是单纯重新随机生成一次(论文里叫

结果与直觉相反:没训练过的Base模型和GRPO训练的模型,单纯重新生成反而效果更好,带上失败信息倒不那么管用。可换成FC-SWE专门训练过的模型,结论就翻了过来,带失败信息明显更有效,19.0%对17.0%。

这个发现的分量不轻。模型如果在训练中从来没专门学过“怎么利用失败信息”,你硬塞给它一堆错误日志和失败补丁,它未必会用,甚至可能被这些内容干扰判断,倒不如清空重来一次。只有专门训练过“读懂失败、针对性改进”的模型,失败信息才真正成为有用线索,而不是噪音。

拿学开车打比方。一个刚拿驾照、没系统学过“倒车入库失败怎么分析”的新手,教练把上次撞锥桶的录像放给他看,他看完可能更紧张,表现更差,还不如忘掉上一次、重新打方向盘再试一回。换成专门训练过“看录像分析失误点”的老司机,录像就成了帮他快速定位问题、下一次直接改进的利器。FC-SWE训练出来的模型,就是那个学会看录像分析问题的老司机。

研究者进一步做了拆解,想看哪部分失败信息最管用。只给失败补丁本身,恢复率15.7%;什么都不给,17.0%;补丁加上验证器的详细报错信息一起给,19.0%。可见单给补丁作用不大,甚至比什么都不给还略差,真正管用的是验证器那些具体报错细节,信息量都在那里。

**训练时只给两次机会,测试时能撑到十一次**

有个细节值得琢磨。FC-SWE训练时,每条恢复链最多只给两次尝试机会。测试时研究者把预算放宽到十一次,FC-SWE训练出的模型累计解决率一路升到70.7%,GRPO训练的模型只到67.3%,没训练过的Base模型只有61.1%。

换句话说,FC-SWE掌握的不只是"针对某个特定失败场景的死记硬背",而是一种能迁移的本领——从反馈中提炼教训、一轮轮改下去。学会之后,哪怕尝试链条比训练时见过的更长,这套本事照样管用。

论文还算了一笔经济账:解决同样比例的问题,各模型要烧多少计算资源(按token数算)。解决率到50%时,Base大约要822万token,GRPO要439万,FC-SWE只要315万。折算下来,FC-SWE比Base省了六成以上的计算开销。这些数字建立在一些估算假设上,跟实际部署的真实成本不能画等号,但大方向能说明问题:会用失败信息的模型,既更聪明,也更省钱。

**几个研究者没回避的局限**

有一点我比较认同:论文没把FC-SWE吹成万能解药,反倒老老实实列了好几个待解的问题。

比如现在实验用的验证器,是SWE-bench官方那套基准测试,也就是说AI拿到的反馈是"标准答案级别"的详细报错。可真到了部署现场,未必总有这么精准的测试反馈,很多时候只有AI自己写的粗糙测试,甚至压根没有现成用例。问题就来了:反馈本身不准、甚至误导人的时候,AI还能不能学会"质疑反馈、而不是盲从反馈"?

再比如,测试用例过了,不代表代码真的把那个issue描述的问题解决干净了。论文附录里有个例子挺有意思:两个模型都通过了同一个目标测试,可其中一个方案悄悄引入了30个

还有一点,这次的对照实验只用了一个模型(

**写在后面**

读完论文,我印象最深的是那个反直觉的对照实验结果:给没训练过的模型喂失败信息,反而比不给还差。这提醒了一件容易被忽略的事——信息本身不等于有用的信息,得配上"知道怎么用"的能力才真正值钱。这跟人学习是一个道理:给一个从没分析过错题的学生看满篇红叉的试卷,他可能只会越看越焦虑;换成习惯复盘的学生,他能从中抽出具体的改进点。

另一个让我多想了一会儿的,是论文里拆解补丁和验证器信息哪个更重要的实验。补丁本身贡献有限,真正管用的是报错细节。这多少印证了一个朴素的直觉:知道"我哪里错了",远比知道"我上次写了什么"更重要。错误本身的轨迹不如错误原因的轨迹值钱。

论文末尾还抛出了一个开放问题,同样耐人寻味:现实生活中,哪来那么多带着标准答案的测试反馈,供你反复调用?软件工程师真正要应付的,常常是语焉不详的报错、覆盖不全的测试,甚至只是同事随口一句“这儿好像不太对”。FC-SWE这套“从失败中学习”的框架一旦被搬进那种更混乱、更缺乏确定性的反馈场景,AI还能不能保住这份跌倒再爬起来的本事?这个问题,恐怕比论文里给出的任何一项百分点提升,都更值得接着追问。

Q&A

Q1:FC-SWE是什么?

A:FC-SWE是NVIDIA和清华大学提出的一种失败条件强化学习框架,专门用来训练长程软件工程AI智能体。核心做法是:AI提交的代码补丁没通过测试验证时,不直接放弃重来,而是把失败的补丁和错误信息当线索,让AI基于这些线索做一次有针对性的恢复尝试。

Q2:FC-SWE和传统的GRPO训练方法有什么区别?

A:传统GRPO的做法,是让AI对同一个问题各自独立地做多次尝试,彼此互不相干,失败的尝试所携带的信息被直接扔掉,不会拿去指导后面的尝试。FC-SWE不一样:失败之后,它先把代码仓库还原到最初状态,同时把失败的补丁和验证器给出的具体报错信息留下来当上下文,让AI顺着这些线索去改;另外还有两个机制,负责保证奖励分配和比较方式都准确、合理。

Q3:FC-SWE训练出来的模型效果到底好多少?

A:在全部500个

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  2. 海淀连办两场科学家创业活动:AI创新街区揭牌与夜话交流

    一群科学家,正在做一件不太一样的事。他们一边在高校、科研院所深耕前沿技术,一边走进创业一线,把实验室里的研究成果变成产品、企业,甚至一个全新的产业方向。而一座城市,如何与这样一群人同行?这一周,海淀用前后脚的两个动作,给出了自己的回答。11月18日,未名·AIPark人工智能创新街区在北大西门旁正式揭牌。依托...

    来源 腾讯网
  3. AI泔水入侵科普:南海双头虾与万张鸟类贴纸暴露知识污染风险

    AI泔水(AI Slop),正在侵蚀人类的知识世界。这个词在2025年入选《韦氏字典》年度词汇,专门用来形容由人工智能批量生产、质量低劣的数字内容。出现双头虾的《南海海洋生物科普丛书》中,绝大多数图片均由AI绘图工具生成。图片来源:澎湃新闻近日,中国农业出版社出版的《南海海洋生物科普丛书》,因出现不符合常识的“双...

    来源 腾讯网
  4. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  5. 蔡伟:新旧动能双线推进,AI与民间投资成2026年四季度关键

    中新网北京11月20日电 (记者 张素)近日发布的一份报告认为,全球人工智能(AI)产业链延续高景气,中国AI产业也在出口带动、国内应用需求深化背景下进入发展快车道。 2026年四季度《中国经济观察》报告由毕马威发布。报告显示,经济增长动能边际企稳。 “10月工业生产与居民消费增速有所回落,投资降幅继续走扩,内需修复基

    来源 腾讯网
  6. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  7. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  8. Architect Labs发布Frostbite:AI自主设计CPU,能效比达4.59倍

    2026年11月19日,AI基础设施公司Architect Labs发布Frostbite——一款完全由AI系统自主完成指令集设计、架构探索、RTL实现和GDS版图生成的通用CPU。在25项基准测试中,Frostbite对比主流双发射顺序执行超标量核心,实现了4.59倍功效比(perf/W)和8.77倍面积效

    来源 AI 科技快讯
  9. AI不抢饭碗却拆了梯子:2026年中间层岗位正在消失

    前段时间和一位在互联网大厂做 HR 前同事聊天,聊到今年校招,他说了一句让我挺不是滋味的话: “我们现在不招新人了,直接招能扛事的人。” 我问他,那原来那些让新人练手的活谁干? 他笑了一下说,AI 干。 那一刻我忽然反应过来,很多人焦虑了整整一年的“AI 会不会替代我”,其实问错了方向。 AI 抢走的不是你的饭碗,是你

    来源 AI 行业观察
  10. 黎曼猜想167年悬案:AI与人类同日宣称各自完成证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 行业观察
  11. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  12. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  13. AI交易逆转引发避险潮:日元瑞郎对美元齐涨0.6%,美元指数回落

    周五随着市场对AI热潮可持续性的疑虑加剧,日元和瑞郎对美元均上涨0.6%,日元有望创下近一个月来最大单日涨幅。分析指出当市场转向风险规避,日元套息交易平仓会推动日元走强,而瑞郎则长期以来是机构层面的资产负债表避险工具。

    来源 华尔街见闻
  14. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
向下滚动自动加载更多