AI代码智能体新方法:工具与模型同步进化,解决率从61%升到69.5%
你有没有想过一件事:一个厨师做菜难吃,到底是因为他手艺不行,还是因为他用的锅不行?这个问题听起来有点蠢,但放到AI编程智能体身上,就是一个真实存在了很久、却一直没被认真解决的问题。一个能自动帮你改代码、修bug的AI智能体,表现好不好,取决于两件事。第一是它的大脑,也就是背后那个大语言模型本身有多强。第二...
不妨先想一个问题:一位厨师烧的菜不好吃,问题出在他手上功夫不到家,还是那口锅不趁手?
这听着像句玩笑,可搁到AI编程智能体身上,它就是拖了很久、始终没人正面处理的一道难题。
一个能替你改代码、修bug的AI智能体,干得好不好,要看两样东西。一样是它脑子里那个大语言模型本身够不够强。另一样是它的"工作流程"——怎么读代码、调什么工具去执行命令、什么时候收手交结果。
**这套"工作流程"在AI圈有个专门叫法,就是harness(脚手架):模型能看到哪些信息、动作如何被执行、拿到什么样的反馈、什么条件下判定任务结束,全由它说了算。**
说白了,它就像厨师手上那套家伙什。同一个厨师,给他钝刀还是快刀,出菜的品质差距可能比换个人还明显。
前些年,研究者大体是分头去优化这两件事的。一拨人忙着"磨刀",也就是改harness,模型那头按住不动,只去调提示词、调流程、调代码逻辑。另一拨人忙着"练手艺",用强化学习直接训模型,可他们收集训练数据时用的还是那套固定不变的厨具。
局面就有点尴尬。磨刀的人没法让厨师变聪明,练手艺的人只能在旧厨具划定的圈子里学新本事。厨具本身压着厨师的上限,厨师再拼,菜的天花板也摆在那儿。
换个方向想:厨师已经升了级,那把当初专门为"笨手笨脚的新手"打造的刀,还配得上现在这个更厉害的人吗?多半不配。厨师的失误方式已经变了,原先那套绕开问题的刀具设计,未必还对得上症状。
这篇论文要啃的核心矛盾正在这里:harness和
让AI自己动手给自己换工具
论文给出的方法叫
**思路挺直白:让同一个AI同时干两份活,既上场当"选手",也下场当"教练"。**
展开说,整个流程像一场循环接力,由两个交替进行的步骤组成。
第一步叫
第二步叫
两步一轮接一轮地转:人一边用工具一边改工具,拿改好的工具去提自己的本事,本事上去了又反过来看出工具的新毛病,再回头改工具。
论文里有张图很直观,画的是条从左往右走的上升曲线。起点是基础模型61%的解决率,途中依次经过H1(头一回改工具)、P1(头一回练技能)、H2、P2四个阶段,最终攀到69.5%。每一段都在往上走,没有哪一步是白费的。
有个关键细节得说清楚:"磨刀匠"这个角色由谁来当?
**在
论文另外做了一组对照实验,换上更强的外部模型
任务难度表决定下一轮该磨哪里
光有循环还不够,里头还埋了一个挺巧的设计,叫"
每次
**答案是:模型自己越变越强,原来那批任务对它可能早就不算难关了。还拿这些题去优化harness,就好比给一个毫无压力的学生反复补他已经会了的内容,力气白花,方向还可能跑偏。**
论文的办法是,每一轮
这就像一个健身教练,不会死盯着你已经做得很顺的动作纠姿势,而是把注意力放在你总做不好的那个动作上。你水平涨了,教练盯的重点也跟着换:上个月纠的是深蹲姿势,这个月可能换成硬拉发力顺序。要是教练永远盯着你头一回来健身房时的毛病,那他纠正的东西跟你眼下的短板早就对不上了。
论文用消融实验检验了这个设计到底值多少。把初始搜索集固定住不更新,最终解决率是70.1%,比动态更新搜索集的71.6%低了1.5个百分点。差距看着不大,可放在高难度基准测试上,这1.5个百分点常常意味着几十个任务里多啃下好几个真实bug。
为什么选强化学习,而不是直接模仿
策略优化在P-step这一步究竟怎么落地?
论文采用的是
有个技术细节可以展开说说。强化学习靠“奖励信号”来引导模型,这篇论文给的奖励很直接:二元信号,任务解决得1分,没解决得0分。
麻烦在于,同一组尝试如果全成功或全失败,组内就没有“相对好坏”的差别,模型从中得不到有效信息。这种现象被称为
BAR
好比老师出卷打分,一道题全班都做对或都做错,这道题就分不出谁真懂。有经验的老师会留几道中等难度的题,让会与不会的人在这上面拉开差距,谁掌握了、谁没掌握一目了然。
论文还做了对比实验,用监督微调(
纯模仿学习有天花板,它只能复制“已经发生过的成功”;强化学习能试更多路子,从错误里真正纠偏。
磨刀到底改了什么
说了半天“改进harness”,改的究竟是什么?论文给了一个很具体的案例研究,拿真实任务做对比,展示优化前后harness的变化。
研究者分析了初代harness(论文里叫
第一个坑:模型花太多步数还没提交结果,系统直接判超时,提交空结果。考试铃响,学生没写完,监考老师收走卷子,交白卷。
第二个坑:模型确实改了代码,可新建文件没被git追踪到,最终提交的补丁是空的,白干一场。
第三个坑:模型写的代码用了自己猜的函数名或接口,真实代码库里根本不存在或者叫法不对,修改看着完成了,实际是错的。
第四个坑:补丁格式有问题,根本无法应用到代码库上。
针对这四个坑,优化后的harness加了四道“关卡”。
快到步数上限时,系统提前警告模型,催它赶紧做保底提交,别等时间耗尽交白卷。
检测到补丁为空,系统暂停接受这次提交,提示模型用特定命令把新建文件加进版本控制。
模型第一次提交通过“空补丁检测”后,系统追加一次检查,要求它翻看代码库里现成的测试用例,核对自己编的接口名和参数是否真符合代码库的习惯用法,而不是凭感觉编。
补丁格式有问题导致无法应用时,系统用备用方案,直接从沙箱环境里提取真实代码差异来兜底提交。
论文给了一个真实案例对比:任务是修复Sphinx文档工具里一个mock对象继承关系展示错误的bug。用旧harness跑,模型辛苦改完代码、测试全过,最后只打印一段文字总结当提交内容,没附代码补丁,整个工作白费。换成新harness跑同一个模型,系统在它准备用文字总结收尾时检测到提交补丁为空,给出提示,模型这才意识到问题,重新生成真实代码差异并提交,任务顺利解决。
这个对比很能说明问题:模型的能力和它展现出来的结果,中间隔着一层“流程设计”。同样聪明的厨师,用上合适的厨具,才能把脑子里想好的那道菜真正端上桌。
两个人一起变强,比各自变强的总和还多
论文里最有意思的发现,是一个“1+1大于2”的现象。
研究者做了交叉验证实验:把优化前的策略模型配上优化后的harness,再把优化后的策略模型配上原始harness,分别看效果。
基础模型换上第二轮优化后的harness,解决率从61.0%升到64.5%,涨了3.5个百分点;反过来,基础harness搭配第二轮优化后的策略模型,解决率到64.4%,涨3.4个百分点。两项提升直接相加是6.9个百分点。可两个优化后的组件真正合到一起,解决率做到了69.5%,比基础版本高8.5个百分点,比简单相加还多出1.6个百分点。
这多出来的1.6个百分点,值得细看:它说明harness的改进和策略模型的改进之间不是各干各的。团队合作里常有类似情形——两个能力各提升20%的队友凑到一起,整体产出可能涨超40%。个人能力上去以后,彼此配合的摩擦小了,因能力不足带来的沟通成本和返工被省掉,省下的这部分又变成了额外产出。
解法更稳之外,难题也能啃下来
论文还专门拆了“可靠性”和“能力上限”两件事。论文用了
实验让基础模型和Self-HPO各做8次独立尝试。从k=1到k=8,每一个k值上Self-HPO都压过基础模型,pass@8从80.0%升到84.8%,提高4.8个百分点。
分难度看更细。论文把任务划成四类:“困难”(基础模型从没解决过)、“中等”(偶尔能解决)、“容易”(多数情况能解决)、“已解决”(基础模型本来就全对)。
结果挺有意思:在中等难度任务上,
“反而下降”这个细节不算坏消息,它反倒把优化的本质亮了出来。原来就完全掌握的任务,稳定性有一点点损耗;原来做不好、做不到的任务,提升幅度很大。Self-HPO不是让模型在熟悉的套路上更娴熟,它真正拓宽了模型能解决问题的边界。
拿学生打比方:原本只会做基础题,强化训练之后,中等题和难题的得分率大幅提高,可那些闭着眼都能做对的送分题,偶尔因为做题策略变了出点小失误。这不是退步,是能力结构真的变了——从“保守刷熟题”转向“主动挑战难题”。
这套思路正被更多人验证和延伸
Self-HPO发表后,很快有后续工作去探讨同类问题的不同解法。论文里提到了
另一个叫
还有一个叫
把这些对照工作摆在一起,能看出领域在“谁负责改工具”这件事上已经分出不同路径:有的坚持用外部更强的模型当裁判和导师,有的坚持训一个专职的内部评审员,还有的试着把两件事揉进同一个决策循环。Self-HPO走的路相对朴素,效果却扎实——同一个大脑在不同阶段切换角色,既当运动员也当教练。
写在后面
读完论文,最打动我的不是最终的69.5%,而是交叉验证实验揭出的协同效应。一般看AI论文的实验设计,多是“方法A比方法B好多少”,鲜有论文肯花力气拆开“两个改进各自单独起多少作用、合起来又是多少”。这种拆解费工夫,却回答了一个更本质的问题:两个改进是简单叠加,还是真的起了化学反应。
论文给的答案是真的起了化学反应。这比最终分数高多少更有价值——它暗示了一条更普遍的规律:工具和使用工具的人之间,藏着一种只有两边都升级到位才能释放的红利。红利平时锁着,只优化一边永远拿不到。
另一个让我停下來想很久的细节,是“已解决任务反而下降2.2个百分点”这个数据。多数论文碰到“退步”数据,习惯想办法解释掉,或者干脆不提。这篇论文坦然摆出来,还给了一个说得通的解读:模型的资源分配策略变了,更多精力投向原来搞不定的难题,代价是送分题上偶尔多犯小错。
顺着想下去:训练AI系统时,是不是也该习惯性地问一句,这次优化在哪里花掉了什么代价,而不是只盯总分涨了多少。只看总分的评估体系,很容易把“有得有失”的真实变化压成一条干净的上升曲线,曲线背后发生了什么却看不见。
如果有一天,AI智能体真能完全自主地同时优化自己的“大脑”和“工具”,它改进的速度会突然加快,还是照样撞上某个看不见的天花板?这个问题眼下谁也说不清。
Q&A
Q1:Self-HPO是什么?
A:Self-HPO是一套让代码AI智能体自我进化的训练框架,模型交替优化自己的工作流程(harness)和自身参数(
Q2:Self-HPO 比单独优化能好多少?
A:在
Q3:用 Self-HPO 是否得靠更强的外部模型?答案是不用。Self-HPO 的设计核心,就是让模型自己来当工作流程的提议者,外部模型并非必需。不过,要是额外引入更强的外部模型,比如