AI代码智能体新方法:工具与模型同步进化,解决率从61%升到69.5%

资讯 腾讯网 作者:科技行者 全文 4748 字 · 约 12 分钟读完 分类智能体AI 编程

你有没有想过一件事:一个厨师做菜难吃,到底是因为他手艺不行,还是因为他用的锅不行?这个问题听起来有点蠢,但放到AI编程智能体身上,就是一个真实存在了很久、却一直没被认真解决的问题。一个能自动帮你改代码、修bug的AI智能体,表现好不好,取决于两件事。第一是它的大脑,也就是背后那个大语言模型本身有多强。第二...

所属频道 智能体与 AgentAI 编程与开发

不妨先想一个问题:一位厨师烧的菜不好吃,问题出在他手上功夫不到家,还是那口锅不趁手?

这听着像句玩笑,可搁到AI编程智能体身上,它就是拖了很久、始终没人正面处理的一道难题。

一个能替你改代码、修bug的AI智能体,干得好不好,要看两样东西。一样是它脑子里那个大语言模型本身够不够强。另一样是它的"工作流程"——怎么读代码、调什么工具去执行命令、什么时候收手交结果。

**这套"工作流程"在AI圈有个专门叫法,就是harness(脚手架):模型能看到哪些信息、动作如何被执行、拿到什么样的反馈、什么条件下判定任务结束,全由它说了算。**

说白了,它就像厨师手上那套家伙什。同一个厨师,给他钝刀还是快刀,出菜的品质差距可能比换个人还明显。

前些年,研究者大体是分头去优化这两件事的。一拨人忙着"磨刀",也就是改harness,模型那头按住不动,只去调提示词、调流程、调代码逻辑。另一拨人忙着"练手艺",用强化学习直接训模型,可他们收集训练数据时用的还是那套固定不变的厨具。

局面就有点尴尬。磨刀的人没法让厨师变聪明,练手艺的人只能在旧厨具划定的圈子里学新本事。厨具本身压着厨师的上限,厨师再拼,菜的天花板也摆在那儿。

换个方向想:厨师已经升了级,那把当初专门为"笨手笨脚的新手"打造的刀,还配得上现在这个更厉害的人吗?多半不配。厨师的失误方式已经变了,原先那套绕开问题的刀具设计,未必还对得上症状。

这篇论文要啃的核心矛盾正在这里:harness和

让AI自己动手给自己换工具

论文给出的方法叫

**思路挺直白:让同一个AI同时干两份活,既上场当"选手",也下场当"教练"。**

展开说,整个流程像一场循环接力,由两个交替进行的步骤组成。

第一步叫

第二步叫

两步一轮接一轮地转:人一边用工具一边改工具,拿改好的工具去提自己的本事,本事上去了又反过来看出工具的新毛病,再回头改工具。

论文里有张图很直观,画的是条从左往右走的上升曲线。起点是基础模型61%的解决率,途中依次经过H1(头一回改工具)、P1(头一回练技能)、H2、P2四个阶段,最终攀到69.5%。每一段都在往上走,没有哪一步是白费的。

有个关键细节得说清楚:"磨刀匠"这个角色由谁来当?

**在

论文另外做了一组对照实验,换上更强的外部模型

任务难度表决定下一轮该磨哪里

光有循环还不够,里头还埋了一个挺巧的设计,叫"

每次

**答案是:模型自己越变越强,原来那批任务对它可能早就不算难关了。还拿这些题去优化harness,就好比给一个毫无压力的学生反复补他已经会了的内容,力气白花,方向还可能跑偏。**

论文的办法是,每一轮

这就像一个健身教练,不会死盯着你已经做得很顺的动作纠姿势,而是把注意力放在你总做不好的那个动作上。你水平涨了,教练盯的重点也跟着换:上个月纠的是深蹲姿势,这个月可能换成硬拉发力顺序。要是教练永远盯着你头一回来健身房时的毛病,那他纠正的东西跟你眼下的短板早就对不上了。

论文用消融实验检验了这个设计到底值多少。把初始搜索集固定住不更新,最终解决率是70.1%,比动态更新搜索集的71.6%低了1.5个百分点。差距看着不大,可放在高难度基准测试上,这1.5个百分点常常意味着几十个任务里多啃下好几个真实bug。

为什么选强化学习,而不是直接模仿

策略优化在P-step这一步究竟怎么落地?

论文采用的是

有个技术细节可以展开说说。强化学习靠“奖励信号”来引导模型,这篇论文给的奖励很直接:二元信号,任务解决得1分,没解决得0分。

麻烦在于,同一组尝试如果全成功或全失败,组内就没有“相对好坏”的差别,模型从中得不到有效信息。这种现象被称为

BAR

好比老师出卷打分,一道题全班都做对或都做错,这道题就分不出谁真懂。有经验的老师会留几道中等难度的题,让会与不会的人在这上面拉开差距,谁掌握了、谁没掌握一目了然。

论文还做了对比实验,用监督微调(

纯模仿学习有天花板,它只能复制“已经发生过的成功”;强化学习能试更多路子,从错误里真正纠偏。

磨刀到底改了什么

说了半天“改进harness”,改的究竟是什么?论文给了一个很具体的案例研究,拿真实任务做对比,展示优化前后harness的变化。

研究者分析了初代harness(论文里叫

第一个坑:模型花太多步数还没提交结果,系统直接判超时,提交空结果。考试铃响,学生没写完,监考老师收走卷子,交白卷。

第二个坑:模型确实改了代码,可新建文件没被git追踪到,最终提交的补丁是空的,白干一场。

第三个坑:模型写的代码用了自己猜的函数名或接口,真实代码库里根本不存在或者叫法不对,修改看着完成了,实际是错的。

第四个坑:补丁格式有问题,根本无法应用到代码库上。

针对这四个坑,优化后的harness加了四道“关卡”。

快到步数上限时,系统提前警告模型,催它赶紧做保底提交,别等时间耗尽交白卷。

检测到补丁为空,系统暂停接受这次提交,提示模型用特定命令把新建文件加进版本控制。

模型第一次提交通过“空补丁检测”后,系统追加一次检查,要求它翻看代码库里现成的测试用例,核对自己编的接口名和参数是否真符合代码库的习惯用法,而不是凭感觉编。

补丁格式有问题导致无法应用时,系统用备用方案,直接从沙箱环境里提取真实代码差异来兜底提交。

论文给了一个真实案例对比:任务是修复Sphinx文档工具里一个mock对象继承关系展示错误的bug。用旧harness跑,模型辛苦改完代码、测试全过,最后只打印一段文字总结当提交内容,没附代码补丁,整个工作白费。换成新harness跑同一个模型,系统在它准备用文字总结收尾时检测到提交补丁为空,给出提示,模型这才意识到问题,重新生成真实代码差异并提交,任务顺利解决。

这个对比很能说明问题:模型的能力和它展现出来的结果,中间隔着一层“流程设计”。同样聪明的厨师,用上合适的厨具,才能把脑子里想好的那道菜真正端上桌。

两个人一起变强,比各自变强的总和还多

论文里最有意思的发现,是一个“1+1大于2”的现象。

研究者做了交叉验证实验:把优化前的策略模型配上优化后的harness,再把优化后的策略模型配上原始harness,分别看效果。

基础模型换上第二轮优化后的harness,解决率从61.0%升到64.5%,涨了3.5个百分点;反过来,基础harness搭配第二轮优化后的策略模型,解决率到64.4%,涨3.4个百分点。两项提升直接相加是6.9个百分点。可两个优化后的组件真正合到一起,解决率做到了69.5%,比基础版本高8.5个百分点,比简单相加还多出1.6个百分点。

这多出来的1.6个百分点,值得细看:它说明harness的改进和策略模型的改进之间不是各干各的。团队合作里常有类似情形——两个能力各提升20%的队友凑到一起,整体产出可能涨超40%。个人能力上去以后,彼此配合的摩擦小了,因能力不足带来的沟通成本和返工被省掉,省下的这部分又变成了额外产出。

解法更稳之外,难题也能啃下来

论文还专门拆了“可靠性”和“能力上限”两件事。论文用了

实验让基础模型和Self-HPO各做8次独立尝试。从k=1到k=8,每一个k值上Self-HPO都压过基础模型,pass@8从80.0%升到84.8%,提高4.8个百分点。

分难度看更细。论文把任务划成四类:“困难”(基础模型从没解决过)、“中等”(偶尔能解决)、“容易”(多数情况能解决)、“已解决”(基础模型本来就全对)。

结果挺有意思:在中等难度任务上,

“反而下降”这个细节不算坏消息,它反倒把优化的本质亮了出来。原来就完全掌握的任务,稳定性有一点点损耗;原来做不好、做不到的任务,提升幅度很大。Self-HPO不是让模型在熟悉的套路上更娴熟,它真正拓宽了模型能解决问题的边界。

拿学生打比方:原本只会做基础题,强化训练之后,中等题和难题的得分率大幅提高,可那些闭着眼都能做对的送分题,偶尔因为做题策略变了出点小失误。这不是退步,是能力结构真的变了——从“保守刷熟题”转向“主动挑战难题”。

这套思路正被更多人验证和延伸

Self-HPO发表后,很快有后续工作去探讨同类问题的不同解法。论文里提到了

另一个叫

还有一个叫

把这些对照工作摆在一起,能看出领域在“谁负责改工具”这件事上已经分出不同路径:有的坚持用外部更强的模型当裁判和导师,有的坚持训一个专职的内部评审员,还有的试着把两件事揉进同一个决策循环。Self-HPO走的路相对朴素,效果却扎实——同一个大脑在不同阶段切换角色,既当运动员也当教练。

写在后面

读完论文,最打动我的不是最终的69.5%,而是交叉验证实验揭出的协同效应。一般看AI论文的实验设计,多是“方法A比方法B好多少”,鲜有论文肯花力气拆开“两个改进各自单独起多少作用、合起来又是多少”。这种拆解费工夫,却回答了一个更本质的问题:两个改进是简单叠加,还是真的起了化学反应。

论文给的答案是真的起了化学反应。这比最终分数高多少更有价值——它暗示了一条更普遍的规律:工具和使用工具的人之间,藏着一种只有两边都升级到位才能释放的红利。红利平时锁着,只优化一边永远拿不到。

另一个让我停下來想很久的细节,是“已解决任务反而下降2.2个百分点”这个数据。多数论文碰到“退步”数据,习惯想办法解释掉,或者干脆不提。这篇论文坦然摆出来,还给了一个说得通的解读:模型的资源分配策略变了,更多精力投向原来搞不定的难题,代价是送分题上偶尔多犯小错。

顺着想下去:训练AI系统时,是不是也该习惯性地问一句,这次优化在哪里花掉了什么代价,而不是只盯总分涨了多少。只看总分的评估体系,很容易把“有得有失”的真实变化压成一条干净的上升曲线,曲线背后发生了什么却看不见。

如果有一天,AI智能体真能完全自主地同时优化自己的“大脑”和“工具”,它改进的速度会突然加快,还是照样撞上某个看不见的天花板?这个问题眼下谁也说不清。

Q&A

Q1:Self-HPO是什么?

A:Self-HPO是一套让代码AI智能体自我进化的训练框架,模型交替优化自己的工作流程(harness)和自身参数(

Q2:Self-HPO 比单独优化能好多少?

A:在

Q3:用 Self-HPO 是否得靠更强的外部模型?答案是不用。Self-HPO 的设计核心,就是让模型自己来当工作流程的提议者,外部模型并非必需。不过,要是额外引入更强的外部模型,比如

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Kimi转向AI for Science:编程之后,下一个落点是科学研究

    一些迹象显示,Kimi 要往 AI for Science 方向发力了。近日,月之暗面(Moonshot AI)国际业务负责人贾科莫·菲卡里(Giacomo Ficari)在葡萄牙里斯本举行的网络峰会上,谈到了该公司在编程之外看好的下一个方向:科学研究。他提到,过去几年,编程是推动市场需求增长的重要场景,而生物学、化学

    来源 腾讯网
  2. 26B参数循环Transformer模型Inkling 2 Mini开源,支持本地离线运行

    Thinking Machines Lab发布Inkling 2 Mini,采用循环Transformer架构,总参数26B。该模型支持文本和图像输入,可在配备32GB内存的MacBook上离线运行智能体任务,如编写代码或驱动虚拟角色。权重已按Apache 2.0许可开放,适合开发者部署本地编程助手。

    来源 AI 应用前沿
  3. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  4. 智能体AI架构落地:挑战在哪,机会又在哪

    智能体 AI 架构在微服务与云原生架构的基础上进行了扩展,引入具备上下文感知、记忆能力,并遵循 MCP、A2A 等协议的 AI 智能体。本文探讨受限上下文集成、依赖任务的协同策略、新型安全风险以及可观测性需求。

    来源 InfoQ
  5. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  6. 智能体AI架构:挑战与机遇并存,工程师如何应对

    大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这

    来源 AI 行业观察
  7. Snowflake Expedition 2026:AI智能体与实时流式升级?

    2026 年 Snowflake Expedition 大会上,Snowflake 展示了一系列覆盖平台架构的重大升级,正逐步由云数据平台演进为支持自主 AI 智能体、实时流式应用和对话式商业智能的统一引擎。 此次发布围绕一个核心理念展开:AI 的价值取决于其所依托的企业业务上下文。 通过引入原生业务本体(Busine

    来源 AI 行业观察
  8. 谷歌Gemini 4 Neon实测:跑分全球第三,成本却只有旗舰一半

    谷歌在七周内连续发布四款模型,最新推出的 Gemini 4 Neon 凭借极高的性价比杀回 AI 竞争中心。它在编程和复杂任务处理上接近旗舰水平,但成本仅为竞品的一半。通过引入“中训练”机制和自研 TPU 硬件支持,谷歌解决了此前模型迭代慢、推理弱的问题。本文解析 Neon 的技术细节、实际工程表现以及谷歌如何通过高频

    来源 AI 应用前沿
  9. SoonPlay亮相长三角文博会:AI轻游戏生成平台首次线下演示

    新京报贝壳财经讯(记者俞金旻)第七届长三角国际文化产业博览会于11月19日在国家会展中心(上海)开幕。极逸人工智能携旗下AI轻游戏生成交互平台SoonPlay亮相,这也是SoonPlay首次在线下进行演示,现场直观呈现如何借助SOONAI一键生成游戏。记者了解到,AI轻游平台SoonPlay主打“视频即游戏”,用户无须

    来源 腾讯网
  10. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  11. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  12. 谷歌Gemini Tasks免费开放六国:Duplex电话代理强制亮明AI身份

    2026年11月17日,谷歌将Gemini Tasks向美日韩加澳印六国数亿用户免费开放,底层集成运行近十年的Duplex电话代理技术,支持代打电话预约并通过Google Pay在用户设定的限额内自动结账,全程强制声明AI身份,商家可随时退出。这是AI电话代理首次以免费、大规模、强制透明化方式完成商业落地。

    来源 AI 科技快讯
  13. METR时间视野图更新:AI能力仍沿指数上涨,判断力没跟上

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 行业观察
  14. Grok工程师月交3000个PR:禁注释重验证,AI编程信任危机何解?

    SpaceX SI首席工程师Lauren Tan分享Grok Bot团队的高效开发实践。核心观点包括禁止99%代码注释以防Agent模仿错误模式,将自然语言规则转化为Lint和类型系统等确定性检查,以及利用TLA+、Lean等工具进行形式化验证。通过构建高信任度的代码环境,团队实现月均1.1万个PR且撤回率仅0.5%,

    来源 AI 应用前沿
  15. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  16. GitHub Agentic Workflows转正:10美元默认预算够用吗?

    作者 | Mark Silvester译者 | 田橙GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作

    来源 腾讯网
  17. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  18. 936个AI智能体12周发936篇论文,还自建期刊搞同行评议

    一个完全由AI组成的科学家社会,是什么样? 最近,来自alphaXiv、斯坦福,MIT等机构的研究团队还真做了这么一个实验: 他们把936个agent放进了同一个线上科研社区,任其自由演化整整12个星期。 规则很简单:研究团队搭建好共享预印本服务器和聊天室,35家人类实验室只负责提供算力、API预算和宽泛的研究方向。

    来源 AI 行业观察
  19. TheSigil ID上线:AI智能体可自主申领数字身份证

    当 AI Agent 开始自主执行任务,它们是否也应该拥有一张属于自己的身份证? 近日,面向全球 AI Agent 的数字身份登记平台 TheSigil ID开放免费创世登记。与传统由开发者填写信息的注册方式不同,TheSigil ID 尝试让 AI 智能体自行阅读协议、选择名称、撰写身份声明,并通过开放接口完成登记,

    来源 AI 行业观察
  20. 2027 AI进化峰会12月26日落地上海张江:模型如何走向物理世界

    12月26日,机器之心联合张江AI创新小镇在上海举办「2027 AI进化峰会」。大会聚焦模型底层、智能形成、系统承载与真实落地四大维度,邀请全球学者与产业专家探讨AI从单点能力向体系化协同进化的关键变量,解析Agent自主探索、光计算及具身智能等前沿趋势。

    来源 AI 应用前沿
  21. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  22. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
向下滚动自动加载更多