只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

资讯 AI 行业观察 全文 1455 字 · 约 4 分钟读完 配图 1 张 分类Google智能体学术研究

IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

所属频道 大厂动态智能体与 Agent前沿研究

IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。

在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。

只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍(配图 1)

其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。

研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Token 消耗过高或执行效果下降等问题。

为解决这一问题,研究人员提出了一套能够自我改进的 Harness 架构。与传统上通过修改提示词来约束智能体不同,该方案允许优化模型直接修改 Harness 的代码,并通过测试决定是否保留修改。

实验采用一套仅有 142 行代码的初始编程智能体 Harness,将其拆分为四个可编辑模块,分别负责上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。

每轮优化过程中,系统只允许修改其中一个模块。优化模型首先根据智能体执行记录识别问题并提出代码修改方案,随后通过验证集检查修改效果,同时受到 Token 使用上限约束。只有通过验证的修改才会被保留,未达到要求的方案则会被舍弃。

在核心测试中,研究人员使用 Gemini 3.8 Flash 作为执行任务的基础模型,并在 40 道未参与优化的 SWE-bench Lite 软件工程任务上评估不同方案的表现。

结果显示,初始 Harness 的任务成功率为 5.0%,采用模块化修改和验证机制后,成功率提高至 40.0%,平均每项任务消耗约 4.67 万 Token。

作为对照,如果允许优化模型不受限制地整体重写 Harness,任务成功率可以达到 42.5%,略高于模块化方案,但平均每项任务需要消耗约 45.16 万 Token,是模块化方案的近 10 倍。

IT之家注意到,另一项实验则采用仅修改提示词规则文件的方式约束智能体,结果任务成功率反而从初始的 5.0% 降至 2.5%。

研究还考察了优化后的 Harness 迁移到其他模型时的表现。在不重新进行优化搜索的情况下,模块化方案迁移至 Gemini 4 Argon 后,任务成功率达到 37.5%,而整体重写方案为 30.0%。

研究人员认为,Harness 的自我改进不应仅依赖提示词,而应将重要约束落实到实际代码中。例如,通过自动测试检查任务执行结果、识别重复失败和阻止未经验证的任务结束,可以让智能体更可靠地完成复杂任务。

论文同时指出,允许智能体修改自身运行代码也会带来新的风险,包括提示词内容不断膨胀、针对基准测试进行过度优化,以及篡改评估程序等。因此,代码修改需要受到验证机制和权限边界约束。

需要注意的是,这项研究的实验主要围绕特定模型和 SWE-bench Lite 软件工程任务展开,核心测试集仅包含 40 道未参与优化的任务,尚不足以证明该方法在所有模型和智能体应用场景中都能取得相同效果。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  3. 中国AI创业者为何纷纷回国:融资、家庭与美国的推力

    中国的经济成熟正吸引科技企业家回归创业,而与此同时,美国却在将他们推离。2026年11月17日晚上8:00(GMT+8)本文是《商业周刊》2026年12月1日刊的一部分。当Moonshot AI 的Kimi K3成为美国人工智能模型最强劲的中国挑战者之一时,一个问题不断涌现:为什么它的创始人杨植麟没有留在美国发展他的创

    来源 腾讯网
  4. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  5. 谷歌Gemini 4逆袭!国产AI没有上榜

    最新的 Agent Arena 榜单中,被大家戏称北美 “豆包” 的 Gemini 算是翻身了,直接跑赢了 GPT!两个模型Gemini 4 neo 和 Gemini 4 carbon都压着GPT打,算是出了口恶气。不少朋友可能不清楚这个榜单到底测什么,它不比AI聊天问答好不好玩,而是比AI 智能体的实战干活能力:比如

    来源 腾讯网
  6. AI智能体评测新框架RES:任务不变,环境逐轮加码

    你有没有想过,为什么现在很多AI模型跑分越来越高,但真正用起来的时候,还是会在一些意想不到的地方翻车?这背后藏着一个很尴尬的事实。我们评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种)的方式,其实一直在偷懒。研究者想让测试变难,通常的做法就是多造几个任务,多编几条轨...

    来源 腾讯网
  7. 德国将网络威胁评估上调为“严峻至危急”:AI 智能体降低攻击门槛

    IT之家 11 月 19 日消息,据路透社今天(19 日)下午报道,德国联邦信息安全局(BSI)将信息技术系统面临的威胁上调至“严峻至危急”。该局指出,智能体 AI 系统让攻击者有了更多可乘之机。 当地时间 19 日,该局发布的报告称,许多企业和消费者以为自身很安全,低估了实际面临的风险。这项评估每年发布一次,去年该局

    来源 AI 行业观察
  8. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  9. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  10. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  11. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  12. OpenAI开放GPT-Live-1.1 API:语音智能体可边聊边干活

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音

    来源 AI 行业观察
  13. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  14. 谷歌Gemini 4 Neon发布:100万token上下文,速度达Carbon三倍

    谷歌11月18日发布新AI模型Gemini4Neon,聚焦复杂推理与多步骤任务自动化,重点覆盖复杂编程、科学研究和企业工作流,力求平衡推理能力、响应速度与运行成本。该模型已向开发者、企业及部分付费订阅用户开放,核心亮点是支持100万token超长上下文,并具备多智能体协同能力。

    来源 AI 产业速递
  15. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  16. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  17. 谷歌Chrome造“平行互联网”:AI代理先在沙盒里犯错

    为了让AI浏览代理在真实网页上替用户办事,谷歌Chrome团队搭建了一个与真实互联网平行的“镜像维度”沙盒。在这个替代宇宙里,代理可以尽情犯错、暴露失控风险,而不会波及真实用户。这既是浏览器AI竞赛的基础设施,也折射出AI代理安全测试的行业难题。

    来源 AI 科技快讯
  18. 苹果自研AI智能体:可操纵设备写代码,2027年推服务未定

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  19. 苹果自研AI智能体曝光:可操控设备、写代码,2027年底或落地

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  20. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
  21. MIT“AI炒作指数”:AI像皮疹蔓延,人还能做主吗?

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹

    来源 AI 科技快讯
向下滚动自动加载更多