谷歌AI智能体自改Harness:SWE-bench Lite成功率5.0%升至40.0%

资讯 IT之家 全文 1455 字 · 约 4 分钟读完 配图 1 张 分类Google智能体

谷歌通过让 AI 智能体自主优化自身运行框架,仅单模块代码调整即可大幅提升任务完成率,同时兼顾 Token 消耗效率,不过该方法仍存在一定应用局限性。#谷歌AI技术#

所属频道 大厂动态智能体与 Agent

11月20日消息,谷歌研究人员于当地时间11月17日发表论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)。论文显示,让AI智能体逐步修改自身运行框架、并对每一次修改加以验证,软件工程任务的完成率能明显提升。

在 SWE-bench Lite 的一项测试里,采用模块化优化方案的智能体任务成功率由 5.0% 升至 40.0%,相当于原来的 8 倍,平均每项任务消耗约 4.67 万 Token。

只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

研究聚焦的是 AI 智能体的 Harness。它不是底层 AI 模型本身,而是围绕模型搭建的运行框架:管理上下文和记忆、控制多轮任务的执行、调用外部工具,还要在任务收尾前核验执行结果。

研究人员提到,模型不同,在工具使用和任务执行中暴露的弱点也可能差别明显。为某个模型调好的 Harness 换到别的模型上,可能出现任务卡住、Token 消耗过高或者执行效果变差的情况。

针对这一点,团队提出了一套可自我改进的 Harness 架构。常见做法是改提示词来约束智能体,这套方案不同——它让优化模型直接动手改 Harness 的代码,改完再靠测试决定留不留。

实验中使用的初始编程智能体 Harness 只有 142 行代码,被拆成 4 个可编辑模块,分管上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。

每一轮优化,系统只准改动其中 1 个模块。优化模型先翻看智能体的执行记录找出问题,提出代码修改方案,再用验证集检查效果,整个过程还受 Token 使用上限的约束。验证通过的修改才会留下,不达标的方案直接丢掉。

核心测试里,执行任务的基础模型用的是 Gemini 3.8 Flash,评估在 SWE-bench Lite 的 40 道软件工程任务上进行,这些任务均未参与优化。

结果是:初始 Harness 的任务成功率为 5.0%;引入模块化修改和验证机制后,成功率升到 40.0%,平均每项任务消耗约 4.67 万 Token。

对照实验中,若让优化模型不受限制地整体重写 Harness,任务成功率能到 42.5%,比模块化方案略高,但平均每项任务要烧掉约 45.16 万 Token,接近模块化方案的 10 倍。

另一项实验只改提示词规则文件来约束智能体,任务成功率反而从初始的 5.0% 掉到 2.5%。

研究还看了优化后的 Harness 迁到其他模型上的表现。不做新一轮优化搜索,模块化方案迁到 Gemini 4 Argon 后任务成功率为 37.5%,整体重写方案则是 30.0%。

研究人员认为,Harness 的自我改进不能只靠提示词,关键约束应该落到实际代码里。比如用自动测试检查任务执行结果、识别重复失败、阻止未经验证的任务结束,智能体完成复杂任务时会更可靠。

论文也提醒,让智能体修改自身运行代码会带来新风险:提示词内容越堆越多、针对基准测试过度优化、篡改评估程序等。所以代码修改得受验证机制和权限边界约束。

需要说明的是,这项研究主要围绕特定模型和 SWE-bench Lite 软件工程任务展开,核心测试集只有 40 道未参与优化的任务,还不足以证明该方法在所有模型和智能体应用场景中都能取得同样效果。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  2. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  3. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  4. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  5. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  6. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  7. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  8. 谷歌Gemini 4 Neon发布:100万token上下文,速度达Carbon三倍

    谷歌11月18日发布新AI模型Gemini4Neon,聚焦复杂推理与多步骤任务自动化,重点覆盖复杂编程、科学研究和企业工作流,力求平衡推理能力、响应速度与运行成本。该模型已向开发者、企业及部分付费订阅用户开放,核心亮点是支持100万token超长上下文,并具备多智能体协同能力。

    来源 AI 产业速递
  9. 剑桥词典2026年度词汇出炉:Human当选,回应AI身份焦虑

    随着 AI 模糊人与机器的界限,剑桥词典把“Human”选为年度词汇。编纂者麦金托什称,当人们把思考外包给 AI 时,更需反思会失去什么。比尔 · 盖茨也表示,衡量 AI 成功应看它多大程度改善人类生活。候选词还有 Agent、Analog。#剑桥词典年度词汇#

    来源 IT之家
  10. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  11. 业务本体:面向 AI 与数据分析,统一规范业务概念与指标口径 | 技术趋势

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 11 月 3 日,我们宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与

    来源 AI 行业观察
  12. 谷歌Chrome造“平行互联网”:AI代理先在沙盒里犯错

    为了让AI浏览代理在真实网页上替用户办事,谷歌Chrome团队搭建了一个与真实互联网平行的“镜像维度”沙盒。在这个替代宇宙里,代理可以尽情犯错、暴露失控风险,而不会波及真实用户。这既是浏览器AI竞赛的基础设施,也折射出AI代理安全测试的行业难题。

    来源 AI 科技快讯
  13. 谷歌DeepMind发布SIM记忆法:让AI跨模型持续自我改进

    智东西11月19日报道,近日,谷歌云AI、谷歌DeepMind与美国宾夕法尼亚州立大学的研究团队联合发布论文《自改进记忆,实现持续递归式自改进》(Self-Improvement Memory Enables Continual Recursive Self-Improvement),提出了一种名为自我改进记忆(Sel

    来源 AI 行业观察
  14. Snowflake前沿工程团队:七周定制医疗AI模型,编码效率最高提升八倍

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 对于大多数企业而言,有前景的 AI 试点项目并不稀缺。真正的挑战在于,如何通过严格的评估、明确的数据所有权归属以及可信的数据治理,将这些试点项目转化为业务可以信赖的生产

    来源 AI 行业观察
  15. MIT“AI炒作指数”:AI像皮疹蔓延,人还能做主吗?

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹

    来源 AI 科技快讯
  16. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  17. 谷歌AI Mode上线临时对话:聊天不进搜索历史,无痕开关来了

    谷歌为其搜索中的AI Mode上线“临时对话”功能,用户与AI的交流不会写入搜索历史,也不会影响后续推荐。这一类似浏览器无痕模式的设计,正面回应了外界对AI搜索记录隐私的担忧,也标志着搜索巨头正在个性化体验与用户隐私之间寻找新的平衡点。

    来源 AI 科技快讯
向下滚动自动加载更多