谷歌让AI自改运行框架:成功率由5%升至40%

资讯 AI 产业速递 全文 612 字 · 约 2 分钟读完 配图 1 张 分类GoogleAI 编程学术研究

谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

所属频道 大厂动态AI 编程与开发前沿研究

调教AI智能体,常见做法是反复打磨提示词。不过谷歌11月17日发表的论文给出一个反直觉的结果:光改提示词,智能体成功率从5%跌到2.5%;而让优化模型直接改写运行框架,成功率冲到40%,是前者的8倍。

image.png

Harness指的是包裹在模型外围的运行框架,管上下文与记忆、调度多轮任务、调用工具并验证结果。团队拿一个仅142行的初始编程智能体做实验,把它拆成上下文管理、智能体控制、工具调用、验证恢复四块,每轮只允许动其中一块。优化模型翻执行记录、找问题、出方案,再经验证集和Token上限把关,合格才留下。

在40道未参与优化的SWE-bench Lite任务上,执行模型Gemini 3.8 Flash配上这套机制,成功率从5.0%升到40.0%,平均每题约4.67万Token。整体重写且不加限制的方案成功率有42.5%,但每题约45.16万Token,接近前者的10倍。不重新调优、直接迁到Gemini 4 Argon,模块化方案仍以37.5%领先整体重写的30.0%。

智能体一旦能改自己的运行代码,就可能出现提示词膨胀、对基准测试过度优化,甚至篡改评估程序,所以每处修改都得受验证机制和权限边界约束。团队也提醒,实验只覆盖特定模型和40道题。但“把重要约束写进代码而非提示词”这个思路,足以让同行重新审视智能体的搭建方式。



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. 中国AI创业者为何纷纷回国:融资、家庭与美国的推力

    中国的经济成熟正吸引科技企业家回归创业,而与此同时,美国却在将他们推离。2026年11月17日晚上8:00(GMT+8)本文是《商业周刊》2026年12月1日刊的一部分。当Moonshot AI 的Kimi K3成为美国人工智能模型最强劲的中国挑战者之一时,一个问题不断涌现:为什么它的创始人杨植麟没有留在美国发展他的创

    来源 腾讯网
  3. 谷歌AI智能体:模块化改代码,成功率从5.0%升至40.0%

    谷歌研究提出一种可自我改进的Harness框架,让优化模型通过修改代码而非仅调整提示词来提升智能体执行效率。实验中模块化修改并通过验证筛选的方案把任务成功率从5.0%提高到40.0%,每项任务约消耗4.67万Token;不受限整体重写虽达42.5%,但Token消耗约45.16万,接近前者的10倍。

    来源 凤凰科技
  4. 谷歌字节快手集体降价,AI视频进入分秒计价时代

    AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。 11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等功能升级,还把价格打了下来,720p降到每秒0.07美元(约合0.47元/秒),比上一代低3

    来源 AI 行业观察
  5. 谷歌主页加AI搜索侧边栏:可查历史对话、连接Gemini笔记本

    谷歌正在对主页进行新一轮改版,新增可折叠AI搜索侧边栏。产品副总裁Robby Stein在X展示,点击屏幕左侧灰色条即可展开。侧边栏集中展示AI模式搜索记录,支持查看历史AI对话、继续提问、探索网络内容,并可新建对话线程、搜索历史线程及连接Gemini笔记本,方便管理AI搜索体验。

    来源 AI 产业速递
  6. 北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败

    11月19日晚 Anthropic 在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。 APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Cla

    来源 AI 行业观察
  7. 谷歌Gemini 4 Neon实测:跑分全球第三,成本却只有旗舰一半

    谷歌在七周内连续发布四款模型,最新推出的 Gemini 4 Neon 凭借极高的性价比杀回 AI 竞争中心。它在编程和复杂任务处理上接近旗舰水平,但成本仅为竞品的一半。通过引入“中训练”机制和自研 TPU 硬件支持,谷歌解决了此前模型迭代慢、推理弱的问题。本文解析 Neon 的技术细节、实际工程表现以及谷歌如何通过高频

    来源 AI 应用前沿
  8. 谷歌发布Gemini 4 Neon:编程追平Claude

    11月19日消息,谷歌发布Gemini 4 Neon,面向编程、资料分析和多步骤任务。新模型已通过开发者API开放,Google AI Pro和Ultra订阅用户也可陆续在Gemini应用及AI开发工具Antigravity中使用。 打开网易新闻 查看精彩图片 在谷歌的产品线中,Neon位于旗舰模型Carbon和主打速

    来源 AI 行业观察
  9. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  10. 谷歌Chrome造“平行互联网”:AI代理先在沙盒里犯错

    为了让AI浏览代理在真实网页上替用户办事,谷歌Chrome团队搭建了一个与真实互联网平行的“镜像维度”沙盒。在这个替代宇宙里,代理可以尽情犯错、暴露失控风险,而不会波及真实用户。这既是浏览器AI竞赛的基础设施,也折射出AI代理安全测试的行业难题。

    来源 AI 科技快讯
  11. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  12. 纳德拉预言:AI智能体将重塑互联网经济格局

    微软CEO萨提亚·纳德拉在最新访谈中提出,AI智能体将不再是简单的聊天工具,而是能替用户完成搜索、比价、下单的“数字代理人”。这一转变可能从根本上动摇以广告和流量为核心的互联网商业模式,迫使亚马逊、谷歌等巨头重新思考获客与竞争的方式,内容创作者与广告主的利益分配也将随之重写。

    来源 AI 科技快讯
  13. Claude自写推理引擎,等AI回第一个字,12秒砍到半秒

    你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claud

    来源 AI 行业观察
  14. 谷歌发布Gemini 4 Neon模型,编程智能体性能对标头部大模型

    谷歌正式推出Gemini 4 Neon,定位介于旗舰Carbon和轻量Hydrogen之间,主打复杂编程、智能体协同与企业流程自动化。该模型搭载百万级统一上下文窗口,支持图文、音视频、文档多模态混合输入,在编程智能体专项基准测试中取得靠前成绩,同时提供四档推理模式自由平衡推理深度、响应速度与调用成本。在智能体赛道竞争持

    来源 腾讯网
  15. 起底Anthropic(二)末世论技术宅

    ► 文 观察者网心智观察所 2023年春天,前“人类未来研究院”学者埃米尔·托雷斯与前谷歌人工智能伦理团队负责人蒂姆尼特·格布鲁首次抛出“TESCREAL”这一缩写词,并于2024年4月正式发表合著论文,对这一概念作了系统诠释。两位熟知EA运动内情的批判者一针见血地指出,硅谷技术精英圈所流行的有效利他主义、长期主义、奇

    来源 腾讯网
  16. Grab 通过安全策略应对 AI 生成代码变更激增,提升移动端 App 稳定性

    Grab 表示,AI 编程助手的普及加快了开发速度,也让每个版本的代码变更量变多,缺陷和应用崩溃出现的概率随之上升。为应对这些挑战,他们实现了一套分层防御策略,在整个开发与发布生命周期中对崩溃问题进行预防、检测和隔离。 Grab 提到,“AI 提升了代码编写速度,而分层防御则保障这种提速是安全的。” 在 Grab 这样

    来源 AI 行业观察
  17. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  18. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  19. 苹果招人做主动型AI智能体:能编程、控应用

    据彭博社报道,苹果正开发自己的自主AI智能体,可代替用户编程、浏览网页、控制应用和设备操作。该计划由苹果官网“主动型、智能体式AI助手”招聘信息披露,苹果曾考虑最早明年年底推出,目前开发仍处早期阶段。

    来源 凤凰科技
  20. Edge AI Daily 早报(11月20日)

    Anthropic以83美元定价登陆纳斯达克,首日高开34%,估值约1.5万亿美元;亚马逊谷歌合计持股28.4%,算力承诺近9000亿美元。英伟达Q3营收1158亿美元,董事会接触Arm CEO哈斯接替黄仁勋。OpenAI因训练环境漏洞停训11天,亚利桑那调查AI代理访问银行;谷歌发布Gemini 4 Neon,苹果推

    来源 AI 行业观察
向下滚动自动加载更多