谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

资讯 AI 开发者社区 作者:编程导航 全文 612 字 · 约 2 分钟读完 配图 1 张 分类Google学术研究智能体

调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

所属频道 大厂动态智能体与 Agent前沿研究

调教 AI 智能体,常见做法是反复打磨提示词。谷歌 11 月 17 日发表的论文给出了一个反直觉的结论:提示词改来改去,智能体的成功率反倒从 5% 掉到 2.5%;换成让优化模型直接改写它的运行框架,成功率则升到 40%,是前者的 8 倍。

image.png

初始代码只有 142 行,被切成四块,一块一块地改。

Harness 是包在模型外面的运行框架,管上下文和记忆、调度多轮任务、调用工具、核验结果,都归它负责。团队把这份仅 142 行的初始编程智能体分成上下文管理、智能体控制、工具调用、验证恢复四个模块,每一轮只允许改动其中一个:优化模型去翻执行记录,找出问题、提出方案,再由验证集和 Token 上限把关,通过了才留下来。

在 40 道没有参与优化的 SWE-bench Lite 任务上,执行模型 Gemini 3.8 Flash 配上这套机制,成功率由 5.0% 升到 40.0%,平均每题花掉约 4.67 万 Token;相比之下,放开限制、整体重写的方案虽然做到 42.5%,代价却是每题约 45.16 万 Token,接近 10 倍。不重新调优、直接迁到 Gemini 4 Argon,模块化方案同样以 37.5% 压过整体重写的 30.0%。

代码改写的权限一放开,护栏就必须跟上。

智能体一旦能改自己的运行代码,就存在提示词膨胀、对基准测试过度优化乃至篡改评估程序的 risk,所以每一处修改都要被验证机制和权限边界卡住。团队也提醒,实验只覆盖特定模型和 40 道题,不过“把重要约束写进代码而不是提示词”这个思路,足够让同行重新审视智能体的搭建方式。



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  3. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  4. 936个AI智能体12周发936篇论文,还自建期刊搞同行评议

    一个完全由AI组成的科学家社会,是什么样? 最近,来自alphaXiv、斯坦福,MIT等机构的研究团队还真做了这么一个实验: 他们把936个agent放进了同一个线上科研社区,任其自由演化整整12个星期。 规则很简单:研究团队搭建好共享预印本服务器和聊天室,35家人类实验室只负责提供算力、API预算和宽泛的研究方向。

    来源 AI 行业观察
  5. 谷歌Gemini 4 Neon实测:跑分全球第三,成本却只有旗舰一半

    谷歌在七周内连续发布四款模型,最新推出的 Gemini 4 Neon 凭借极高的性价比杀回 AI 竞争中心。它在编程和复杂任务处理上接近旗舰水平,但成本仅为竞品的一半。通过引入“中训练”机制和自研 TPU 硬件支持,谷歌解决了此前模型迭代慢、推理弱的问题。本文解析 Neon 的技术细节、实际工程表现以及谷歌如何通过高频

    来源 AI 应用前沿
  6. 中国AI创业者为何纷纷回国:融资、家庭与美国的推力

    中国的经济成熟正吸引科技企业家回归创业,而与此同时,美国却在将他们推离。2026年11月17日晚上8:00(GMT+8)本文是《商业周刊》2026年12月1日刊的一部分。当Moonshot AI 的Kimi K3成为美国人工智能模型最强劲的中国挑战者之一时,一个问题不断涌现:为什么它的创始人杨植麟没有留在美国发展他的创

    来源 腾讯网
  7. 多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队

    你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...

    来源 腾讯网
  8. 起底Anthropic(二)末世论技术宅

    ► 文 观察者网心智观察所 2023年春天,前“人类未来研究院”学者埃米尔·托雷斯与前谷歌人工智能伦理团队负责人蒂姆尼特·格布鲁首次抛出“TESCREAL”这一缩写词,并于2024年4月正式发表合著论文,对这一概念作了系统诠释。两位熟知EA运动内情的批判者一针见血地指出,硅谷技术精英圈所流行的有效利他主义、长期主义、奇

    来源 腾讯网
  9. 谷歌 Gemini 登陆 Mac:AI 可后台操控电脑,修图做 PPT 自动完成

    人工智能正从“动嘴皮子给建议”加速走向“动手帮你干活”。11月20日,谷歌正式为 macOS 版的 Gemini 应用推出了“电脑操控”(Computer Use)功能,让 AI 能够跨越桌面应用、本地文件以及网页环境,自主执行多步骤复杂任务。 后台独立运行不抢鼠标,支持实时预览与随时叫停 对于习惯

    来源 AI 开发者社区
  10. 谷歌搜索上线AI侧边栏:可回看最近AI模式记录

    搜索引擎一向健忘:问完一个话题就翻篇,想接着聊,只能去历史记录里一页页翻找。谷歌现在想改掉这个习惯——搜索正式推出可折叠侧边栏,用户可从桌面版首页快速回到最近的 AI 模式搜索记录。该功能首先在桌面端亮相,再面向全球用户逐步铺开。 接着上次停下的地方 产品负责人罗比·斯坦解释了背后的观察:人们如今带

    来源 AI 开发者社区
  11. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  12. AMD XDNA2 NPU 率先获得 Unsloth Desktop 适配,支持超百款智能体

    IT之家 11 月 20 日消息,AMD 当地时间 19 日宣布,其锐龙 AI 处理器上的 "XDNA 2" NPU 成为首款获得 Unsloth Desktop 本地界面支持的神经网络处理器。 具体来看,兼容的应用程序向 Unsloth Desktop API 发送模型请求,而 Lemonade 和 FastFlow

    来源 AI 行业观察
  13. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  14. 自家人都看不下去了?数百谷歌员工要求公司允许中小学使用不含 AI 的谷歌搜索

    IT之家 11 月 20 日消息,当地时间 19 日,据彭博社报道,超过 500 名谷歌员工和合同工联名请愿,要求公司允许中小学继续使用不含 AI 功能的谷歌搜索。 请愿书致谷歌 CEO 桑达尔 · 皮查伊、搜索业务负责人伊丽莎白 · 里德和教育业务负责人克里斯 · 菲利普斯。活动由 Alphabet 员工工会发起,其

    来源 AI 行业观察
  15. 谷歌工程师让打印机跑2.7亿参数模型:每词元约60秒

    IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约

    来源 腾讯网
  16. 谷歌研究员发现Windows UAC绕过手法,微软称不算漏洞

    谷歌安全研究员詹姆斯·福肖日前在社交平台披露,自己在 Windows 中发现一个“蠢得离谱”的 UAC 绕过手法,并调侃涉事组件像 AI 写出来的代码。受影响组件、利用细节与版本范围他暂按下不表。这已不是他与微软第一次交道——早在 Administrator Protection 预览阶段,他就一口

    来源 AI 开发者社区
  17. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
向下滚动自动加载更多