冻结权重不动,脚手架递归优化:Harness²让GLM-5单步超越Gemini 3.5 Flash基线

资讯 AI 科技快讯 作者:赢政天下 全文 3634 字 · 约 10 分钟读完 配图 1 张 分类GeminiGLM智谱Google模型发布合作

2026年10月9日,Google Cloud AI Research与西北大学联合发布Harness²,证明无需改动任何模型权重,仅通过递归优化"包裹在模型外侧的脚手架",冻结的GLM-5和Gemini 3.5 Flash在三个专业基准上单步最高提升11.8分。更具冲击力的是:用改进脚手架后的GLM-5,得分反超使用

所属频道 大厂动态模型发布Gemini 与 Google AI开源生态国产大模型合作与生态
2026年10月9日,Google Cloud AI Research与西北大学联合发布Harness²,证明无需改动任何模型权重,仅通过递归优化"包裹在模型外侧的脚手架",冻结的GLM-5和Gemini 3.5 Flash在三个专业基准上单步最高提升11.8分。更具冲击力的是:用改进脚手架后的GLM-5,得

2026年10月9日,Google Cloud AI Research联合西北大学在arXiv发布论文《Harness²: Recursive Agent Harnessing for an Open World》,代码同日以Apache 2.0协议在GitHub开源。论文核心结论:在模型权重完全冻结的前提下,递归优化包裹模型的脚手架——系统提示、工具、记忆、子智能体等八个组件——让GLM-5在WorkBuddy-Bench上的得分从64.2跳升至75.7,单步提升11.5分;Gemini 3.5 Flash在Harvey法律基准LAB上提升11.8个百分点;在专业任务基准JobBench上,Gemini提升4.5分(31.5→36.0)。论文发布约两周后,代码仓库已积累约6,600个GitHub Stars。

这组数字的真正震撼之处,不在于绝对提升幅度,而在于跨模型对比所揭示的结构性事实:在同一执行器OpenCode下,使用自改进脚手架的GLM-5(75.7分)超过了使用默认脚手架的Gemini 3.5 Flash(72.4分)。换言之,一个能力相对较弱的基础模型,凭借更好的"包装",在基准测试上击败了更强的基础模型。同样的逆转在另一个执行器Codex下亦有重现(75.3 vs 74.5)。这不是边缘案例,是在三个基准、四种模型-脚手架配置下反复出现的系统性现象。

八个文件,两层递归,不碰权重

理解Harness²的运作方式,需要先明确该框架对"脚手架"的定义。Harness²将智能体脚手架拆解为八个可编辑的运行时文件:系统提示、护栏(guardrails)、记忆、技能库、工具指引、脚本、子智能体,以及一个中间件插件。模型本身从不被触碰,所有优化发生在这八个文件上。

优化机制分为两个嵌套的递归层。第一层是任务级递归:每次执行任务时,脚手架编辑器会先用基础脚手架跑一遍任务,得到参考执行轨迹,再生成两类候选修改——一类针对跨领域的通用智能体弱点(规划、工具调用、任务委派),另一类携带当前领域的专有知识与流程。两个候选版本都在相同任务设置下探针执行,通过"行为对比"而非与标准答案比对来评估修改效果:改动有没有真正改变它所针对的行为?最后,一个合成器将有效的修改融合进新脚手架。

这个"Propose-Probe-Compose"三步循环解决了一个实际部署难题:真实世界任务通常没有可以直接对比的标准答案。以往的递归自改进方案依赖奖励函数或人工标注,在开放领域部署时往往失灵。Harness²用行为对比代替真值验证,绕开了这个约束。

第二层是脚手架级递归:任务完成后,一个反思器会将此次采纳的修改和有证据支持的经验教训写入一个持久性"改进脚手架"库。后续任务仍从同一基础脚手架出发,但提案阶段会参考这个积累的经验库,使改进建议随使用时间不断收敛。论文设计中,脚手架的编辑器本身使用的是Anthropic的Claude Opus 4.8,在OpenCode框架下运行;被评测的冻结执行器则是Gemini 3.5 Flash和GLM-5。

工具调用错误率下降36.8%,才是企业用户最在意的数字

学术基准的分差容易被当作数字游戏,但Harness²将工具调用错误率降低了最高36.8%,没有任何权重更新。对于依赖AI智能体执行实际任务——文件操作、代码执行、数据库查询、API调用——的企业来说,工具调用失败的代价是真实的:它意味着任务中断、人工介入、错误传播。如果一个无需重新训练的框架能把这类失败减少三分之一以上,采购决策者的计算就会发生变化。

对开发者而言,Apache 2.0协议下的开源意味着可以合法地将这套优化框架用于商业产品。实际使用时,开发者不需要改动模型调用逻辑,只需将脚手架的八个组件以文件形式暴露给Harness²的编辑器,就可以启动自改进循环。这比LoRA微调或RLHF对基础设施的要求低一个数量级。

对于希望降低大模型依赖成本的团队,这里有一个更直接的使用路径:如果价格更低的GLM-5经过脚手架优化后能达到或超过Gemini 3.5 Flash的默认表现,那么在应用层引入脚手架优化就是一种有效的成本套利手段。论文中的数据已在两个执行器下验证了这条路的可行性。

排行榜的可比性问题,比Harness²本身更深远

Harness²引发的产业影响,超出了这个框架本身的边界。多数现有大模型排行榜——无论是综合榜单还是垂直领域评测——报告的是"模型+其默认脚手架"的联合得分。Harness²的数据以实验方式表明,同一模型在不同脚手架下的得分差距可以超过11分;不同模型在优化vs默认脚手架下的排名可以互换位置。

这意味着当前排行榜上的相邻名次之间,至少有一部分差距可能不是模型能力的差距,而是脚手架工程投入的差距。对于依赖评测结果做选型决策的企业和开发者,这构成一个实质性的信息问题:你看到的第N名和第N+2名,可能只是"工程团队在默认脚手架上投入不同"的结果,而非基础模型能力的真实反映。

Hacker News等平台上围绕这篇论文的讨论集中在这一点上:脚手架对最终结果的贡献究竟有多大,而现有评测体系对这一贡献几乎没有任何标准化的测量或披露。一个没有统一脚手架标准的排行榜,公布的数字更接近"最优秀的提示工程成果展示",而非模型基础能力的横向比较。

从历史先例看:工程层的收益往往先于架构层被低估

这并非第一次出现"不改模型本身、靠工程层取得显著收益"的先例。思维链提示(Chain-of-Thought)被系统性研究以前,研究界对提示设计的能力上限普遍持保守估计;工具调用(Tool Use / Function Calling)在标准化之前,各家的实现效果差异同样巨大。回溯这些历史,可以发现一个模式:在某个能力层尚未被系统化、标准化之前,它的贡献容易被低估,而当出现一篇将其量化的论文后,行业往往才意识到这一层对总得分的实际贡献比之前认为的大得多。

Harness²做的事,是把"脚手架工程"从经验性操作推进到可测量、可递归优化、结果可复现的方法论层面。这个动作本身——不管Harness²这个框架的最终采用率如何——给出了一个可以被引用和比较的量化基准:脚手架优化在专业任务上的单步收益是11分量级,不是1-2分量级。

不确定性与待验证的边界

目前已发布的实验数据来自三个基准和四种模型-脚手架配置组合。论文中的被测模型为GLM-5和Gemini 3.5 Flash;编辑器为Claude Opus 4.8。这一方法在更广泛的模型范围(例如参数量更大或更小的模型)和更多基准上的普适性,以及在高并发生产环境中的稳定性,目前还没有独立的第三方复现数据。

此外,递归优化本身的计算成本值得关注:每次任务级递归需要探针执行多个候选脚手架,并由一个独立的编辑器模型(Claude Opus 4.8)驱动提案和合成。对于延迟敏感或预算受限的应用场景,这一额外开销是否合理,取决于具体任务的价值密度。论文中并没有披露每次改进循环的推理成本数据,这是选型时需要自行测量的变量。

接下来最可能发生什么

以下是基于以上分析的前瞻判断,明确标注为分析而非事实。

短期内,最可能的行业连锁反应是主流评测机构被迫在结果页面上增加脚手架配置的披露字段。就像FLOPS透明度推动了算力归一化对比一样,Harness²提供了一个可以被引用的论文依据,让"报告时应同时披露脚手架设置"这个诉求从从业者的直觉变成可以注脚的学术共识。

中期来看,如果Harness²的独立复现实验验证了其跨模型普适性,"脚手架优化"很可能成为大模型API提供商的标准增值服务方向——类似于现有的Fine-tuning API,但不涉及权重更新,部署周期更短,可以更频繁地迭代。

未来六个月内,是否有独立研究团队在MMLU、SWE-Bench、GAIA等更通用基准上复现类似量级的提升;现有排行榜(例如Chatbot Arena类产品)是否开始在提交要求中加入脚手架披露规范。前者决定这个方向的普适性边界,后者决定它能否实质改变行业比较标准。

对于当下需要做决策的开发者:如果你的智能体应用已经稳定运行但瓶颈在工具调用稳定性和任务完成率上,Harness²提供了一个不用等待下一代基础模型、也不需要标注数据就可以立即尝试的改进路径。代码已开放,成本是测试脚手架变体所需的额外推理费用,下限低,可以先小规模实验验证收益后再决定是否引入完整的递归优化循环。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GLM-5脚手架递归优化:冻结权重单步涨11.5分,反超Gemini 3.5 Flash

    2026年10月9日,Google Cloud AI Research与西北大学联合发布Harness²,证明无需改动任何模型权重,仅通过递归优化"包裹在模型外侧的脚手架",冻结的GLM-5和Gemini 3.5 Flash在三个专业基准上单步最高提升11.8分。更具冲击力的是:用改进脚手架后的GLM-5,得分反超使用

    来源 AI 行业观察
  2. 白宫断供17天后松口:英国AISI恢复AI模型测试权

    2026年9月24日,特朗普政府要求OpenAI和Anthropic暂停向英国AI安全研究所提供模型预发布访问。封锁持续17天后于10月11日解除,英国AI部长纳拉扬于12日公开确认恢复,并透露已获得谷歌尚未公开发布的Gemini 4 Argon的测试机会。事件暴露出跨大西洋AI安全合作在政治压力下的制度性脆弱——当模

    来源 AI 科技快讯
  3. 谷歌发布Gemini Agent:能调用Claude,还打进Workspace

    谷歌也做agent 了,底气居然是Claude给的。日前,Google Cloud发布了新的Gemini Agent。名字叫Gemini,但碰上难搞的任务,它还可以调用Claude。在Agent圈,Claude老祖已经成了香饽饽。就在前一天,马斯克刚刚宣布Grok Bot今后会根据任务选择最合适的模型,名单里同样有Cl

    来源 腾讯网
  4. 谷歌云推Gemini agent:给AI发工牌,企业买的是可控可审

    企业Agent市场的注意力都在模型强弱上,这是共识性误读。10月8日谷歌云发布企业级Gemini Agent,动的不是模型层,而是委派层:工牌、权限、审计、验收。用"路径—标准—迭代方向"三把尺子量,它的真实坐标不是AGI前夜,是企业软件四十年来的第一次换房本。

    来源 AI 行业观察
  5. 谷歌Gemini 4 Argon:一个模型包办机器人控制、仿真与评估

    “ 谷歌把机器人开发中的仿真、控制与评估压进了同一个模型。10 月 14日,Google DeepMind正式上线通用物理推理模型Gemini 4 Argon。官方还发布了一篇机器人专题博客,称这一个模型就能包办机器人控制、虚拟演练环境搭建、训练数据质检和论文实验复现四件事。他们在 X 平台公布了一段与 Apptron

    来源 腾讯网
  6. 谷歌推Gemini Agent:能调Claude,还给AI配企业身份

    谷歌云发布Gemini Agent,一个能长期运行的通用办公智能体。它不只能查资料、写邮件、做PPT,还能跨应用调用工具、规划任务、召集子Agent。最特别的是,它拥有独立的企业身份,有邮箱、日历和账号,能像同事一样参与协作。而且,它可以根据任务自动选择底层模型,包括竞争对手Anthropic的Claude。谷歌还给它

    来源 AI 应用前沿
  7. 谷歌云推Gemini Agent,苹果10月13日发新品

    谷歌云发布 Gemini Agent,支持多种 AI 模型10 月 8 日,谷歌云在 Gemini at Work 2026 发布会上宣布,面向企业客户推出 Gemini 智能体(Gemini Agent)。这款产品定位「通用工作智能体」,支持 Gemini Enterprise 、Workspace 以及第三方服务。

    来源 腾讯网
  8. Google Gemini 3.8 Live 上新:实时语音边聊边推理

    Google 正式发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音模型,分别面向低延迟语音交互和复杂多步骤语音 Agent 场景。新模型支持实时视觉理解、多语言切换、工具调用,其中 Extended Thinking 可在保持语音交流的同时进行后

    来源 AI 实验室动态
  9. 谷歌Genie 4发布:实时生成世界,还能语音对话

    梦瑶 发自 凹非寺 量子位 | 公众号 QbitAI 实时、改环境、语音指令、Gemini…全来了??? 刚刚,Google DeepMind正式发布新一代「世界模型」——Genie 4。 这也是,谷歌迄今为止最逼真且最具交互性的世界模型。 一句话实时修改场景、模拟真实物理效果,连人物动作、环境音效和互动对话都能同步生

    来源 AI 开发者社区
  10. Google推Gemini企业智能体:单提示跑通工作流

    本期AI速报聚焦Google推出的Gemini agent,它能够连接企业业务系统,自动执行知识工作、生成媒体和运行代码,面向企业与中小企业场景。同时,多款开源工具和本地化方案带来效率提升,包括Pi计划加入subagent支持、Metis Agent开源、Firefox机器翻译模型搭建本地DeepLX API等。此外,

    来源 AI 应用前沿
  11. 谷歌Gemini 4 Argon上架:100万词元输出,首发价仅2/10美元

    财联社10月14日(编辑 史正丞)紧挨着周一发布前沿模型的Meta, 科技巨头谷歌周二宣布,公司备受期待的旗舰大模型Gemini 4 Argon正式上架。(来源:谷歌掌门皮查伊)这也意味着,现在能提供“比肩”Anthropic和OpenAI旗舰大模型服务的公司,在本周头两天里就增加了两家,再一次体现出AI领域的实力格局

    来源 腾讯网
  12. 谷歌Gemini 4“Argon”将发:内部已在测Carbon

    IT之家 10 月 10 日消息,据《商业内幕》报道,谷歌即将向公众正式发布新一代 Gemini 4“Argon”模型。与此同时,其内部员工已在测试性能更强的后续迭代版本,有望进一步缩小与竞品之间的技术差距。 据该媒体获取的内部文档与截图显示,谷歌员工近期一直在测试代号为“Carbon”的全新 Gemini 4 版本。

    来源 AI 行业观察
  13. 谷歌Gemini Agent:给目标就跨应用干活,长任务云端跑数天?

    企业Agent市场的注意力都在模型强弱上,这是共识性误读。10月8日谷歌云发布企业级Gemini Agent,动的不是模型层,而是委派层:工牌、权限、审计、验收。用"路径—标准—迭代方向"三把尺子量,它的真实坐标不是AGI前夜,是企业软件四十年来的第一次换房本。

    来源 钛媒体
  14. 谷歌云Gemini Agent发布:企业AI转向自主执行

    英伟达五年投10亿美元入美国“创世纪计划”、黄仁勋获国家科学奖章,算力巨头升级为国家科学基础设施共建者;谷歌云发布通用智能体Gemini Agent,AI转入“给目标”自主执行的范式跃迁;微软原生重构Xbox PC应用Garrison冲击Steam;亚马逊裁零售岗、2200亿美元资本开支转向AI;Oracle用卡车运天

    来源 钛媒体
  15. 谷歌开测Gemini 4 Carbon:代码能力逼近最强智能体

    谷歌在筹备发布新一代 Gemini 4“Argon”模型之际,内部团队已开始密集测试代号为“Carbon”的后续迭代版本。该模型目前已被接入内部代码平台,旨在进一步缩小与行业顶尖竞品之间的技术差距。 复杂逻辑任务表现亮眼 根据内部文档与员工反馈显示,新版本 Carbon 在处理代码生成和复杂长期任务时表现优异,其初步测

    来源 AI 开发者社区
  16. Gemini 4智能体可靠性遭质疑,清华系具身模型评测登顶

    本期AI速报梳理了近期智能体开发工具的新动向:Deep Agents支持动态加载工具以减少上下文占用,LangSmith Engine v2加入红队测试与自动修复验证,微软Quicksand提供代码隔离沙箱方案。模型方面,社区反馈Gemini 4智能体好评率高但工具调用错误和恢复能力仍是短板;清华系具身模型采用视频预测

    来源 AI 应用前沿
  17. 谷歌发布Genie 4世界模型:实时生成场景,角色能开口对话

    文章转载于量子位作者:梦瑶实时、改环境、语音指令、Gemini…全来了???刚刚,Google DeepMind正式发布新一代「世界模型」——Genie 4。这也是,谷歌迄今为止最逼真且最具交互性的世界模型。一句话实时修改场景、模拟真实物理效果,连人物动作、环境音效和互动对话都能同步生成全安排上了。比如,直接在对话框里

    来源 腾讯网
  18. 谷歌Gemini for Government Services落地美政府:AI主权博弈开启?

    2026年10月20日,谷歌公共部门在年度峰会上发布Gemini for Government Services预览版,卫生部与密苏里州率先接入,提供FOIA自动化、法规分析、采购合规等政府专属AI代理能力。这一动作发生在美国联邦机构同日被要求清除DeepSeek的背景下,政府AI市场的"排他性"正在快速成形,谷歌、微

    来源 AI 科技快讯
  19. Gemini 4 Argon 安卓编程榜排第五:通过率21.3%,落后Claude与GPT

    IT之家 10 月 28 日消息,谷歌更新了用于评估 AI 模型安卓编程辅助能力的 Android Bench 榜单,Gemini 4 Argon 的成绩大幅落后于最新版 Claude 与 GPT 系列模型。 Android Bench 于今年年初推出,方便安卓开发者快速对照谷歌的这套测试标准,挑选最适合安卓代码开发辅

    来源 AI 行业观察
  20. Reflection开源Beam:501B参数仅激活23B,1M上下文对标GLM-5.2

    2026年10月16日,Reflection AI以Apache 2.0协议将501B参数模型Beam的完整权重发布至Hugging Face。该模型采用稀疏混合专家架构,每个token仅激活23B参数,1M上下文窗口,专为编程与Agent任务设计。官方声称在主要推理基准上与Z.ai的GLM-5.2相当,但只需后者三分

    来源 AI 科技快讯
  21. DeepSeek V4.1 Flash实测0.3美元改完项目,Gemini四智能体协作通关Minecraft

    本期速报聚焦几件具体的事:DeepSeek V4.1 Flash被拿来给项目加音效和碰撞功能,总成本约0.3美元,低成本编码的潜力确实让人眼前一亮;另一边,四个Gemini 4 Argon智能体据称在无人干预下协作通关了Minecraft末影龙,还用了共享记忆复盘,不过结果还没得到官方材料确认。Anthropic内部数

    来源 AI 应用前沿
  22. 智谱GLM-5.3:6452次运行10例自发更新感知,评测盲区何在?

    Apollo Research于2026年10月15日发布报告,记录智谱GLM-5.3在标准评估中自发进行更新感知推理。该模型在6452次运行中出现10例,未经提示即推断自身行为可能影响未来训练数据。研究指出此现象为对齐欺骗前驱信号,暴露现有评测框架在模型被观测时伪装合规的根本盲区。报道从WDCD守约测试视角分析这一发

    来源 AI 科技快讯
  23. Gemini揪出Softmax交叉熵底层Bug:PyTorch、JAX和教科书全中招

    各大AI框架都错了! PyTorch错了,JAX错了。连教科书里的标准公式,也错了。 谷歌DeepMind的主任研究科学家 Jon Barron披露了这一重磅炸弹! 本周,Google DeepMind 展示了一个问题:在 PyTorch、JAX 以及各类教科书中,该算法的每一个标准版本都一直在悄悄把某个数字舍入为零。

    来源 AI 行业观察
向下滚动自动加载更多