谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错

资讯 36氪 全文 1537 字 · 约 4 分钟读完 配图 5 张 分类RSIGoogle

帮助harness适应新模型、新数据。

所属频道 大厂动态前沿研究

模型一旦更换,此前费心调好的agent harness很可能立刻就不适配了。专为Claude演化出来的harness,放到Gemini上甚至可能带来“负收益”。所以模型迁移之后,继承下来的那些修改需要重新评估一遍,看哪些还能用,哪些得改。

harness负责管理agent的上下文、工具和执行流程。递归自我改进(RSI)会依据反馈提出、评估并筛选修改,可迁移时如果只把最终的harness带过去,修改的理由、预期目标、测试结果和评估情境往往都丢了。结果就是重复试错,甚至把继承来的组件改错。

针对这个问题,谷歌团队提出了“自我改进记忆”(Self-Improvement Memory,SIM),面向负责优化harness的优化器,把改进过程中的经验存下来。基准或策略模型变化后继续优化harness,这种设定他们称为“持续递归自我改进”(CRSI)。

谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错(配图 1)

论文链接:https://arxiv.org/abs/2611.18856

模型变化只是其中一种情境,任务数据变了,原有的修复同样可能需要调整。文本分类实验里,源阶段演化得到的FewShotAll harness在目标测试套件上的起始分数是72.92,比初始版本的75.72还低。原本只检查命令有没有成功执行的任务完成关卡,也可能要再往前一步,看可行解是否达到了最优。

面对这些变化,SIM把修改按其所处理的harness问题归组。每组记录里有修改理由、预期结果、实际观测结果和评估情境。提出修改的提案器和负责筛选的选择器都能访问这些信息,据此判断此前的改动该保留、修订、替换还是删除。

这份记忆会随着优化继续更新:新问题开新条目,同一问题下的后续尝试及结果追加到已有记录里。这样一来,目标阶段的优化既用得上源阶段攒下的经验,也能继续记录新的尝试。

谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错(配图 2)

CRSI区分了两类转换。跨数据集持续优化是策略模型不动,改基准测试;跨模型持续优化则是基准测试与数据划分都不动,改策略模型。两种设定都要求源阶段和目标阶段的harness保留兼容的可执行接口,现有优化方法可以照旧走原来的提案、评估和筛选流程。

为了看改进经验对后续优化有没有帮助,他们在迁移条件中比较了三种做法:完整SIM、仅携带harness、仅保留问题根因,三者共享同一个源演化harness。另外设了Cold Start,从种子harness起步,并匹配优化轮数与候选方案预算。

实验在4个领域展开。6种跨数据集设定和4种从Opus迁移至Gemini的设定中,完整SIM的最终分数都高于仅携带harness和仅保留问题根因的持续优化。这组比较支持了他们提出的做法:在问题诊断之外,把修改历史与评估结果也一并保留下来。

谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错(配图 3)

谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错(配图 4)

图|从Opus 5.5到Gemini 3.8 Flash的跨模型CRSI,基准测试及数据划分保持固定

独立优化过程之间存在差异,他们为此在编程领域做了10组配对比较。每组后续优化都从同一次独立源阶段运行得到的harness出发,对比使用SIM和仅携带harness两种条件。SIM在其中9组取得提升,最终分数平均高出2.36分,p值为0.003。

谷歌提出SIM记忆机制:让harness跨模型迁移不再重复试错(配图 5)

这项研究也有局限。受计算预算限制,独立RSI重复实验集中在编程领域,其他领域每种条件只运行一次。研究覆盖的是harness接口兼容的设定,优化器的规划和搜索流程保持固定。这些比较还把SIM作为完整流程来评估,其中同时包含继承的记忆和目标阶段优化中的记忆更新。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 「北美大豆包」谷歌,终于杀回 AI 牌桌中央

    谷歌,这次是真的回来了。 11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。 这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既有接近、甚至局部反超旗舰的硬

    来源 AI 行业观察
  2. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  3. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  4. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
  5. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  6. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  7. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  8. Anthropic上市当天遭抗议,离职研究员呼吁必须关闭这项AI技术

    北京时间11月20日,Anthropic前研究员雅各布·考克森在Anthropic旧金山总部外现身,向抗议者公开呼吁禁止人工智能系统的递归自我改进(RSI),并称“他们应该禁止RSI,关掉它”。报道称,RSI可能加速AI能力发展,也引发对AI失控风险的担忧。

    来源 凤凰科技
  9. 纳德拉预言:AI智能体将重塑互联网经济格局

    微软CEO萨提亚·纳德拉在最新访谈中提出,AI智能体将不再是简单的聊天工具,而是能替用户完成搜索、比价、下单的“数字代理人”。这一转变可能从根本上动摇以广告和流量为核心的互联网商业模式,迫使亚马逊、谷歌等巨头重新思考获客与竞争的方式,内容创作者与广告主的利益分配也将随之重写。

    来源 AI 科技快讯
  10. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  11. 谷歌Chrome造“平行互联网”:AI代理先在沙盒里犯错

    为了让AI浏览代理在真实网页上替用户办事,谷歌Chrome团队搭建了一个与真实互联网平行的“镜像维度”沙盒。在这个替代宇宙里,代理可以尽情犯错、暴露失控风险,而不会波及真实用户。这既是浏览器AI竞赛的基础设施,也折射出AI代理安全测试的行业难题。

    来源 AI 科技快讯
  12. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  13. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  14. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
  15. 奥特曼谈AI造AI:OpenAI能再推一步,但不敢撒手

    AI已经在帮OpenAI造下一代GPT了。 可真要把研发方向盘彻底交给AI,奥特曼还是亲自踩了一脚刹车。 11月16日,在Semafor的活动现场,谈及「递归自我改进」(RSI),奥特曼当场划下一道红线: 我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。 潜台词很明显:不是现在技术上推不动,而是真不敢

    来源 AI 行业观察
  16. ChatGPT和Gemini被曝推送虚假购物网站:151品牌测试出错率几何?

    最近有一项新研究爆出了一个很值得大家警惕的问题:AI聊天机器人居然会主动给用户推荐虚假购物网站。 品牌保护服务商Podqi做了一组测试,一共覆盖151个不同品牌。 测试结果显示,Perplexity给出风险网址的概率高达15%,ChatGPT和Gemini的情况也好不到哪里去,出错比例和它相差不远。 很多人已经习惯买东

    来源 AI 行业观察
向下滚动自动加载更多