OpenAI内部报告:101位研究员宁砍三成算力也不愿失去编程Agent
支撑Anthropic市值的RSI!Agnes亮出TTT×Harness双RSI进化架构
新智元报道
新智元报道

OpenAI这两天公开了一份内部报告,标题是「研究加速:锯齿状前沿」。
他们向自家101位研究人员提了个挺扎心的问题:假如把你手上最强的编程Agent收走三个月,你愿意用什么来换?
答案让人脊背发凉。这些人宁可砍掉团队30%的算力,或者40%的人力,也不肯让Agent离开。

在全球最顶尖的AI实验室里,Agent的分量已经压过了一大批同事,成了顶级实验室乃至不少人的「命根子」。
但真到了现实场景里,让Agent去跑通企业流程、指挥机械臂干活,光有一颗聪明的「大脑」根本不够用。
Agnes AI此时将自家用于智能体运行与扩展的框架Agnes Harness开源了出来。
这套框架的亮点不止于执行指令——它还能从实操中攒经验、不断自我迭代:
模型层靠的是TTT(测试时训练):决策模型在每次判断之前先「现场学习」一番,针对眼前任务当场做出适应;
系统层则由RSI(递归自我改进)负责:自动复盘失败案例、验证新策略,再把跑通的流程固化成Skills和Playbook。
前者管当场学,后者管长期记。
至于它到底怎么干活,得先于「进化」这一步讲起。
拿一个很简单的任务来说:仿真环境里,机器狗需要找到屋里的一扇门并穿过去。
事情虽简单,可全程都交给LLM来指挥,执行起来却拖拖拉拉。
迈一步的流程是:调视觉接口、拍照、打包发给大模型,接着就留在原地等。大模型想上半天,才回一句「门在左前方,往左转15度」。转完再拍、再发、再等,时间大半都花在请求和等待上。
人走路时,大脑根本不管「左脚抬起、重心前移」这类事,小脑全自动就办了。那凭什么要让AI身上最贵、最慢的那颗大脑,去包办每一步怎么迈?
换成Agnes Harness的决策模型以后,机器狗自己就能瞬间判断「门在不在眼前、距离够不够」,一串动作毫秒级连着做完。同样的活,耗时少了32.9%。
支撑这一切的,是Agnes Harness的第一个核心设计:双系统决策。不少Agent把大模型放在C位,干什么都先问它一遍。质量确实有保障,但就像每件事都要CEO亲自签字,CEO再能干,流程也快不了。
想省钱换轻量模型?速度是上去了,一遇到复杂情况就露馅。快和准,似乎只能挑一个。
Agnes Harness的思路,是按任务难度来分工。
-
这套架构里,大语言模型扮演「大脑」:理解用户想干什么、把复杂任务拆开、做规划、应对突发状况,深度思考都归它。决策模型则是「小脑」,负责快反——任务状态已经明朗时,下一步调哪个工具、请求往哪走、流程怎么推进,由它当场定夺。
这颗「小脑」来头不小,是Agnes以插件形式接进框架的决策模型Agnes Sys1 1.0。它只有9B参数,单机即可部署,主攻工具选择、流程判断、请求路由和有序评分,常规任务下决策能压到亚秒级。
这套分工,和心理学家卡尼曼提出的「系统1、系统2」几乎是一个路子:一个凭直觉瞬间反应,一个靠理性慢慢推演。
把日常判断交给Sys1,大模型被叫用的次数就降下来了,等待时间短了,开销也跟着省。

更关键的一点在于,这颗小脑并非固定不动。默认装的是Sys1,开发者可以按场景随时替换成其他决策模型。
说到底,客服、仓储、代码审查各自需要的「直觉」并不一样,框架把自定义的口子直接留给了使用者。
但「快」只解决了一半问题。
真正聪明的系统不该只停留在听话执行上。指令本身就错了,跑得再快也没意义,倒不如不动手。
它得在实干中反复试错、积攒经验,并且一直往更好的方向改。
沿着这个思路,Agnes Harness搭起了两条自进化路线,一条管模型适配,一条管系统优化:
模型这一侧由TTT负责即时适应,系统这一侧则由RSI负责长线积累。

一般来讲,训练和推理分属两个清清楚楚的阶段。
可真实业务里的情况完全不是这样:数据格式五花八门,小众语境一层接一层,光凭预训练阶段学来的东西,常常会不适应。
所以,承担高频快速判断职责的小脑Sys1装上了TTT(Test-Time Training,测试时训练)机制。
它的运作方式相当巧妙:
就在Agent拿到当前任务材料、马上要给出判断之前,Sys1会从当下上下文里自动抓取信息,搭出一个轻量、可验证的「辅助任务」。
随后,模型在单次请求之内只做少量参数更新。速度与稳定性两头都要顾,更新的范围被卡得很死,只动模型末端的RMSNorm缩放参数。
打个比方,一名狙击手马上要上场。训练营里学的那套理论,他不会拿来直接开枪,扣扳机之前先抓一把土,看看当下的风速和湿度,再快速把瞄准镜调好。
靠TTT,决策模型在毫秒级时间里就摸清了眼前这个特定任务的格式与语境。
这种更新只发生在局部、即时完成,下一次请求的基线状态不受影响。这一回现场适应完,下一回重新出发,模型不会被「越调越歪」。
任务进行中,模型始终保持敏锐的嗅觉,这是第一层进化。

到了第二层进化,Agnes Harness把复盘这件事交给了系统层。
借助Harness的记忆机制,也就是事件账本与状态记录,RSI在系统后台充当一个相当严苛的「复盘导师」。
Agent执行任务的现场,RSI会一直盯着,哪里报了错、哪个环节反复重试拖低了效率,它都能敏锐地捕捉到。
问题一旦被识别出来,系统就会自动复盘,把上下文和设备状态分析一遍,推演出新的执行策略,比如调整API调用顺序、增加校验条件。
新策略出来后还有效果验证这一关。Agent会带着它,在当前会话或后续相似任务里做实盘验证。
经验沉淀才是最关键的一环。策略经过验证确实管用之后,RSI 会把这套跑通的流程封装成 Skills(技能),同时写成可版本化的 Playbook(剧本)。
说白了,智能体就这样把一次偶然的成功变成了稳定可用的能力,等于给自己攒下一本「通关秘籍」。


光讲进化太虚,还是拿几个真实案例来看。
设备入库验收看着不难,细节上却很较真:秤台读数什么时候才算稳定,各步骤该按什么顺序走,哪一环出了岔子都可能让任务失败。
第一次执行时,Agent 就因为没摸清秤台稳定的判断方法、操作顺序也乱了,结果超时,30 分钟过去仍没做完。
事后 RSI 对这次执行做了复盘,把秤读数该在什么时机提取自动记了下来,还整理出一份操作手册。
再接到同类任务时,Agent 照着已验证的流程走,8 分钟内就顺利结案。
整套流程里,最复杂的要数下面这个。
行李房场景中,Agent要扫码确认一件易碎行李归谁,再把它分拣出去;另一件行李则要当场称重,看是否该暂留。
第一次跑的时候,扫码和分拣都没出岔子,可设备调用撞了车,称重时机也没卡准,Agent一直没拿到有效读数。RSI随后做了多轮分析和优化,设备调用顺序、称重前置条件、读数校验方式都逐步调整,跑通的流程也沉淀成了可复用的经验。
优化之后,Agent称出行李重量为12.60公斤,确认超出标重4.60公斤,暂留条件随之触发。
9项评测最终全部通过,此后三次独立复验也都没有问题。
TTT让小脑每做一次判断都更贴合现场,RSI则让系统每跑完一次任务就更熟练。两层叠在一起,Agent不用回回从零起步。
前面提到的这些部分合到一处,Agnes Harness的完整架构就清楚了。它基本是照人的样子搭的。
大脑这一层是大语言模型,管的是深度思考。小脑是Sys1,管的是快速反应。
记忆由Harness的运行机制本身来承担。事件账本记着任务推进到了哪一步,Skills和Playbook存着过去是怎么做成的。长流程跑到一半,也不会丢三落四。
TTT和RSI则是一直在起作用的成长能力。模型层面靠TTT当场适应,系统层面靠RSI长期积累。
要往物理世界走,Agent还得有一副身体,这就是MHS(Model Hardware Standard,模型硬件标准)。

在数字世界里,Agent已经挺能干了。可一旦让它去拧机械臂、读传感器,麻烦就跟着来:各家设备的接口不统一,只能一台一台去适配;几台设备要协同,就更乱。
MHS的做法是用一套统一标准,把机器人、机械臂、传感器这类可编程设备接进来。
接进来之后,大脑负责理解人的意图,小脑快速判断每一步,MHS把指令落到具体设备上,还能协调多台设备一起干活。
在下面这段demo里,有了身体加持,Agent能直接指挥机器狗过去跟「瓦力」打招呼。
一句模糊的自然语言进来,到读取设备状态、调用摄像头、规划动作,最后落到真机上跑,整个链路不需要人一步步插手。
▶ 本文含视频,请点上方「查看原文」在来源页观看。
整体看,Agnes Harness这套系统分四块,另有一套自进化机制从头贯到尾:
大脑是大语言模型,管深度思考,复杂推理、任务拆解和规划都归它;小脑是决策模型,管快速反应,高频、实时的判断和执行由它完成,需要时也能换成别的决策模型;
身体即MHS,把机器人、机械臂、传感器这些物理设备连起来,让智能体真在物理世界里动手;记忆是Harness,任务状态和执行经验都记在里面,复杂流程才能稳稳走完、不掉环节;
自进化机制由TTT和RSI组成,系统在用中不断长本事,越用越顺手。
这种分工照着人来的智能体,放到实战里同样能打。
Agnes团队拿「真实任务能不能端到端干完」当指标,做了一轮阶段性自评,覆盖九项基准。
Agnes Harness不是纸上谈兵。
围绕真实任务的端到端完成情况,Agnes Harness团队做了一轮严格自评,覆盖九项公开基准,还跟部分基线做了对照。
这份成绩单相当扎实——
六项核心评测里,Agnes Harness都拿到对照组的最高分,分别是MHS-Benchmark、WorkBuddy Code、AGH-Benchmark、BigCodeBench-Hard V1、τ-bench text-v1和DeepPlanning。
在综合能力维度的AppWorld-dev上,它的表现与顶尖的Codex打平。
参与对照的系统里,WorkBuddy、Codex、Claude Code这些知名Harness都在列。
有两项数据最能体现核心架构的优势,值得单独看:
DeepPlanning考的是复杂任务规划,Agnes Harness拿到87.07分。
大语言模型配上Harness记忆机制之后,处理长程、多分支任务时的状态连续性和推理深度都得到了印证。
BigCodeBench-Hard V1针对复杂代码任务,通过率为40.69%。
代码生成与多步工具调用环境极其严苛,双系统决策在其中表现出明显的稳定性和较高的成功率。
本次公开的MHS-BENCHMARK尤其值得关注。
这套标准化测试集是专门用来检验Agent「软硬兼施」能力的。
它挑出的100条真实任务都相当刁钻:
-
其中40条是真实桌面软件任务,覆盖三维建模、视频制作剪辑、表格计算、文档处理、网页交互、图像与音频编辑,甚至包括游戏操作。 -
另外60条是分场地物理作业任务,覆盖真实工厂里的机床控制、精密装配、场内物流调度、自动化巡检,以及水、电、冷链等复杂物理环境控制。
软硬件跨度这么大的测试中,Agnes Harness以41%的成功率排在对照组第一,WorkBuddy为40%,Codex为36%。
分数再高、模型再强,这「最后一公里」总归要落到人身上去跑。
企业AI转型里,跑这最后一公里的人有个名字——FDE(Forward Deployed Engineer,前线部署工程师)。这批人得扎进一线,把AI真正装进各家各不相同的业务流程当中。
说起来,Agnes Harness的插件化架构几乎就是照着FDE的需求长的:模型适配器、工具、角色,还有RSI沉淀下来的Skills,统统能封装成带版本管理的插件。
靠MCP机制,接入企业现成的后端ERP或MES系统不用费什么劲。换句话说,每交付一次,都在给下一次交付攒底座。
Agnes Harness全面开源,也把企业对「主权 AI」的那个终极拷问摆上了台面:智能体的能力和数据,到底攥在谁手里?代码透明、可审计;决策模型想换就换,不会被某一家云厂商绑死;沉淀下来的 Playbook 资产完完全全归企业自己;MHS 开放标准则拆掉了硬件生态的封闭壁垒。
Agnes Harness 给出的,是一条真正能自主掌控、去中心化的演进路径。
每天为 Agent 反复改那些重复报错的提示词,或者被昂贵的 Token 账单压得头疼,不妨去 GitHub 把代码克隆下来,自己上手试试、一起参与共建这种「自进化」Agent。
在 Agnes Harness 看来,AI 接下来要做的不只是看懂世界,还要能适应世界、动手改造世界。
-
Agnes Harness GitHub 仓库:https://github.com/AgnesAI-Labs/agnes-harnessAgnes Harness RSI 技术报告:https://github.com/AgnesAI-Labs/Agnes-Harness-Technical-Report-Nov-2026Agnes Sys1 1.0 决策模型技术报告:https://github.com/AgnesAI-Labs/Agnes-Sys1-1.0-Technical-Report