Agnes AI开源Harness:双RSI架构让Agent边干边学
团队自评中该框架在MHS-BENCHMARK等六项基准取得对照组最高成绩

OpenAI这两天公开了一份内部报告,标题是「研究加速:锯齿状前沿」。
报告中,他们向自家101位研究人员提了个很直接的问题——
假如把你手上最强的编程Agent拿走三个月,你愿意用什么来交换?
回答让人后背发凉:宁愿砍掉团队30%的算力或40%的人力,也不肯失去它。

在全球最顶尖的AI实验室里,Agent的分量已经超过了一大批同事;如今它成了顶级实验室乃至不少人的「命根子」。
但真要把它放到现实世界,去跑通企业流程、指挥机械臂干活,光有一颗聪明的「大脑」还远远不够。
就在这个节点上,
Agnes AI开源了自家的智能体运行与扩展框架Agnes Harness。
它最受关注的地方在于,除了执行指令,还能从实践中积累经验、不断改进:
模型层:TTT(测试时训练)让决策模型在每次判断前「现场学习」,就地适应眼前的任务;
系统层:RSI(递归自我改进)自动复盘失败、验证新策略,再把跑通的流程沉淀成Skills和Playbook。
一个负责让Agent当场学,一个负责让Agent长期记。
不过在聊它怎么「进化」之前,先看它是怎么干活的。
大脑想事,小脑干活
先看一个很简单的任务:在仿真环境里,机器狗要在屋里找到一扇门,然后穿过去。
这么简单的事,全交给LLM来指挥,做起来却拖拖拉拉。
视觉接口得一步步调用:先拍照,再打包传给大模型,之后只能留在原地等结果。大模型想上一阵,回过来一句「门在左前方,往左转15度」。
转完,再拍,再发,再等。大部分时间都耗在了请求和等待上。
可人走路的时候,大脑根本不管「左脚抬起、重心前移」这种事,全靠小脑自动完成。
凭什么让AI最贵、最慢的那颗大脑,去包办每一步怎么迈?
换上Agnes Harness的决策模型后,机器狗自己就能瞬间判断「门在不在眼前、距离够不够」,毫秒级连贯做完一串动作。
同样的活,耗时直接减少32.9%。

Agnes Harness的第一个核心设计就藏在这背后:双系统决策。
还有不少Agent选择让大模型站C位,事无巨细都先问它。东西是做得好,可流程就跟每件事都等CEO签字一样——CEO本事再大,速度也上不去。
换个轻量模型能压成本,可速度快归快,复杂场景一碰就原形毕露。快和准,看起来只能挑一个。
Agnes Harness的做法,是让任务难度来决定由谁出手。
大语言模型扮演“大脑”:理解用户想干什么、把复杂任务拆开、做出规划、处理临时冒出来的异常,深度思考都归它。
“小脑”则是决策模型:任务状态已经清楚了,下一步调哪个工具、请求走哪条路由、流程怎么推进,由它当场定夺,图的就是反应快。
这颗“小脑”,正是Agnes以插件形式装进框架的决策模型Agnes Sys1 1.0。
它只有9B参数,单机即可部署,主攻工具选择、流程判断、请求路由和有序评分,常规任务下决策能做到亚秒级。
这套分工,与心理学家卡尼曼提出的“系统1、系统2”几乎一模一样:一个凭直觉立刻反应,一个靠理性慢慢推演。
日常判断交给Sys1,大模型被叫用的次数降下来,等待变短,开销也跟着省。

小脑还有个更要紧的特点:可以随时替换。
默认装的是Sys1,开发者也能根据场景换成其他决策模型。
客服、仓储、代码审查,各自需要的“直觉”并不一样,框架把自定义的余地直接留给了开发者。
可“快”只把问题解决了一半。
这一回学会,下一回就能用上
真正的智能不该停留在执行指令上。指令本身就是错的,执行得再麻利也毫无意义,倒不如不做。
它得能在实际做事中反复打磨、攒下经验,并且一直变得更好。
沿着这个方向,Agnes Harness铺出了一条双层自进化路径,从“模型适应”走到“系统优化”:
模型层由TTT当场适应,系统层靠RSI长期积累。
第一层TTT:让小脑在现场学
一般来讲,训练和推理是两个分得很开的阶段。
可到了真实业务现场,数据格式五花八门,小众语境一个接一个,光靠预训练学来的东西,常常会“水土不服”。
于是,负责高频快速判断的小脑Sys1,被装上了TTT(Test-Time Training,测试时训练)机制。
它的运作方式相当巧:
在Agent拿到当前任务材料、正要给出判断之前,Sys1会从当前上下文里自动提取信息,搭出一个轻量、可验证的“辅助任务”。
随后在单次请求之内,模型完成少量参数更新;为了速度和稳定两头兼顾,更新被严格限定在模型末端的RMSNorm缩放参数上。
这有点像狙击手临上场前的动作:训练营里学的那套理论先放一边,扣扳机之前先抓一把土,看看当下风速多大、湿度如何,再赶紧把瞄准镜调好。
靠TTT,决策模型在毫秒级时间内就摸清了眼前这项任务的格式与语境。
而且更新只发生在局部、只对当下这一刻生效,下一次请求的基线状态不受影响——这一场现场适应完,下一场重新起步,模型不会被调得越来越偏。
任务进行中始终保持灵敏的判断力,这是第一层进化。
第二层RSI,让系统越干越熟练
第二层进化里,Agnes Harness把复盘这件事交给了系统层。借助Harness的记忆机制(事件账本与状态记录),RSI在后台干着一份极严苛的「复盘导师」差事。
RSI会盯着Agent执行任务的现场,哪里报错了、哪个环节反复重试拖慢了效率,它都能敏锐地捕捉到。识别出问题之后,系统自动复盘,结合上下文与设备状态,推演出新的执行策略,比如调整API调用顺序、增加校验条件。
推演完还要验证。带着新策略,Agent会在当前会话或后续相似任务里实盘跑一遍。
最核心的一步是经验沉淀:策略一旦被验证有效,RSI就把这套跑通的流程直接封装成Skills(技能)和版本化的Playbook(剧本)。
换句话说,智能体把偶然得手的那一次,固化成了必然具备的能力,等于给自己写了一本「通关秘籍」。

实战:看它怎么越干越熟
光说进化太抽象,直接看几个真实案例。
设备入库验收看着简单,其实很考验细节:秤台读数什么时候算稳定,各个步骤按什么顺序走,哪一环出错都可能失败。首次执行时,Agent恰恰是不熟悉秤台稳定的判断,操作顺序也出了错,结果超时,30分钟还没做完。
之后RSI复盘了这次执行,自动记下秤读数该在什么时机提取,并整理出一份操作手册。
下一次任务,Agent按已验证的流程走,8分钟内顺利结案。

下面这个,是整套流程里最复杂的一个。
行李房场景中,Agent要扫码识别一件易碎行李归谁,再完成分拣,同时还得对另一件行李实测称重,判断是否需要暂留。
首次执行,扫码和分拣都顺利做完了,但设备操作起冲突、称重时机也不对,Agent始终拿不到有效读数。RSI随后做了多轮分析与优化,一步步调整设备调用顺序、称重前置条件和读数校验方式,再把跑通的流程沉淀成可复用的经验。
优化之后,Agent成功测得行李重量为12.60公斤,确认超过标重4.60公斤,触发了暂留条件。最终9项评测全部通过,后续三次独立复验也全部通过。

TTT 的作用,是让小脑在每次判断时都紧贴现场情况;RSI 则让系统在每完成一次任务后都更熟练。
这两层能力叠在一起,Agent 就用不着回回从零起步。
给 AI 拼出一副「完全体」
把这些模块合到一处,Agnes Harness 的整体架构便清晰起来,其设计几乎完全参照人。
大语言模型充当大脑,承担深度思考;Sys1 扮演小脑,专管快速反应。
Harness 的运行机制本身构成记忆:事件账本记录任务推进到哪一步,Skills 和 Playbook 记下过去是怎么做成的,长流程即使做到一半,也不会顾此失彼。
TTT 与 RSI 则是贯穿全过程的成长能力——前者在模型层面帮它即时适应,后者在系统层面帮它长期积淀。
若要迈进物理世界,Agent 还得有一副身体,也就是 MHS(Model Hardware Standard,模型硬件标准)。

在数字世界里,Agent 已经相当能干。可一旦让它去拧机械臂、读传感器,麻烦就接连出现:各家设备的接口互不相同,只能逐个适配;几台设备之间要协同,局面就更乱。
MHS 借助一套统一标准,把机器人、机械臂、传感器这类可编程设备接入进来。
设备接进来之后,大脑负责理解人类意图,小脑快速判断每一步,MHS 则把指令落到具体设备上,还能协调多台设备一同作业。

下图的 demo 中,有了身体之后,Agent 能直接叫机器狗去找「瓦力」打招呼。
从听懂一句模糊的自然语言,到读取设备状态、调用摄像头、规划动作,再到真机执行,整个流程都不需要人工一步步介入。