允中 发自 凹非寺，量子位 | 公众号QbitAI

Agent越用越强，为什么还会被环境“绊倒”？

同事拿Agent整理报表，一路顺畅。你用的是同一个模型、同一套工具和流程，换成自己的文件，却开始反复试读、频繁返工。

模型没变，Harness没变，换个环境，为什么就不灵了？

文件位置不同、数据格式混杂、模板约束变化，原本有效的方法都可能失效。模型负责推理，Harness负责组织执行流程，可Agent还得自己判断：眼前的环境是什么样，过去的经验还管不管用？

这也点出了Agent持续自我改进中一个常被忽略的问题：Agent不光要从任务里学会“怎么做”，还得判断这些经验在什么环境下依然成立。

在RSI（Recursive Self-Improvement，递归自我改进）的持续优化过程中，Agent能借助任务反馈改进执行方法、积累可复用经验。可要是环境认知没跟着更新，以前管用的经验反而会变成新障碍：接口条件变了，还在重试旧调用；数据格式变了，还在沿用旧规则。

一次失败，究竟该改方法，还是该纠正对环境的认识？

Agent的新难题，藏着认知科学的老线索

认知科学对知识结构的研究，为区分这两类问题提供了启发：

1983年，认知科学家John R. Anderson在ACT-R相关理论研究中，系统讨论了人类知识中的两类重要形式：

• 陈述性知识（Declarative Knowledge）：描述“世界是什么样的”。例如，关闭的容器会遮挡内部物体，打开后才能观察。

• 程序性知识（Procedural Knowledge）：讲的是“该怎么做”。拿找同类物体来说，找到一个不算完，还得接着排查别的可能位置。

后来，Larry Squire等研究者从神经心理学上确认，这种分离有生物学基础——两类知识由不同脑区负责，学习速率和提取方式都不同。

换到Agent身上看，认识环境和掌握做法虽有联系，可验证、更新的路子各不相同。环境判断得对照现场事实来核实，行动方法则要看在对应条件下管不管用。两者一旦搅在一起，就容易出岔子：要么把碰巧成功的操作当成稳定规律，要么环境变了还抱着失效的方法不放。

沿着这条思路，openJiuwen在RSI方向的持续探索中进一步提出TTSE（Two-Track Self-Evolution，双轨自演进）。

在此前发布的双维度RSI框架介绍中，openJiuwen已通过Harness+Artifacts双维度优化，让Agent能够基于真实任务反馈，持续改进工作方法与交付成果。TTSE则更进一步，盯住经验本身的可靠性与可复用性：不光让Agent积累有效的执行方法，还要持续校正对环境的认识，免得经验在环境变化后失效。

为此，TTSE借鉴认知科学中对陈述性知识与程序性知识的区分，把任务中获得的经验分成两条轨道：

• FACT（环境事实）：持续核对和更新“这个环境是什么样的”。

• TIP（条件式技巧）：持续改进“在这些条件下应该怎么做”。

TTSE双轨框架：构建反馈驱动的经验自演进闭环

分清经验的类型，只是第一步。怎么让Agent从任务反馈中持续学习，把有效经验变成下一轮执行的改进？

这也是RSI的核心思路：靠真实任务反馈驱动改进，并在后续执行中不断验证和优化。TTSE把这一思路落到经验管理层面，通过分批执行任务，让已有经验持续接受新证据的检验，判断哪些值得保留、哪些需要修正或退役，再把更新后的经验用于下一轮任务。

该框架包含四个环节：双轨知识表示、冷启动、在线增量演进，以及最终输出与评估，具体结构见下图：

FACT管的是环境自身的属性和规律，讲究能直接验证，也讲究在适用场景里跨任务保持稳定；TIP管的是特定任务条件下的做法，写成“在什么条件下，执行什么操作”的样式。

两类知识各自有独立编号、呈现方式和证据追踪机制，因此每条经验都能单独引用、核对、更新；执行出了问题，也能顺着查到是哪条事实判断或操作建议起了作用。分类时，框架看经验描述的主体和作用来定（依据mechanism展开分类）；实在拿不准的，默认放进TIP，这样能少冒点风险——别把没验证透的操作经验当成环境事实。

② 冷启动：从首批任务里归纳出初始经验

TTSE从空规则库起步，Agent先跑首批任务（chunk 0），再顺着执行轨迹分别归纳FACT与TIP，搭起初始的双轨经验库。这个阶段主要做归纳。历史规则还没参与执行，所以不存在旧规则的归责和退役，重点是为后面的演进攒下第一批有任务证据撑着的经验。

③ 在线增量演进：用新任务检验并修正已有经验

后面的任务按批次往前走。每一轮，Agent先加载上一轮的FACT与TIP，带着已有经验去执行当前批次，再根据执行轨迹和评估结果，依次走完四个环节：

• 归因（Blame）：分析失败的轨迹，找出可能把执行带偏的规则，给经验修正定好对象。

• 退役（Retire）：把被归责的规则挪进退役池，原因、批次、时间等都留档，整个调整过程可以追溯。

• 矛盾分析与合成（Contradict / Synthesize）：查看退役规则里的矛盾，试着找出其中藏着的适用条件，把看着冲突的经验合成条件更明确的TIP。

• 归纳（Induce）：拿成功轨迹和失败轨迹作对比，或者从成功轨迹里提炼有效经验，通过新增、修订、确认与移除等操作，更新双轨经验库。

Blame→Retire→Contradict/Synthesize→Induce这一串在多个任务批次之间循环跑，经验就不断接受新证据的检验：对环境的认识在更新，相应条件下的执行方法也在调整。

④ 最终输出与评估：看经验演进到底带来多少实际收益

经过多轮增量演进，框架输出最终的FACT与TIP经验库，再放到测试任务里评估它对准确率或任务表现的影响。

这套机制的关键，是让环境事实和执行方法分开沉淀、各自可追溯，并在持续执行中接受检验和修正。Agent每做完一批任务，都能把新的交互证据转成下一轮能用的经验，慢慢形成从环境交互到知识更新、再到行动改进的闭环。

“但一个关键问题仍待回答：将环境事实与行动技巧分开演进，是否真的比传统的单轨经验管理更有效？”

从机制到实证：五大基准，验证TTSE双轨自演进的有效性

TTSE的方法论和实验结果已在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。双轨经验机制究竟管不管用？研究团队选了ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench五个基准来评测，每项实验都独立重复三次，看方法的实际收益和运行稳定性。

五大基准，呈现多维度增益

• ALFWorld：成功率最高达到98.51%。在GLM-5上，TTSE成功率达到98.51%；在DeepSeek-V3.2上，成功率达到97.8%，较此前最优方法GraSP的83.6% 提升14.2个百分点，同时减少任务执行步数。

• ScienceWorld上的任务表现也有明显进步：MACRO Reward由0.7204升到0.8534，Native Success则从53.08%提高到73.46%，涨了20.38个百分点。

• GDPevo的结果显示双轨压过单轨。完整FACT+TIP方案平均得分0.2616，接近零样本基线0.0947的2.8倍。只上TIP或只上FACT，表现都没达到完整双轨方案的水平，环境事实与行动技巧放在一起管理的作用由此得到验证。

• SOPBench在与贝叶斯技能管理结合后又往上走了一步：总体成功率从基线的79.15%升到单轨方案的91.59%，双轨融合方案再进一步达到94.58%，比单轨方案多出2.99个百分点。

• PinchBench则是在真实世界任务中保持稳定增益。团队以非侵入方式把TTSE接进OpenClaw，在147个真实端到端任务上独立跑了三次。双轨方案平均得分从0.7439提升到0.7822，增加3.83个百分点；三次运行的增益方向一致，运行极差也由3.33个百分点收窄到1.61个百分点。

上述结果分布在具身交互、科学推理、企业运营、工业流程以及真实世界端到端任务上，说明TTSE的作用不限于某一个特定模型或单一场景。

那为什么非得双轨不可？消融实验给出了进一步的回答。

GDPevo的消融实验提供了更直接的证据：完整双轨方案的表现好于只记录事实或只记录技巧的单轨方案。

原因在于环境认知与行动策略各管一摊。仅有FACT，智能体或许清楚环境有哪些约束，却拿不出合适的行动方法；仅有TIP，智能体或许掌握了操作技巧，却判断不准这些技巧在什么条件下才成立。两者合到一起，才能同时回答「环境是什么样」和「在当前条件下应该怎么做」。

所以双轨设计并不是把经验库简单劈成两半，而是让不同类型的知识按各自的语义和适用条件去归纳、验证与复用。

从跨模型、跨任务到真实世界评测，实验结果既验证了TTSE双轨经验机制的有效性，也进一步显示出RSI在经验学习层面的应用潜力：不改模型参数，Agent也能靠持续积累、验证与更新任务经验，一步步改善后续任务的表现。

这同样为TTSE从研究框架走向实际办公智能体产品提供了实证依据。

TTSE双轨自演进落地WorkSwarm

TTSE不只在论文实验里验证了有效性，也已经正式落地到openJiuwen的WorkSwarm蜂群办公智能体。

想亲自体验TTSE，安装并启动WorkSwarm 0.2.7及以上版本，在设置中打开TTSE自演进开关，就能感受经验积累与复用带来的效率提升。

下面用两个真实办公任务，看看TTSE如何让Agent在实际执行中跑得更快、更省。

TTSE走进真实办公场景，让经验成为效率

日常办公里，Agent已经大量用于数据清洗与分析、文档编辑与整理、报表生成、信息提取及格式转换等任务。可一旦碰上不同的文件结构、数据格式和业务要求，Agent往往要反复摸索环境、试探工具调用，还得重新寻找任务的执行路径。

为了直观展示TTSE的实际效果，团队挑了Excel数据清洗和文档与表格整理两个典型办公场景，对比Agent首次执行与注入经验后的表现。

从结果看，两个场景都取得了不同程度的效率提升：

模型本身的本事没变，变化出在展示的那些对比任务上：Agent 能借助以往的执行经验，更快看清环境里的限制，挑出合适的应对办法。

那么，TTSE究竟沉淀了哪些经验，又是如何帮助Agent减少试错的？

案例一：Excel数据清洗——减少数据识别与处理试错

这类任务的难点不只是清洗数据，还包括定位输入文件、识别隐藏的数据格式问题，以及确定符合业务要求的去重规则。

首次执行时，Agent手上没有可复用的任务经验，只能自己去摸索输入文件的位置、判断数据格式，并推导重复记录该怎么处理。整个过程共发生57次工具调用，其中3次失败；总耗时6分22秒。

任务完成后，TTSE会从真实执行轨迹里提炼出能反复使用的任务经验。这些经验并非只是记录过去做了什么，它们会直接成为下一次执行的决策依据：

• 先看快速定位输入素材。用户没说清文件放在哪时，优先去workspace/input翻找上游文件，别在无关的任务目录里来回摸索，也省掉那些没必要的追问。

• 再看深入识别数据问题。Excel里的日期、金额和文本看着正常，实际上要用openpyxl去查原始存储值，把文本型日期、货币符号、尾随空格这类藏着的问题揪出来，免得因为读取方式不对而漏掉。

• 还有复用经过验证的去重规则。按业务字段分组，保留最早日期的记录，删除数量也一并记下，不用从头再推一遍去重口径，重复判断和试错都少了。

等到再执行相似任务，这些经验会直接参与工具选择与处理决策。工具调用降到20次，失败调用降到1次，总耗时缩短到1分48秒。

案例二：文档与表格整理——减少文件探索与格式试错

这类任务和Excel数据清洗不一样，难点主要在文件位置不清楚、CSV编码与分隔符不明确，加上Word模板结构复杂。第一次执行时，Agent得一步步找文件、认格式，再确定模板该怎么处理。

文档与表格整理任务里，Agent首次执行花了1分49秒，调用工具27次，其中2次工具调用失败。任务结束后，TTSE从真实执行轨迹中沉淀出一组环境事实与操作技巧。

第二次执行时，Agent不用再从零翻文件目录、试探CSV的读取方式，也不用等文档生成后才发现模板替换出了问题。已经验证过的环境经验可以直接拿来用，提前选更合适的工具和处理路径。

第二次执行耗时缩短到1分26秒，工具调用降到18次，失败次数降到1次。整体耗时缩短约21.1%，工具调用减少33.3%，失败调用减少50%。

和简单记住过去执行过哪些操作相比，TTSE多走了一步：让Agent同时积累对环境的认识，以及在特定条件下有效的执行方法。

从经验积累到能力提升，关键在于正确复用。

两个办公案例说明了TTSE在实际任务中的价值：Agent不用每次都从零探索，历史任务里验证有效的经验，可以变成后续执行的参考依据。

这正是RSI想实现的持续改进方式：每一次任务执行不光产出交付成果，也有机会为下一次执行攒下有效经验。TTSE通过FACT与TIP的双轨机制，让这种经验积累更可验证、可更新、可复用。

不过，这些收益是否只存在于特定任务中，还是能在更广泛的办公任务里得到体现？

TTSE在办公基准中展现综合收益

为了进一步评估TTSE在综合办公场景中的表现，团队在业界开源榜单WorkBuddy Office Bench上测试了WorkSwarm接入TTSE的效果。

任务表现有提升，Token消耗与工具调用开销也降了下来：评测结果显示，相较原生效果，任务表现提升3.81%，输入Token消耗降低1.70%，输出Token消耗降低30.09%，平均工具调用次数减少2次。

写在最后

我们正处在Agent从「一次性工具」走向「持续进化伙伴」的拐点。

RSI的核心价值不只是让Agent完成更多任务，而是让它能从每一次真实执行中获得反馈、积累经验，再把这些经验转化为持续改进的能力。

从Harness与Artifacts的双维度优化，到TTSE对环境事实与执行技巧的双轨演进，openJiuwen正在探索让智能体持续自我改进的不同路径：既能优化工作方法与交付成果，也能不断校正环境认知、沉淀可靠经验。

TTSE 这套机制让经验自演进变得可验证、可追溯：Agent 不光能学会“怎么做”，还能弄明白“在什么环境下这样做才有效”，并在一次次任务执行中持续完善自身。

经验不该是过眼云烟。让Agent既学会「怎么做」，更学会「世界是什么样」，这是它走向长期自主的第一课。

学术论文：TTSE: A Two-Track Online Self-Evolution Framework for LLM Agents 论文原文： https://arxiv.org/pdf/2609.24289

TTSE 双轨演进Rail 已经随 WorkSwarm 0.2.8 版本上线。想试的用户去官网就能一键下载，直接上手经验自演进。

体验入口：https://openjiuwen.com/workswarm；GitHub 代码仓：https://github.com/openJiuwen-ai/；AtomGit 代码仓：https://atomgit.com/openJiuwen/

正在做 Agent、LLM 自演进、记忆与技能系统的同行，可以在评论区说说自己的做法。

对 Agent 来说，更该「记住」的究竟是一个技巧，还是一条关于环境的规律？

*本文系量子位获授权刊载，观点仅为原作者所有。