openJiuwen推TTSE双轨自演进：Agent经验该按环境和方法分开学

允中 发自 凹非寺 量子位 | 公众号QbitAI

Agent用起来越来越顺手，可为什么还是会被环境“绊倒”？

同事拿Agent整理报表，一路顺利。你用的还是同一个模型、同一套工具、同样的流程，只是换成自己的文件，就开始一遍遍试读、频繁返工。

模型没换，Harness也没换，换个环境，为什么就不管用了？

文件放的位置不一样、数据格式参差不齐、模板约束有变化，原本好用的办法都可能失灵。推理能力由模型提供，执行流程由Harness组织，可Agent还得自己判断：眼前的环境是什么样，过去那套经验还适用吗？

这也点出了Agent持续自我改进中一个常被忽略的问题：Agent不光要从任务里学会“怎么做”，还得判断这些经验放到什么环境下依然成立。

在RSI（Recursive Self-Improvement，递归自我改进）的持续优化过程中，Agent能借助任务反馈改进执行方法、攒下可复用的经验。可一旦对环境的认识没跟着更新，过去有效的经验反而会变成新障碍：接口条件变了，还在重试旧调用；数据格式变了，还在沿用旧规则。

一次失败，到底该改方法，还是该纠正对环境的认识？

Agent的新难题，藏着认知科学的老线索

认知科学对知识结构的研究，为区分这两类问题提供了启发：

1983年，认知科学家John R. Anderson在ACT-R相关理论研究中，系统讨论了人类知识中的两类重要形式：

• 陈述性知识（Declarative Knowledge）：描述“世界是什么样的”。例如，关闭的容器会遮挡内部物体，打开后才能观察。
• 程序性知识（Procedural Knowledge）：讲的是“行动该怎么做”。举例来说，如果要找多个同类物体，发现第一个之后，还得接着排查其他可能存在的地方。

后来，Larry Squire等研究者从神经心理学上确认，这种分离是有生物学基础的——两类知识由不同脑区负责，学习速率和提取方式都不一样。

换到Agent的角度看，认识环境与掌握做法彼此牵连，可两者在验证和更新上走的是不同路子。对环境的判断，得核对它是否与现场事实相符；对行动方法的检验，则看它在相应条件下管不管用。一旦把这两者搅在一起，要么会把碰巧做成的操作当成可靠规律，要么在环境变了以后还照着已经失灵的办法干。

顺着这个思路，openJiuwen在RSI方向的持续探索中，进一步提出TTSE（Two-Track Self-Evolution，双轨自演进）。

在此前发布的双维度RSI框架介绍中，openJiuwen已通过Harness+Artifacts双维度优化，让Agent能够基于真实任务反馈，持续改进工作方法与交付成果。TTSE则进一步聚焦经验本身的可靠性与可复用性：不光让Agent积累有效的执行方法，还要持续校正对环境的认识，避免经验在环境变化后失效。

为此，TTSE借鉴认知科学中对陈述性知识与程序性知识的区分，将任务中获得的经验分为两条轨道：

• FACT（环境事实）：持续核对和更新“这个环境是什么样的”。
• TIP（条件式技巧）：持续改进“在这些条件下应该怎么做”。

TTSE双轨框架：构建反馈驱动的经验自演进闭环

分清经验的类型，只是第一步。怎么让Agent从任务反馈中持续学习，并把有效经验转化为下一轮执行的改进？

这也是RSI的核心思路：靠真实任务反馈驱动改进，再在后续执行中不断验证和优化。TTSE把这一思路落到经验管理层面，通过分批执行任务，让已有经验持续接受新证据的检验，判断哪些经验值得保留、哪些需要修正或退役，再将更新后的经验用于下一轮任务。

框架由双轨知识表示、冷启动、在线增量演进、最终输出与评估四个部分组成，如下图所示：

双轨知识表示的做法，是给环境事实和执行方法各自安排一套依据。

FACT管的是环境自身的属性与规律，这类知识要能直接验证，并且在适用场景里跨任务保持稳定；TIP管的是特定任务条件下的执行方法，用「在什么条件下，执行什么操作」的形式写出来。

两套知识各自有独立编号、呈现方式和证据追踪机制。这样每条经验都能单独引用、核对和更新，执行出了问题，也方便回溯到底是哪条事实判断或哪条操作建议起了作用。

至于分类，框架会看经验描述的主体和作用来定，具体依据mechanism展开判断；碰上不好确定的内容，默认放进TIP，免得把没经过充分验证的操作经验当成环境事实。

冷启动这一步，是从首批任务里归纳出初始经验。

TTSE的起点是空规则库。Agent先执行首批任务（chunk 0），再顺着执行轨迹分别归纳FACT和TIP，把初始的双轨经验库搭起来。

这个阶段以归纳为主。因为还没有历史规则参与执行，旧规则的归责和退役都不做，重点是给后续演进攒下第一批有任务证据支撑的经验。

在线增量演进，则是在新任务中检验并修正已有经验。

之后的采用批次推进。每一轮Agent都会加载上一轮的FACT与TIP，带着已有经验去执行当前批次任务，然后根据执行轨迹和评估结果，依次走完四个环节：

• 归因（Blame）：分析失败轨迹，找出可能误导执行的规则，为经验修正锁定对象。
• 退役（Retire）：被归责的规则移入退役池，原因、批次和时间等记录一并保留，让调整过程可以追溯。
• 矛盾分析与合成（Contradict / Synthesize）：检查退役规则之间的矛盾，试着找出其中隐含的适用条件，把看似冲突的经验合成为条件更明确的TIP。
• 归纳（Induce）：对比成功与失败轨迹，或者从成功轨迹里提炼有效经验，通过新增、修订、确认与移除等操作更新双轨经验库。

这四个环节——Blame→Retire→Contradict/Synthesize→Induce——在多个任务批次之间循环运行，经验因此持续接受新证据的检验：对环境的认识会更新，相应条件下的执行方法也会调整。

最终输出与评估，用来检验经验演进带来的实际收益。

经过多轮增量演进，框架会输出最终的FACT与TIP经验库，再在测试任务中评估它对准确率或任务表现的影响。

这套机制的关键，是让环境事实与执行方法分别沉淀、各自可追溯，并在持续执行中接受检验和修正。Agent每完成一批任务，新的交互证据就能转化为下一轮可用的经验，逐步走通从环境交互到知识更新、再到行动改进的闭环。

不过有个关键问题还没答案：「将环境事实与行动技巧分开演进，是否真的比传统的单轨经验管理更有效？」

从机制到实证：五大基准，验证TTSE双轨自演进的有效性

TTSE的方法论与实验结果，已经在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。

双轨经验机制到底有没有用，研究团队用五个基准来检验：ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench。每项实验都独立重复三次，看的是实际收益和运行稳定性。

五个基准跑下来，增益体现在多个维度。

• ALFWorld：成功率最高达到98.51%。GLM-5上TTSE成功率为98.51%；DeepSeek-V3.2上成功率达到97.8%，比此前最优方法GraSP的83.6%高出14.2个百分点，任务执行步数同时减少。
• ScienceWorld：任务表现提升明显。MACRO Reward从0.7204升到0.8534，Native Success从53.08%升到73.46%，提高20.38个百分点。
• GDPevo上的对比给出了明确答案：完整FACT+TIP方案平均得分0.2616，接近零样本基线0.0947的2.8倍。单独用TIP或单独用FACT，成绩都没能追平完整双轨方案。环境事实与行动技巧放在一起管理，价值在这组数据里得到了验证。
• SOPBench上的表现则叠加了贝叶斯技能管理：总体成功率从基线79.15%升到单轨方案的91.59%，双轨融合方案又推到94.58%，比单轨方案多出2.99个百分点。
• PinchBench测试的是真实世界任务。TTSE以非侵入方式接入OpenClaw，在147个真实端到端任务上独立跑了三次。双轨方案平均得分从0.7439提高到0.7822，涨了3.83个百分点；三次运行增益方向一致，运行极差由3.33个百分点收窄到1.61个百分点。

上述结果分布在具身交互、科学推理、企业运营、工业流程以及真实世界端到端任务上。TTSE的作用并不绑定某个特定模型，也不限于单一场景。

消融实验接着回答了一个问题：双轨为什么缺一不可？

GDPevo的消融结果最直接：完整双轨方案压过只记事实或只记技巧的单轨方案。

差别来自两类知识的分工。只保留FACT，智能体或许清楚环境有哪些约束，却拿不出合适的行动办法；只保留TIP，智能体可能掌握了操作技巧，却判断不准这些技巧在什么条件下成立。两者合在一起，才能同时回应「环境是什么样」和「在当前条件下应该怎么做」。

说到底，双轨设计不是把经验库简单切成两半，而是让不同类型知识按各自的语义和适用条件完成归纳、验证与复用。

跨模型、跨任务再到真实世界评测，这组实验既验证了TTSE双轨经验机制的有效性，也显示出RSI在经验学习层面的应用空间：不改模型参数，Agent靠持续积累、验证和更新任务经验，就能让后续任务表现逐步变好。

对TTSE从研究框架走向实际办公智能体产品来说，这也提供了实证依据。

TTSE双轨自演进已经进入WorkSwarm。

论文实验之外，TTSE已正式落地openJiuwen的WorkSwarm蜂群办公智能体。

想上手体验，安装并启动WorkSwarm 0.2.7及以上版本，在设置里打开TTSE自演进开关，就能感受经验积累与复用带来的效率变化。

下面用两个真实办公任务，看TTSE怎样让Agent在执行中跑得更快、更省。

经验变成效率：TTSE走进真实办公场景

数据清洗与分析、文档编辑与整理、报表生成、信息提取、格式转换，这些日常办公任务里Agent已经用得不少。可文件结构、数据格式、业务要求一变，Agent常常要反复摸环境、试工具调用，重新找一遍执行路径。

团队挑了Excel数据清洗和文档与表格整理两个典型办公场景，对比Agent首次执行和注入经验之后的差别。

两个场景都出现了不同程度的效率提升：

这些提升不是模型能力变了。在展示的对比任务中，Agent借助历史执行经验，更快认清了环境约束，也更快选对了处理方式。

那TTSE到底沉淀了哪些经验，又是怎么帮Agent少走弯路的？

案例一：Excel数据清洗——少在数据识别和处理上试错

这类任务难的地方不只是清洗本身，还包括找到输入文件、看出隐藏的数据格式问题、定下符合业务要求的去重规则。

第一次执行时，Agent手里没有可复用的任务经验，只能自己找输入文件位置、判断数据格式、推导重复记录怎么处理。全程工具调用57次，失败3次，总耗时6分22秒。

任务完成后，TTSE从真实执行轨迹里提炼出可复用的任务经验。这些经验不只是对过去操作的记录，而是能直接影响下一次执行决策的依据：

• 用户没讲清文件放在哪时，先到workspace/input翻一遍，直接找上游文件。这样不用在无关目录里来回摸索，也少了对用户的追问。
• Excel里的日期、金额、文本看着正常，未必真正常。直接用openpyxl读原始存储值，能把文本型日期、货币符号、尾随空格这类藏起来的问题揪出来，不至于因为读取方式不对而漏掉。
• 去重口径也不用重新推。按业务字段分组，保留最早日期的记录，删了多少条一并记下，照用已经验证过的规则就行，省掉重复判断和试错。

再碰到相似任务，这些经验会直接介入工具选择和处理决策：工具调用降到20次，失败调用只剩1次，总耗时缩到1分48秒。案例二看的是文档与表格整理，难点在于少走文件探索和格式试错的弯路。

这类任务跟Excel数据清洗不一样。文件位置不知道、CSV编码和分隔符不清楚、Word模板结构又复杂，头一回执行时，Agent只能一步步找文件、认格式，再定模板怎么处理。

首次跑文档与表格整理，Agent花了1分49秒，工具调用27次，其中2次失败。跑完之后，TTSE从真实执行轨迹里整理出一批环境事实和操作技巧。

第二次执行，Agent不用再从零翻目录、试CSV读法，也不用等文档生成后才发现模板替换有问题。验证过的环境经验可以直接拿来用，工具和处理路径提前就能选得更准。

结果第二次耗时1分26秒，工具调用18次，失败1次。整体耗时缩短约21.1%，工具调用减少33.3%，失败调用减少50%。

TTSE不止是记住过去做过哪些操作。它让Agent同时攒下两样东西：对环境的认识，以及在特定条件下管用的执行方法。

经验攒起来之后，能不能变成能力，关键看复用复得对不对。

两个办公案例说明了TTSE在实际任务里的用处：Agent不用每次都从零摸索，历史任务中验证有效的经验可以变成后续执行的参考。

RSI想实现的持续改进正是这个路子——每次执行既交付成果，也为下一次攒下有效经验。TTSE用FACT与TIP的双轨机制，让这些经验可验证、可更新、可复用。

不过，这些收益是只在特定任务里成立，还是能覆盖更广的办公任务？

团队把WorkSwarm接入TTSE，在业界开源榜单WorkBuddy Office Bench上测了一轮，看它在综合办公场景中的表现。

任务表现和开销两头都有变化：相比原生效果，任务表现提升3.81%，输入Token消耗降低1.70%，输出Token消耗降低30.09%，平均工具调用次数减少2次。

Agent正从「一次性工具」转向「持续进化伙伴」，眼下就站在这个拐点上。

RSI的核心价值不在于让Agent多干几件事，而在于它能从每次真实执行里拿到反馈、积累经验，再把经验变成持续改进的能力。

从Harness与Artifacts的双维度优化，到TTSE对环境事实与执行技巧的双轨演进，openJiuwen在试不同的路子让智能体持续自我改进：工作方法和交付成果能优化，环境认知也能不断校正、沉淀出可靠经验。

TTSE给其中的经验自演进提供了一套可验证、可追溯的机制。Agent因此不光学会“怎么做”，还知道“在什么环境下这样做才有效”，并在一次次执行中把自身打磨得更好。

引语：经验不该是过眼云烟。让Agent既学会「怎么做」，更学会「世界是什么样」，这是它走向长期自主的第一课。

学术论文：TTSE: A Two-Track Online Self-Evolution Framework for LLM Agents 论文原文： https://arxiv.org/pdf/2609.24289

TTSE双轨演进Rail已在WorkSwarm 0.2.8版本上线，感兴趣的用户可前往官网一键下载，开启经验自演进，立即体验：

WorkSwarm的体验入口：https://openjiuwen.com/workswarm；GitHub代码仓：https://github.com/openJiuwen-ai/；AtomGit代码仓：https://atomgit.com/openJiuwen/

做Agent、LLM自演进、记忆与技能系统的同行，不妨在评论区说说你的看法。

在Agent眼里，最该「记住」的到底是什么——一个技巧，还是一条关于环境的规律？

*本文系量子位获授权刊载，观点仅为原作者所有。