Meta FAIR与普林斯顿：Self-Direction让Agent一次纠错长期不复发

Agent在某个任务里改掉的错误，换个会话可能又犯一遍。把纠错经验写进上下文或者技能文件，后面还得靠检索去调，上下文空间也被占掉。改用微调把经验灌进模型，额外训练成本跑不掉，新旧能力之间还会互相干扰。

针对这个问题，Meta FAIR与普林斯顿大学团队提出了Self-Direction：Agent从错误中得来的经验被存成独立的适配器，一次任务里完成的修正，在后续相似任务中依然能用，反复纠正同类错误的开销因此降了下来。

论文链接：https://arxiv.org/pdf/2610.31846

经验的保存靠低秩适配（Low-Rank Adaptation，LoRA）。一次执行失败后，Agent会结合环境或用户的反馈回看执行轨迹，把该改的行为提炼出来，再蒸馏进一组额外的小规模参数。训练出的适配器能马上用于当前任务的重试，也会留下来进入经验库。

一条经验对应一个适配器。训练新适配器时，基础模型和已有适配器的参数都冻结不动，免得后面的训练把之前的参数盖掉。碰到新任务，路由器拿当前任务描述和历史任务描述比对相似度，看有没有合适的适配器可用。经验借适配器影响模型行为，对应的整段反思文本不必塞进上下文。

评测用的Agent基于Qwen系列开放权重模型构建，任务范围包括GAIA的开放式研究任务、Claw-Eval的工具调用工作流，以及Terminal-Bench 2.1的终端任务。除任务成功率外，研究人员还考察了纠错是否稳定、跨任务迁移效果如何。

Claw-Eval上有一项评测，要求同一任务在三次独立运行中全部成功。用上Self-Direction之后，达标任务的比例从51.6%升到64.6%，提高了13.0个百分点。三次运行只要失败一次就不算成功，Agent后续执行的稳定性可以借此检验。

GAIA的一项实验里，经验库最多放三个适配器，总内存占用约256 MB，任务成功率从36.4%升到52.7%。GAIA还有一项实验看的是经验能不能迁移到更难的任务：适配器只从较容易的任务中学，再拿去处理没见过的较难任务，后者的成功率提高了10.47个百分点。

在Claw-Eval上，研究人员又测了不同任务类别之间的迁移。三个从操作类任务中学来的适配器被用于工作流任务，成功率从75.0%提高到87.5%。复用这些适配器没有再做额外训练，至少在这组任务中，纠错经验可以用在此前没学过的任务上。

研究团队也承认，这套方法仍有训练和存储成本。每个适配器新增的可训练参数大约相当于基础模型参数量的0.02%，训练这些参数要占用常规推理之外的GPU资源，经验库变大后存储开销也会增加。对于暂时缺训练资源的系统，团队的建议是先攒文本反思，等资源够了再训练适配器。

Self-Direction还依赖明确的错误信号。错误得靠自评、评分器反馈或用户指出来，系统才会开始提炼和保存经验；一次失败要是没被发现，后面的反思和适配器训练就无从启动。适配器的复用也有模型边界：文本形式的经验人能读，也能在不同模型家族之间传递；训练好的适配器则绑定特定模型。任务之间能迁移，不等于换了基础模型还能直接拿同一份适配器来用。

研究团队提出，后续研究还可以探索怎么给不同经验挑合适的保存形式，以及怎么把多条经验组合起来处理一次错误。

更多技术细节，详见原论文。

如需转载或投稿，请直接在本文章评论区内留言