AI智能体自出题自批改：DAEDALUS让记忆验证连过三关

一个刚入职的新人，为什么比老员工更容易出错？这个问题你有没有想过。

原因不在他笨，而在于这家公司的坑在哪儿，他根本不知道。哪个客户脾气暴躁、得先顺着说，哪份报表交上去总被打回来重做，哪个系统按钮点错了会导致数据丢失——这些都没人写进员工手册，全是老员工踩过坑之后才明白的。

眼下AI智能体面对的，也是这么个局面。

把LLM智能体丢到一个陌生环境里，比如让它操作某个APP、跑一套业务流程，它往往一上来就懵。LLM智能体指的是用大语言模型搭起来的自动化程序，能听懂指令、调用工具、完成多步骤任务。

工具的参数该怎么填，它不知道；接口名字和文档写的不一样，它不知道；某个操作其实藏着前置条件，它也不知道。结果就是一遍又一遍撞到同一堵墙上，每次执行任务都像第一次见这个世界。

来自Illuin Technology的研究团队在论文里提出的核心痛点，正是这个。他们给出的解法名字很浪漫，叫DAEDALUS，也就是代达罗斯——希腊神话里那位造出迷宫、又亲手为自己设计翅膀逃出迷宫的建筑师。名字本身就是隐喻：一个系统要学会给自己的迷宫画地图，然后自己飞出去。

论文已经挂在arXiv上，题目直译过来是“代达罗斯：从自我生成的任务中引导智能体记忆”。读完后我最大的感受是，这并非又一个“让AI记笔记”的小修小补，记忆到底应该怎么被验证这件事，被它重新想了一遍。

没有练习题的新手，要怎么变老手

这件事到底难在哪，得先说清楚。

业界现在常见的做法有两种。一种是请人类专家写好一套操作指南，手把手教AI这个环境该怎么用。另一种是给AI准备一批“训练任务”，让它先在这些任务上反复试错，再配一个“标准答案判官”（oracle verifier，一种能够自动判断任务是否成功完成的裁判机制）去打分，答对了的经验就留下来，形成一本“经验手册”。

问题是，这两种做法都要求你提前知道这个环境长什么样。

前提是有人替它写指南，或者手里有一批标好答案的训练题。问题在于，现实中大量智能体环境都是自动生成的，既没有人工标注过的训练集，也没人递给你一个现成的判分器。这两种办法在这种情况下都行不通。

那怎么办？

那顺理成章的想法就是：让智能体在真实任务到来时自己一点点攒经验。可这么一来，它接手的第一批任务没有任何记忆可用，只能先摔跟头再学乖。说白了，经验总是滞后于任务失败，用户从第一天起拿到的体验就是打了折扣的。

DAEDALUS想解决的，就是起点这个问题：在没有任何训练任务、没有任何裁判的前提下，能不能让AI自己给自己出题、自己做题、自己从错误里提炼出“下次别这样”的经验，然后把这些经验打包成一本可靠的备忘录？

两个AI互相较劲，才练出真功夫

DAEDALUS的核心设计是一组“对练”系统，里面有两个关键角色。

其中一个叫探索者（Explorer），负责在环境里四处试探，然后设计出一道“有难度但能做到”的任务，并给出判定这道题做没做成的具体标准。另一个叫求解者（Solver），任务是实打实去把探索者出的题做出来。

最精妙的一步，发生在求解者失败之后。

求解者搞砸了一次尝试，系统里有个叫提取器（Extractor）的角色，会去复盘这次失败的全过程，写出一条启发式经验*（heuristic，一种从具体经验中提炼出的、可以指导后续类似情境下行为的通用建议或规则）。

这条经验不会直接就被收进备忘录。它要被重新塞回求解者的“口袋”里，让求解者带着这条经验再试一次同样的任务。如果还是失败，经验会被继续修改。只有当求解者带着这条经验连续成功三次，这条经验才算“通过考验”，正式被收进记忆库。

这个设计背后藏着一个很狠的判断标准：光是失败后写下一条经验，不代表这条经验真的有用。它必须经得起反复验证。

拿教新司机倒车入库打个比方：头一回他撞了锥桶，你跟他说“方向盘要晚打一点”。但你不会当场就把这句话写进驾校教材，对吧？你会让他按这条建议再试一次；要是又撞了，那就说明这条建议本身有问题，得重新琢磨。只有他照这条建议连着成功三次，你才敢认定它确实管用，值得写进教材教给下一个学员。少了反复验证这一环，教材里很快会塞满听着有理、实际根本不work的“经验”，新学员照着练反而更糟。

论文为此专门做了一个很扎实的对照实验。研究者把“只做探索、不做失败到成功的验证”单独拆出来测，结果发现，单靠探索攒下的记忆会让智能体比完全没有记忆时表现更差。而一旦加上“求解者必须连续成功三次才能确认经验”这道关卡，成功率马上提高了4.5个百分点。可见验证这一步关系到整套系统能不能打，并非可有可无的补充。

任务难度是打出来的，并非拍脑袋定的

光靠“探索者出题、求解者做题、提取器总结”这条链路并不够用。题目难度高低，直接关系到这套系统能不能学到东西。

试想，探索者给的题太简单，求解者一次就过，失败无从复盘，提取器也就没事可干，这轮探索等于白跑。可要是题目难到求解者怎么都做不出来，同样提炼不出有用的经验，弄不好还会把错误的猜测当成“经验”存下来。

为此，DAEDALUS加了一套难度校准机制。

每轮求解循环结束，结果只会落在三种情况里。求解者一次没失败就通过，任务被判“太简单”；求解者连续失败到设定上限仍未成功，论文里这个上限是8次，任务被判“太难”；只有求解者先失败至少一次、随后又把局面扳回来，才算“难度刚好”，可以产出一条被接受的经验。

任务一旦被判太简单或太难，探索者会收到反馈，回头把题目调难或调易，最多调五次。五次之后还找不准那个“跳一跳够得着”的区间，这轮探索就放弃，不产出任何经验。

道理跟体育训练里的“渐进超负荷”相通。健身教练不会让你头一天就挑战极限重量，那样练不出肌肉，只会受伤；也不会让你一直举那副轻得毫不费力的哑铃，那样永远没进步。有效的训练，是让你举一个稍微超出当前能力、咬咬牙能完成的重量，肌肉才会在“刚刚好”的压力下撕裂重建、变得更强。缺了这套动态调整，探索者要么一直出送分题，要么一直出送命题，系统攒下来的东西要么是废话，要么是空的。

论文还提到一个挺巧的辅助设计：正式大批量探索之前，系统先派一个叫勘察员（Surveyor）的角色把整个环境通读一遍，摸清里面大致分成哪些功能区块、各自该占多大比重，形成一份“覆盖率地图”。探索者之后出题会参照这份地图，尽量把题目铺得散一些，别老盯着同一个功能角落反复出。

此外，每次任务难度没校准好，系统也不会把教训丢掉，而是把“这次为什么定难了、为什么定简单了”这类反思沉淀成一批“任务设计经验”，留给后面的探索环节参考。两个辅助设计合起来，整套生成流程的探索次数少了，成本砍掉将近一半，最终记忆的质量几乎没掉。

这套系统到底好不好用，还得看数据。

设计思路讲了这么多，终归要落到实际效果上。

研究团队在三个风格迥异的测试场上做了验证：AppWorld，模拟手机APP操作的代码型任务环境；τ?-bench，模拟客服对话场景；AutomationBench，模拟企业SaaS软件的业务流程自动化。

对照组里，既有完全不带记忆的“裸奔版”智能体，也有六种已有的记忆构建方法。这六种里有五种依赖人工标注好的训练任务，只有一种叫PREPING的方法和DAEDALUS一样，从智能体自我生成的任务里提炼记忆。

结果是：AppWorld上，DAEDALUS把平均任务成功率拉高15.9个百分点；τ?-bench上提高10.0个百分点；AutomationBench上提高4.3个百分点。另一个关键指标pass^5*，指同一个任务尝试五次、只要有一次成功就算过关的通过率，衡量的是智能体多次尝试下的稳定性和一致性，DAEDALUS让这项指标提升了1.7倍到2.2倍。

和PREPING的对比更值得玩味。两者都没用训练任务，站在同一条起跑线上，DAEDALUS却在所有指标上都稳稳压过PREPING。差别其实就在前面说的那套“失败后反复验证才能入库”的机制：PREPING更看重任务本身可不可行、完成度高不高，而不是经验本身是否真的管用。

就连那些用了训练数据、还配了标准答案裁判的“VIP选手”，DAEDALUS也不落下风。六项核心对比里，DAEDALUS有四项能和表现最好的方法打平，差距落在统计误差范围之内。可见“没有训练数据”这个先天劣势，被DAEDALUS的验证机制补回了相当一部分。

换个大脑来用这本笔记，照样好使。

这里有个挺有意思的发现：这本由GPT家族某个模型生成的“记忆笔记本”，交给Qwen家族或DeepSeek家族的模型去用，照样管用。

研究团队专门做了交叉实验：用GPT的大模型当探索者、小模型当求解者生成一套记忆，再分别拿给GPT的小模型、Qwen的小模型、DeepSeek的小模型去用。九种组合全部带来正向提升。以GPT-5.4-mini为例，用自己家族生成的记忆提升15.9个百分点，用Qwen家族生成的记忆反倒提升16.8个百分点，比自家的还猛一点。

这说明DAEDALUS提炼出的经验并非针对某个模型量身定做的“小抄”，更像一份通用的“环境使用说明书”。一本写得好的说明书，老司机也好，新手也好，拿起来都能获益，因为它讲的是工具本身的脾气秉性，而不是某个特定人的操作习惯。

论文附带的第一张图也很直观：涵盖gpt-5.4-nano、deepseek-v4-flash、minimax-m2.7、qwen3.6-35b-a3b等一批不同家族的模型，每一个在用上DAEDALUS的记忆之后，成功率上升的同时，完成任务所需的对话轮数反而变少了。也就是说，记忆不光让AI做得更准，还让它做得更快。

记忆该一股脑塞进去，还是边用边查？

生成记忆只是故事的一半，另一半在怎么用。

一个很自然的疑问是：记忆攒多了以后，是不是该像搜索引擎那样，每次只调取和当前这一步最相关的几条，而不是把整本笔记一股脑甩给AI？

研究团队测了好几种方案：用传统关键词匹配技术BM25*，BM25是一种经典的信息检索算法，依据查询词在文档中的出现频率等统计特征判断相关性，每轮检索出五条最相关的经验；用语义向量模型Qwen3-Embedding做更精细的语义检索；甚至随机抽五条做对照组。

三种“按需检索”方案的表现拉不开差距，都比零记忆强，却全都输给了一个更笨的办法：先把整本经验手册去重、合并整理，任务一开始就一次性全塞进AI的上下文，之后全程不动。这个结果多少有些出人意料。

研究者对此给出的解释挺有意思：真正管用的经验，未必跟你眼下正做的那一步在字面上长得像。

比如你正犹豫某个按钮该不该点，真正能救你的那条经验，讲的可能是“某个API的返回值里藏着隐藏字段”，看上去跟按钮八竿子打不着。可检索系统如果只会按关键词或语义相似度去匹配，就压根想不起把这条推给你——这条经验的措辞里根本没有“按钮”二字。

这就像去图书馆查资料写论文：你以为自己要的是“心理学”分类下的书，真正让论文写透的灵感，却藏在“建筑学”分类里一本讲空间感知的书上。管理员若只按你报的关键词找书，那本该给你的书永远不会被递到手里。论文专门引用了一个术语来描述这种现象——oblique retrieval（直译为“倾斜检索”，指需要被检索的信息与检索查询之间的相关性是隐含的、不直接体现在字面相似度上的检索场景），说的正是这种“你真正需要的信息和你表达出来的需求在字面上并不匹配”的情况。

论文还做了一个很细的消融实验：每轮检索条数从0一路加到30条，效果确实随条数增多稳步爬升，但直到检索出30条、接近整本笔记一半的量，表现才勉强追上“一次性全塞进去”。换句话说，在记忆库体量还不算大的阶段，与其费劲做精细检索，不如干脆全部展示，省事又有效。

当然，研究团队也坦承这个结论只在一定规模内成立。记忆库要是膨胀到几千条经验，检索恐怕就绕不开了，只是那时需要更聪明的技术，能处理这种“字面不相关、语义上却关键”的检索。

自己出的题，能当真正的考卷用吗

论文里还有一个发现，我觉得挺有价值。

环境是全新的，没有现成测试集，那怎么公平比较不同AI模型在这个环境里谁更强？研究团队想出一个巧妙的验证思路：DAEDALUS既然能自己生成一批高质量任务，这批任务能不能反过来当一套“模拟考卷”，给不同AI模型打分排名？

他们挑了九个模型，不给任何记忆加持，分别在DAEDALUS自己生成的81道题和AppWorld官方测试集上各跑三轮。两边排出的名次用肯德尔相关系数（Kendall's τ，一种衡量两组排名一致程度的统计指标）衡量，达到0.89，一致性相当高，36组两两比较里有34组的排名顺序完全一致。

也就是说，DAEDALUS生成的题目具体通过率数值和官方测试集并不完全一样（这批题目当初是按某个特定小模型的能力水平校准难度的），但不同模型之间谁强谁弱的相对顺序，几乎和官方权威测试集给出的结论一致。

这有点像一场非官方的小区篮球赛：规则和场地跟职业联赛不完全一样，可谁打得好、谁打得差，排出来的名次和职业联赛基本吻合。这暗示着，在那些压根没有官方测试集的全新环境里，DAEDALUS生成的任务或许能充当一个临时但可靠的评测基准。对那些还没被充分标注过的新兴智能体环境来说，这是个挺实用的副产品。

这套方法也不是万能的

论文作者在文末也坦率承认了一些局限。

比如他们发现，在AppWorld环境里，探索会话数量从5次、10次一路增加到90次，记忆的质量和效果稳步上升；可过了90次这个节点继续加练，效果反而开始下滑。记忆库不是越大越好，攒得太多，经验之间可能互相冲突，合并整理时也可能丢掉某些经验原本适用的精确场景，整体效果就打折扣了。

论文还提到，整套DAEDALUS系统是在部署之前就把记忆一次性生产完毕、之后冻结不再更新的；判断任务是否成功的裁判（Judge）本身也是一个LLM，并非绝对精确，虽然经过验证它和官方标准答案的一致性达到了相当不错的水平（AppWorld上的一致性指标κ达到0.807），但终究不是百分之百可靠。

研究团队也明确表示，让记忆在部署之后持续更新、设计更可靠的多重裁判验证机制，是接下来值得继续推进的方向。

Q&A

Q1：DAEDALUS是什么？

Illuin Technology团队提出的DAEDALUS，走的是一条让AI智能体自己攒记忆的路子。它既不依赖人工标注的训练任务，也不需要标准答案来当裁判，靠的是探索者和求解者两个AI角色打配合——在环境里自己生出任务、自己验证经验，最后攒出一本可反复用的经验手册。

Q2：DAEDALUS生成的记忆笔记只能自己用吗，换个模型还管用吗？

有用。论文的交叉实验里，GPT模型生成的记忆笔记交给Qwen、DeepSeek等不同家族的模型去用，成功率照样有明显提升，九组交叉测试全部是正向效果。说到底，这套经验更像一份通用的环境说明书，并非给某个模型单独定制的小抄。

Q3：DAEDALUS相比完全没有记忆的AI，效果提升有多大？

A：在AppWorld环境里平均任务成功率提升了15.9个百分点，在τ?-bench客服场景提升了10.0个百分点，在AutomationBench业务流程自动化场景提升了4.3个百分点；同时多次尝试下的稳定性指标pass^5提升了1.7到2.2倍。