新智元报道  

设想一下，让AI自己去设计一种新的推理算法：读论文、写代码、跑实验，再照着结果一遍遍改方案。乍看之下，研究这摊事似乎全交出去了。可要是问题由人来提、改动的边界由人来划、判定成功的尺子也攥在人手里，AI到底拿到了多少研究决策权？它是在替人跑实验，还是已经插手决定研究该怎么做？

南开大学和中关村学院团队近期合作发表了一篇综述，把AI做研发这件事切成三块关键决策——搜索方向、搜索空间、评价信号，并由此搭出L0–L3控制来源框架。

论文主页：https://www.preprints.org/manuscript/202610.2999

项目主页：https://ai4ai-research.github.io/

图1展示的是AI4AI研究全景。论文以研究控制权为切入点，梳理了代表性工作、L0–L3控制来源，以及学习、推理、数据、基础设施四条应用分支。

研究自动化，并不等于研究决策也自动化了。

举一个具体的场景：AI正在为大语言模型找更优的推理策略，它能自己生成候选方法、改程序、跑基准测试。可接下来该往哪个方向探？哪些部分允许它动？判断新方法更优又该拿什么当依据？这三个问题看着只是研发流程里的不同环节，背后其实是三种不同的控制权。只有拆开来看，才说得清AI在研究里究竟担了什么责任。

假定实验发现，模型生成了很长的推理过程，准确率却没见涨。那么下一轮是该砍掉无效步骤、换掉中间表示，还是调整候选答案的生成策略？这决定了研究资源往哪里投，归入搜索方向（SearchDirection，D）。倘若AI能依据实验历史诊断出瓶颈、提出假设，并主动挑定下一步干预，那它就不只是执行人类给定的实验计划了。

图2 展示了发现循环里的三项决策：搜索方向管的是探索什么，搜索空间管的是哪些方案可以被探索，评价信号则决定结果怎样判定。

即便AI能给出研究方向，它或许也只能在人类事先划好的圈子里找。举例来说，是仅允许改动提示词，还是能重写推理模块、设计新的算法构件，甚至把这些构件的组合方式重新定义？

这就是搜索空间（Search Space，S）。它涵盖表示方式与可用模块，也涵盖合法的组合、编辑操作和准入约束。哪些算法能被表达出来，由搜索空间决定；AI能不能在有限预算内找到有价值的方案，同样受它影响。

一种新推理方法准确率上去了，推理成本却涨到三倍；另一种方法速度更快，可在困难任务上退步明显。系统应当保留哪一个？

什么算进步，由评价信号（Evaluation Signal，E）说了算，其中包括测试任务、奖励函数、判断规则、汇总方式和接受阈值。一旦AI能搭建或大幅改动这套评价机制，它左右的不只是候选方案，还有研究本身的成功标准。

三项决策组合下来，综述给出了四类控制权的分配方式。最基础的是L0：三项决定全由人类或外部规则定好。研究人员提前把实验顺序、可调参数和评分规则列清楚，程序只管照着跑。

L1则是把下一步怎么搜交给AI。FunSearch就是例子——系统看着已有的程序和它们的得分，提出下一轮代码怎么改；至于能改哪些地方、用什么检验程序，还是人类给的。

L2更进一步，AI能改动可搜索的方案本身。DreamCoder会从现有解法里提炼出能复用的子程序，收进程序库；碰到新任务，系统就拿这些积木去搭方案。评价标准仍由外部给定，搜索方向则人或AI都能定。

L3中，AI提供的是真正影响训练或筛选的评价信号。Eureka生成可执行的奖励函数，拿它来指导机器人策略训练。任务还是人类设的，AI参与决定的是训练中哪些行为能拿到奖励。

这样分下来，研究贡献就看得更清楚了：一样是生成一段代码，系统可能是在挑新的探索方向，也可能是在攒后续研究要用的工具库，或者是在写决定候选去留的奖励函数。

除了看决策来源，综述还按改进对象把AI4AI分成四支：学习、推理、数据和基础设施。

图3：AI4AI的四个研究分支——学习、推理、数据与基础设施。改进对象各不相同，但都能套用三项决策框架来分析。

AI4AI Learning：找到更好的训练方法

AI4AI Learning盯的是会更新目标模型参数的研发过程，架构、优化器、学习规则、训练流程和适配方法都算在内。

举例来说，AutoML-Zero把学习算法本身当成搜索对象，用给定的数学原语组合、演化出程序。研究者要看的，既有得到的算法表现如何，也有哪些设计材料和约束依然来自人类。

AI4AI Inference：改进模型使用能力的方式

AI4AI Inference关注的是目标模型和适配器参数都冻结时的改进。提示词、智能体工作流、工具库、上下文策略、推理时算力怎么分配，都能成为研究对象。

比如DSPy会优化程序模块的指令和示例，DreamCoder则学习后续任务可以复用的程序构件。

AI4AI Data：找到更有效的数据组织方式

AI4AI Data管的是数据筛选、混合、增强、合成和课程安排。DoReMi的做法是用代理模型去优化不同数据领域的混合权重。

这类工作值不值，得放在共同的训练协议下检验：同样的训练过程，换上发现的数据策略，模型能不能稳定受益？数据构建和处理的成本，也该算进比较里。

AI4AI Infrastructure：优化支撑AI的计算系统

AI4AI Infrastructure涉及算子、编译调度、并行执行和硬件设计等环节。综述举了AlphaEvolve的例子，它被用于优化矩阵乘法的分块启发式和TPU算术电路。

这也提醒人们，AI的下一次进步，可能就来自更高效的计算实现——同样的资源，能撑起更多实验。

四个分支回答的是「AI改进什么」，控制框架回答的是「哪些决策由AI作出」。

只有把两者合起来看，才能比较那些目标不同、实现方式也不同的AI4AI系统。

围绕这些问题，综述列出了若干后续可做的方向。

一个空间在理论上能够表达好算法，是否意味着AI能在现实预算内找到它？

这两件事之间，距离可能相当大。

以系统能改写任意Python程序为例。表达范围是够宽，可每次编辑都可能牵动许多相互依赖的细节。反过来，把常用计算封装成可复用的构件，再把构件之间的连接方式讲清楚，同一个算法就有机会用更短、更干净的形式写出来，搜索也多了别的改动路径。

论文谈到的新抽象、原语和组合规则，能压缩有用方案的描述长度，能改变搜索邻域，也能把无效组合挡在外面。这些改动未必让理论上可表达的算法集合变大，却可能让有价值的方案在现实中更容易被找到。

所以空间的改进不只有扩展一条路，压缩也算。留下有效可能性、砍掉无意义组合的空间，同样值得去做。

要验证这类贡献，得把搜索程序和计算预算固定住或对齐，拿人类设计的空间和AI构建的空间做比较，还要把空间构建的成本算进去。最后挑出的那个高分方案，也不能只看分数，得连同候选的有效性、多样性、搜索成本和新任务上的表现一起看。

对自动算法设计来说，这里有个清楚的研究切口：除了把每次提案的质量做上去，还可以研究怎么组织候选方案，让有限的实验更容易撞出有价值的发现。

AI参与评价后怎样确认真实进步

一旦AI开始搭建测试、奖励或判断规则，它同时也在影响研究过程对「什么值得保留」的判断。

设想一个系统同时改进程序和测试，几轮迭代下来通过率一路走高。这既可能是程序变强了，也可能是测试变松了。只看内部得分，两种情况分不出来。

所以综述强调，评价器可以跟着研究一起改进，但独立的验证路径得留着。隐藏测试、可执行检查、独立实验，或者延迟拿到的真实结果，都能充当外部证据；具体用哪种，取决于这项发现声称的价值是什么。

这也说明了为什么「换个模型来打分」还保证不了独立性。候选的生成者和评价者可能带着同一套偏差，得靠错误分析和干预实验来判断。

在这个基础上，AI4AI的评价不该停在单次最佳成绩上：整个发现过程花了多少资源，失败的实验算不算成本，换个任务还灵不灵，人插手了多少次，结论在多次运行里稳不稳，这些都会影响对成果的判断。

这些证据合在一起，回答的是一个实际问题：研究控制权交给AI之后，换来的收益靠不靠得住，值不值这个成本？

递归自我改进需要跨代证据

论文标题里的「走向AI发现的超级智能」，对应的是一个有条件的长期研究方向。

其中的关键概念是递归自我改进：一轮改进增强了系统产生后续改进的能力。比如系统发现了可复用的算法构件，下一轮研究就能在同样的预算下探索更有效的方案；又比如改进了实验机制，之后的研究能更快认出无效方向。

要建立这样的证据，得同时看当前产物和产生改进的机制。某一轮成绩涨了，或者系统连着改了好几个版本，单独拿出来都不足以证明研究能力在持续增强。

论文给出的检验办法有几种：做多代实验；采用固定或保留的外部评价；在相同预算下对比基线；看模型能否迁移到未见任务上。另一个思路是，把早期改进选择性地回滚掉，观察后续收益是否随之消失，由此判断两者之间是否存在因果联系。

这也让研究记忆变得重要。值得继承的经验该包括假设、实现、实验条件、失败原因和适用边界，好让后续系统能检验、复用并修正已有的发现。

当一次发现能帮上下一次发现，而且这种帮助经得起独立验证，AI的研究能力才算有了可持续积累的依据。AI4AI能走多远，取决于这样的收益能不能跨任务、跨代一直成立。

参考资料：

https://www.preprints.org/manuscript/202610.2999