新智元报道  

让AI去自动设计一种新的推理算法，它能读论文、写代码、跑实验，还会根据结果反复改方案。乍看之下，研究流程似乎已经全交给AI了。

可要是研究问题由人提出、可改动的范围由人划定、成功的判据也由人设定，那AI到底握住了多少研究决策？它是在替人做实验，还是已经能决定研究该怎么做？

南开大学与中关村学院团队新近发表的一篇综述，把AI研发拆解成三个关键决策，并给出L0–L3控制来源框架。

论文主页：https://www.preprints.org/manuscript/202610.2999

项目主页：https://ai4ai-research.github.io/

图1：AI4AI研究全景。论文从研究控制权切入，梳理代表性工作、L0–L3控制来源，以及学习、推理、数据和基础设施四个应用分支。

研究自动化，并不等于研究决策自动化

举个具体的例子。假设AI正为大语言模型寻找更好的推理策略，它能自己生成候选方法、改程序、跑基准测试。但接下来该往哪个方向探？哪些部分允许它动？又该拿什么标准判定新方法更好？

这三个问题看着只是研发流程里的不同环节，其实各对应一种控制权。只有把它们分开看，才能准确说清AI在研究里担的是什么责任。

设想实验发现，模型生成了很长的推理过程，准确率却没涨。那下一轮是该砍掉无效步骤、换中间表示，还是调整候选答案的生成策略？

这决定研究资源往哪投，属于

图2：发现循环中的三项决策。搜索方向决定探索什么，搜索空间决定允许探索哪些方案，评价信号决定如何判断结果。

就算AI能提出研究方向，它可能也只在人预先划好的空间里搜索。比如只准改提示词，还是可以重写推理模块、设计新的算法构件，甚至重新定义这些构件怎么组合？

这属于搜索空间（

新推理方法准确率更高，推理成本却翻了三倍；另一个方法跑得更快，遇到困难任务又明显退步。系统该选哪一个？

评价信号（

三项决策摆在一起，综述据此划出四类控制权分配方式。L0 指三项决定都由人类或外部规则给出，比如研究人员提前定好实验顺序、可调参数和评分规则，程序只管照做。

L1 是 AI 自己决定下一步往哪搜。到了 L2，AI 能改动可搜索的方案本身。

L3 则更进一步：AI 给出真正影响训练或筛选的评价信号。

这样分层，研究贡献就更容易分辨——同样是一段代码，系统可能在挑新的探索方向，也可能在搭后续研究要用的工具库，或者在写决定候选去留的奖励函数。

综述除了解析决策来源，还按改进对象做了划分。图3 列出 AI4AI 的四个研究分支：学习、推理、数据与基础设施。四者对应的改进对象不同，但都能套用三项决策框架来分析。

AI4AI Learning：找到更好的训练方法

AI4AI Learning 关注的方向如下。

例如，

AI4AI Inference：改进模型使用能力的方式

AI4AI Inference 涉及的内容如下。

例如，

AI4AI Data：发现更有效的数据组织方式

AI4AI Data 这条线，价值得放到共同的训练协议下检验：训练过程不变，只把数据策略换成新发现的方案，模型能不能稳定受益？数据构建与处理的成本，同样要算进比较。

AI4AI Infrastructure：优化支撑AI的计算系统

AI4AI Infrastructure 讨论的是支撑 AI 的计算系统。这也提示，AI 的下一轮进步或许来自更高效的计算实现，让同样的资源撑起更多实验。

四个分支回答的是「AI改进什么」，控制框架回答的是「哪些决策由AI作出」。两者合到一起，才能比较那些目标不同、实现方式也不同的 AI4AI 系统。

这篇综述还列出了若干需要继续追下去的问题。

理论上一个空间能装下好算法，AI就真能在现实预算里把它找出来吗？

这中间的距离可能不小。

拿允许系统改动任意Python程序来说，能表达的东西确实多，可每改一处，都可能牵动许多彼此依赖的细节。要是把常用计算封装成可复用的构件，再把构件之间的连接方式讲清楚，同一个算法就有机会用更短、更明白的形式写出来，搜索也因此多出不一样的修改路径。

论文所谈的新抽象、原语和组合规则，能压短有用方案的描述，能改变搜索的邻域，也能把无效组合挡在外面。这些改动未必让理论上可表达的算法集合变大，却可能让有价值的方案在现实中更容易被找到。

所以空间的改进既可以是扩展，也可以是压缩。把有效可能性留住、把无意义组合减掉的空间，同样值得去试。

要验证这类贡献，得把搜索程序和计算预算固定或对齐，拿人类设计的空间和AI构建的空间做比较，还要把空间构建的成本算进去。最后挑出的那个高分方案，也不能只看分数，得连同候选的有效性、多样性、搜索成本和新任务上的表现一起分析。

对自动算法设计来说，这里有个清楚的研究切口：除了把每次提案的质量提上去，还可以研究怎么组织候选方案，让有限的实验更容易冒出有价值的发现。

AI参与评价后，怎样确认真实进步

一旦AI开始搭建测试、奖励或判断规则，它也就插手了研究过程对「什么值得保留」的判断。

设想一个系统同时改程序、改测试，迭代几轮之后通过率一路走高。这可能是程序真变强了，也可能是测试变松了。只看内部得分，分不清是哪一种。

综述因此强调，评价器可以跟着研究一起改进，但独立的验证路径必须留着。隐藏测试、可执行检查、独立实验，或者延迟拿到的真实结果，都能提供外部证据；具体选哪种，要看所声称的价值是什么。

这也说明了为什么「换个模型来打分」还不足以保证独立性。生成候选的和打分的可能带着相同的偏差，得靠错误分析和干预实验来判断。

在此基础上，AI4AI的评价不该停在单次最佳成绩上：整个发现过程花了多少资源，失败的实验算不算成本，换了任务还灵不灵，人插手了多少次，结论在多次运行里稳不稳，都会影响我们对成果的判断。

这些证据合起来回答一个实际问题：研究控制权交给AI以后，带来的收益靠不靠得住，值不值这个成本？

递归自我改进，需要跨代证据

论文标题里的「走向AI发现的超级智能」，对应的是一个有条件的长期研究方向。

其中的关键概念是

要建立这样的证据，得同时看当前的产物和产生改进的机制。某一轮成绩涨了，或者系统连着改了好几个版本，都不足以单独证明研究能力在持续增强。

至于怎么验证这种递归收益，论文给出的路径包括：做多代实验、采用固定或保留的外部评价、在相同预算下对比基线，以及考察模型在未见任务上的迁移表现。另一种做法是挑早期的改进做选择性回滚，观察后面的收益会不会随之消失，从而判断两者之间是否存在因果关联。

这也让研究记忆变得重要。值得传下去的经验应当包括假设、实现、实验条件、失败原因和适用边界，好让后来的系统能检验、复用并修正已有的发现。

当一次发现能帮上下一次发现，而且这种帮助经得起独立验证，AI的研究能力才算有了可持续积累的依据。AI4AI能走多远，取决于这样的收益能不能跨任务、跨代一直成立。

参考资料：

https://www.preprints.org/manuscript/202610.2999