AI搞开放式科研也会“躺平”，CURIO给模型装上好奇心

学新本事时，你是不是也这样：只要摸到一种“够用”的路子，就再懒得试别的？

拿做菜来说，番茄炒蛋第一次做成功，往后多半就守着同一个火候、同一套下锅顺序，很少有人会想，先放糖还是先放盐会不会更对味。原因是手里已经有了一个“能吃”的答案，试新做法的劲头自然就没了。

把这个场景挪到AI身上也一样。让大语言模型去做“开放式科学发现”，比如给数学问题找更优解，或者设计去噪效果更好的单细胞算法，它同样会掉进这个坑。伊利诺伊大学香槛分校、马里兰大学和斯坦福大学的研究团队写了篇论文，琢磨的就是怎么让AI在这类事上少踩坑。

**“做题”变“搞研究”，奖励机制反倒成了束缚**

这类任务到底指什么，得先交代一下。

**开放式发现**：它不要求回答有标准答案的题目，而是在一个描述清楚、配有自动评分器的问题空间里，一轮轮提出候选方案、收下反馈、再拿出更好的方案，目标就是不断刷新当前最优记录。

举例说，让AI去啃“Erdos最小重叠问题”（一道关于函数构造的数学难题），或者在单位正方形里摆26个圆、使所有圆半径之和最大（圆堆积问题）。AI先写代码造出一个候选解，评估器打分，它再照着分数写下一版代码，如此循环。

早前的路子是让一个参数冻结的大模型反复采样，经验全靠archive（存档，记录历史上评估过的候选方案及其程序）、提示词、种群演化这些外部机制攒起来。毛病很直接：模型参数自始至终没动过，永远是那个“刚出厂”的样子，学到的东西都留在上下文里，没进权重。

**TTT-Discover**：论文提到的一种“测试时强化学习”基线方法，它拿当前问题攒下的经验直接去更新模型参数，让模型真能“学到”点东西，而不是把历史记录一股脑塞进提示词。

这算是往前走了一步，可新麻烦也跟着来了。强化学习为了让模型更爱生成高分方案，通常用指数加权把高奖励轨迹的权重放大，公式里有个参数β，β越大，模型就越一根筋地往已经验证成功的方向钻。

好比公司考核只看当月业绩数字，奖金全砸给业绩最好的那几个人。短期看既公平又高效，可那些正在试新方向、这个月还没出成果但方向或许有前途的员工，拿不到资源只能放弃探索，转头去挤业绩明星已经跑通的那条道。不这么设计奖励，公司可能把资源浪费在没产出的方向上；一直这么设计，公司又会慢慢失去发现下一个增长点的能力。论文开篇提的核心问题正在这儿：怎么让AI既从任务反馈里学东西，又不至于太早放弃那些眼下看着不怎么样、却可能藏着惊喜的探索方向？

**给AI配个“好奇心模块”，ICWM究竟在学什么**

研究团队给出的答案是CURIO，一个把“内在好奇心世界模型”塞进强化学习循环的框架。

**ICWM（Intrinsic Curiosity World Model，内在好奇心世界模型）**：这是个小模型，专门预测AI自身隐藏状态的变化，预测得越不准，说明这地方越“意外”，也就越该给AI一点奖励，让它继续朝这个方向探。

有个地方容易混，得先讲明白：ICWM既不是预测这道数学题怎么解，也不是预测评估器会给多少分。它只盯着AI生成下一个token（词元）时，内部“思维状态”是怎么变的，再试着把这种变化预测出来。预测失准，说明这步“思维跳跃”超出了ICWM已学到的模式，这个token就能拿到一点额外奖励。

这有点像老师批改学生的解题过程，不看答案对错，只看这一步推导是不是她能预料到的套路。学生总按套路走，老师闭眼都能猜出下一步，这种“意料之中”没什么可奖励的；可学生忽然冒出一个老师没想到的思路，又怎么判断这步是瞎蒙还是真有灵感？论文老老实实承认了：预测误差大，只能说明这个转折对当前的预测器来说不好建模，既证明不了这步真有价值，也保证不了它会给任务带来实际提升。好奇心信号是帮探索的指南针，不是真理探测器。

论文还特意点明，这份“好奇心奖励”只在特定条件下生效：采样到的token得不在模型自己给出的“最可能候选”（即top-k）范围里，才会触发。也就是说，模型照着自己最熟的套路走，拿不到额外奖励；只有它挑了一条原本不太会选的路，才会被“表扬”一下。这个设计很要紧，因为每个token都算好奇心奖励的话，整个训练信号会被噪音淹没，模型会被推着去做大量没意义的随机尝试，而不是把精力放到真正值得探的分支点上。

**代价与收益：好奇心信号怎么跟任务奖励“拼”到一处**

只有好奇心不够，还得让它和任务本身的奖励信号配合着干活，别互相打架。

论文搭了一套细致的组合机制。任务奖励这头，用的是一种叫“leave-one-out”的采样任务系数（公式里写作A_i^task），说白了就是把一组候选方案的奖励做指数加权，再除以其他候选方案的平均权重，然后减1。这样一来，奖励信号对同一批候选方案是相对可比的，不会因为某批整体分数偏高或偏低而失真。

另外，论文还添了一个“token-local参照修正”项，用来管住模型，别让它偏离初始参考策略太远。这项修正是逐个token单独算的，不是把整句话的某个统计量硬塞给每一个词。

**epoch归一化**：好奇心奖励在每一轮训练（epoch）内部都会统一做均值和方差的标准化，这样它的数值范围才能跟任务奖励大致对上量级，不至于一个信号强到压过另一个。

**退火权重**：好奇心奖励前面乘的系数η，会随着训练轮数增加慢慢变小，朝一个预设的下限靠拢，让探索信号在训练后期自然“降温”。

这套退火设计，让我联想到公司里的新人培训：刚入职时老师傅会鼓励你多试错、多问“为什么不能这样做”，那会儿犯错成本低，探索也受鼓励；等你上手一段时间，培训强度自然降下来，重心转到按既定流程高效产出。好奇心信号要是始终高强度不退火，模型可能一直在“乱试”，沉淀不出稳定可靠的解法；可要是一开始就压掉探索空间，模型又容易早早卡在局部最优解里出不来。说到底，退火机制就是在时间维度上分配资源：早期多探索，后期多利用。

论文里还有个细节：好奇心奖励是“居中”的，既可能为正也可能为负，被选中的token未必总能拿到正向奖励。这跟“做得好才有奖励”的直觉不太一样。原因在于，好奇心信号衡量的是“意外程度”，不是“正确程度”，所以才需要这种双向波动的设计。

**六个数学难题和两组基因数据，CURIO跑出了什么成绩**

设计思路说了这么多，实际效果究竟如何？

测试覆盖了六个数学发现任务——Erdos最小重叠问题、三个自相关不等式AC1到AC3、26圆堆积问题、29阶Hadamard矩阵最大化行列式问题，外加单细胞RNA测序数据去噪任务。所用模型为阿里的Qwen3系列，规模从80亿参数到2350亿参数不等。

对照组是TTT-Discover，也就是前文提到只使用任务奖励、不带好奇心模块的那个方法。结果是：CURIO在五个数学目标上均胜过对照组；圆堆积问题上则与目前已知的最佳表现打平（约2.635983，这个几何常数已被研究很久）。Hadamard矩阵任务上，2350亿参数规模下相对提升18.3%；单细胞去噪的Tabula数据集上，80亿参数规模下Score指标相对提升10.8%。

不过，提升并非在所有情况下都一边倒。80亿参数规模的Tabula数据集上，另一个测试时强化学习基线ThetaEvolve在Score和MSE（均方误差）两项指标上反而略优于CURIO（0.7207对0.7165，0.1441对0.1485）。可见好奇心机制不是万能药，它改善的是整体趋势，而非每一个具体场景的绝对胜利。

论文还做了一件事：测量生成代码的“结构多样性”。数学思路有多新颖很难直接量化，所以研究团队改用OpenEvolve项目里现成的“岛屿多样性指标”，比较不同候选程序在字符长度、换行数、字符集合上的差异。结果显示，无论训练早期、中期、后期还是最终阶段，CURIO生成的代码结构多样性都高于TTT-Discover。

这个结果值得多想一层。代码长短不一、字符五花八门，并不等于解题思路就更聪明——两个学生交的作业格式差很多，答案却可能抄的是同一本参考书。论文自己也承认这一局限：代码多样性只是代理指标，既不能直接证明语义上的创新，也不能证明任务表现一定因此变好。但至少从一个侧面佐证了，好奇心机制确实在把模型推向更广阔的搜索空间，而不只是让它在狭窄的局部反复打磨。

**哪个部件真正起作用：三组消融实验告诉你的事**

新机制加进来，究竟哪部分在真正起作用？研究团队在140亿参数的Qwen3模型上做了三组消融实验。

第一组调整好奇心权重的初始值η?，测了0、0.3、0.5、0.8四档。结果没有万能的最优值：自相关任务（AC1-AC3）在0.3时最好，Erdos问题、Hadamard矩阵任务和单细胞去噪任务则在0.5时最好。权重加到0.8，部分任务上甚至不如完全不用好奇心的对照组。好奇心信号这东西，剂量不对会反伤。

第二组则改动 ICWM 内部的预测器架构：默认的三层 MLP（多层感知机）被换成 GRU（门控循环单元）和 Transformer。就整体表现而言，默认的 MLP 方案并不落下风，可究竟哪种架构更合适，得看具体任务，并不存在通吃的赢家。

第三组最耐人寻味，比较的是ICWM做预测时“输入表征”的来源。默认方案用正在训练的策略模型自身的隐藏状态，也就是随训练不断变化的那套内部表征；对照组换成两种“冻结”表征：一种来自训练开始前的初始模型，另一种来自完全独立的外部大模型。结果，和正在演化的策略模型耦合的表征在大多数任务上表现更好。

这个结果逻辑上说得通。好奇心该衡量的是“这个变化对当前正在学习的模型有多意外”；若拿固定不变的外部参照系去衡量，信号测的其实是另一个问题：“这步对一个从没学习过的旁观者有多意外”。两者不是一回事。好比资深外科医生复盘手术时的“意外感”，和刚入学的医学生看同一段手术录像的“意外感”，关注点完全不同——前者的意外往往意味着真正的临床变数，后者的意外可能只是知识储备不足。模型自己的表征在不断进化，用它自己的“认知水平”衡量意外，比用静态外部标尺更贴合“探索”本身的意义。

**这套方法到底解决了什么，又留下了什么没解决**

回到最初的问题：怎样让AI从任务反馈中学习的同时，还保留对未知方向的探索欲？

CURIO的答案，本质上是给强化学习加一层“预测误差驱动”的补充信号，让模型在追逐高分的同时，不完全丢掉那些“看起来陌生”的路径。这个思路并非凭空出现：它借用了2017年Pathak等人提出的“自监督预测驱动好奇心”经典框架，只是把应用场景搬到了大语言模型做开放式科学发现这个新战场。

论文在严谨性上很下功夫，几乎每个公式背后都附了大量“这不是什么”的澄清：好奇心奖励不是无偏的内在优势估计，预测误差不等同于语义新颖性，代码多样性不等同于思路创新。这种近乎挑剔的自我审视在学术写作里挺少见，也说明作者团队对这类探索性方法的边界有清醒认知。

**写在后面**

论文读下来，最让人意外的是作者对"意外"本身有多小心。强化学习探索方向的不少论文会直接说自己的方法能带来"更智能的探索"，这篇却一再提醒，预测误差大不代表有价值，代码结构多样也不等于思路创新。这种克制反倒让人更愿意相信这个方法。

另一个细节值得停一下：好奇心奖励的最佳权重，在不同任务上差得不小。自相关不等式类任务偏0.3，数学构造和生物信息类任务偏0.5。也就是说，"好奇心"本身就是看任务吃饭的，没有一个放之四海而皆准的探索强度。这跟直觉有点拧着来，平时聊AI的探索能力，总默认存在某个通用的"探索系数"，可真实情况也许是，不同的问题空间需要节奏完全不同的好奇心。

这让人想到人做科研的样子。有的领域要你在已知边界上小心地一点点微调，像AC系列任务那样偏好低好奇心权重；有的领域反倒要你大胆跳出框架重想问题，像数学构造任务那样偏好更高的好奇心权重。或许这不是AI才有的现象，任何探索性的认知活动都绕不开这条规律。

没解决的问题也很清楚：好奇心信号眼下完全建在模型自身隐藏状态的预测误差上，可谁又能保证这个误差真的抓到了"有价值的未知"，而不是纯粹的噪音？换一种表征方式，比如把执行结果的语义反馈也接进来，好奇心信号会不会更准？这大概是留给后来者的一个有意思的坑。

Q&A

Q1：CURIO是什么？

A：CURIO是面向AI开放式发现任务的一个测试时学习框架。它在强化学习循环里塞进了内在好奇心世界模型（ICWM），靠预测误差给AI额外的探索奖励，让模型在追高分解法的同时，也肯去碰那些不那么确定、但可能藏着潜力的新方向。

Q2：ICWM的好奇心奖励会不会让AI乱试一通、白费资源？

A：不会。好奇心奖励只在采样到的词元超出模型自己最可能的候选范围（top-k）之外时才触发；奖励数值每轮训练内都会做归一化，权重还随训练进程逐步调低，免得探索信号一直过强，干扰正常学习。

Q3：CURIO在实际任务里效果如何？

A：在六个数学发现任务和两个单细胞去噪数据集上，CURIO相比只给任务奖励的对照组，在五个数学目标上都有提升，Hadamard矩阵任务最多提升18.3%，去噪Score指标最多提升10.8%。不过它并非所有场景都占优，部分指标上仍有基线方法表现更好。