SHELDON：当AI做科学研究时，它该先找证据还是先猜答案？

2026年，一个叫SHELDON的AI系统做出了一个让人意外的发现。

在一个

但这篇论文真正有意思的地方，不是这一个高分，而是它背后的一个更朴素的追问：**AI做研究时，到底应该怎么分配注意力，是该死磕眼前的假设，还是该主动去找那些自己还没见过的证据？**

这个问题听起来有点绕，别急，我们慢慢拆开讲。

### 现在的AI研究助手，都在犯一个什么错？

你可能用过

这种模式有个问题。

想象你在修一辆老爷车，发动机有异响。你打开引擎盖，听了听，觉得可能是皮带松了，于是开始检查皮带、调整皮带、再听一听。如果还是有异响，你可能会继续在皮带这个方向上打转,换一根新皮带、调整张力、再换一个型号。你所有的检查动作，都是围绕着"皮带"这个已经提出的猜测展开的。

但如果异响其实来自别的地方，比如某个你压根没想过去检查的部位呢？你永远不会发现，因为你所有的"观察"行为，都是被你已有的猜测所引导的。

这就是论文里指出的核心问题。现有的AI研究系统，不管是进化算法类的（比如

**证据收集被假设牢牢锁住了，这意味着AI永远只能在已知的圈子里打转，很难撞见那些能彻底颠覆现有理解的新发现。**

这不是说这些方法没用，它们确实能把一个方向越做越细。但问题是,如果所有候选方案都共享同一个隐藏的错误假设，比如都默认异响来自传动系统而不是悬挂系统，那么不管你在传动系统里挑得多仔细，都找不到真正的答案。

### 灵感来自一个70年前的心理学理论

研究团队没有凭空发明一个新框架，而是回到了一个认知科学里的经典理论:科学家大卫·克拉尔（David Klahr）和凯文·邓巴（Kevin Dunbar）在1988年提出的"

这个理论的核心观察很简单:人类做科学发现时，脑子里其实同时在维护两个空间。一个是**

SHELDON（全称是"通过定向观察与导航进行系统性假设探索与学习"）就是把这个70年前的认知科学洞察，做成了一个真正能跑的AI系统架构。

它把假设空间和观察空间分开来显式建模，让两者各自演化，又彼此牵引。假设空间负责"深挖"，保留那些有潜力的解释，不断打磨；观察空间负责"探路"，专门去寻找那些现有假设都解释不了的奇怪现象。

**当AI发现了一个自己所有假设都无法解释的观察结果，这个"解释不了"本身就成了推动它去提出全新假设的信号，而不是简单地在原有假设上修修补补。**

这就好比一个侦探在查案，如果他只盯着嫌疑人甲的不在场证明反复核实,不断细化、反复追问细节,那他永远不会想到可能还有嫌疑人乙的存在。但如果侦探同时保留一份"未解释线索清单"，一旦发现某条线索用现有的嫌疑人理论都说不通，这张清单本身就会逼着他去想:会不会我漏掉了什么人？如果没有这张清单，那些看似无关紧要的反常线索很可能会被直接忽略，因为它们不服务于任何一个已有的假设。

### 怎么把这个理论落地成一套能跑的系统

光有理念还不够，得有具体的工作流程。SHELDON的运作方式，是一个不断循环的四步过程。

第一步是**探索（EXPLORE）**。系统会检查现有的案例材料和工具，然后用"

轴*：指的是候选方案可能存在差异的某个维度，比如解释问题的不同方法流派、不同的基础假设等等。区域*：则是这个维度下具体的某个选项或者某一段范围。

举个例子，在医疗诊断任务里，一个轴可能是"病因类别"，这个轴下面会有"感染性"、"自身免疫性"、"肿瘤性"等不同区域。通过这种结构化的地图，系统能清楚地知道哪些区域已经探索过了，哪些还是空白，从而有意识地往没去过的地方多看一眼。

第二步是**候选分析（CANDIDATEANALYSIS）**，针对每一个被选中的假设单独做深入调查，寻找支持和反对它的证据，摸清它在什么条件下成立、什么条件下失败。

第三步是**比较分析（COMPARATIVEANALYSIS）**，这一步很关键，它不是逐个看假设，而是把当前所有在考虑的假设放在一起，专门去找那种能把它们区分开的证据。比如两个假设对同一个问题给出了不同的预测，那就去验证到底发生了哪一种。

第四步是**利用（EXPLOIT）**，根据收集到的所有证据，决定每个假设是保留、修正、修复还是先搁置一边。

被搁置的假设不会被直接删除，而是进入一个"

这个设计也很有意思。

想象你在做一个创业项目的头脑风暴，前三个方案都被否决了，团队把它们写在白板的角落里，没有擦掉。两周后主方案卡住了，有人翻回去看那些被否决的方案，发现其中一个的某个局部想法，其实可以和现在的主方案拼在一起，形成一个全新的思路。**如果当初直接把否决的方案擦掉，这个拼接的机会就永远不存在了。**

这套循环会持续进行，直到预算耗尽、达到最大轮数（实验里设为8轮），或者投资回报开始见底，也就是某一轮既没产生新假设，也没产生新观察，没有新的调查方向。

### 证据关系：不只是"支持"或"反对"那么简单

SHELDON在处理观察和假设之间的关系时，借用了自然语言处理里的一个经典思路。

自然语言推理（NLI）

SHELDON把每一条观察和每一个假设之间的关系，标记为四种状态之一：支持、反驳、中立、或者尚未判定。这个标注不是严格的文本逻辑推理,比如一条观察可能支持某个诊断假设，或者揭示了某个候选设计的失败模式，或者说明了某个实现方案在什么条件下才能成功。

这里还有一个很细致的设计，叫做"临时性"标记。

论文作者观察到，大语言模型偶尔会判断失误,可能是做了错误假设、代码写错了、或者问题本身有歧义。所以当一条新观察第一次出现时，它会被标记为"临时的"（provisional），只有当这条观察被再次独立验证后，才能被用来真正反驳一个假设。

这就像法庭上的证人证词。一个新证人第一次出庭作证，法官不会立刻把这份证词当成能推翻被告无罪推定的铁证，而是先记录下来，等有其他证据或者证人交叉印证之后，才会真正采信。**如果不设这道门槛，一次偶然的错误观察就可能把一个本来正确的假设误杀，而这个代价在科学发现里是很难挽回的。**

### 跑分结果:十个任务，全面领先

SHELDON在十个不同的任务上做了测试，涵盖了有明确打分标准和没有打分标准两种情况。

没有打分函数的任务更考验系统本身的判断力，因为AI得自己去判断一个候选方案到底靠不靠谱。论文用了三个这类基准：

在这几个任务上，SHELDON的表现是这样的：DiagnosisArena上拿到84分，比表现最好的基线RLM的78分高出6个百分点；ORCA-Bench上拿到66.67分，而最强基线只有40分，差距拉到了26.67个百分点；ARC-AGI-2上拿到59.17分，比表现最好的EvoX方法高出11.67个百分点。

**在ORCA-Bench这类需要从海量系统日志里揪出真正根因的任务上，26.67个百分点的差距意味着什么？意味着每解决10个故障，SHELDON能比最好的对手多解决差不多2到3个。**

另一组有明确打分函数的任务，包括系统性能优化（ADRS系列）和分子药物设计（

### 拆掉某个零件，看看会怎样

研究团队做了

结果显示，拿掉观察空间之后，DiagnosisArena的得分下降了14个百分点，ORCA-Bench下降了13.34个百分点，这是所有被测试组件里掉分最厉害的两项。拿掉比较分析环节，各任务也普遍下降6到10个百分点。拿掉"持续探索"（也就是第二轮之后只允许系统打磨已有假设，不许提出全新方向），在ORCA-Bench和量子电路任务上分别下降了13.34和26.7个百分点。

这组数据说明的事情很直白:观察空间不是锦上添花的装饰，它是真正在干活的那个部分。

### 新假设到底是从哪儿冒出来的

论文里有一个特别值得细看的数据。在ORCA-Bench的30个故障排查任务里，研究团队统计了SHELDON总共发现了77个真实根因里的59个，覆盖率76.6%，而对照组GoS系统只找到了36个，覆盖率46.8%。

但更有意思的是来源分布:这59个被发现的根因里，40个是通过"探索"这个环节，也就是提出全新方向发现的，剩下19个，是通过不断打磨已有假设，在后续测试中逐渐浮现出来的。

**探索贡献了大头，但打磨旧假设同样功不可没。这说明真正有效的发现，并不是非此即彼的选择题，而是两种策略交替发力的结果。**

这让我想到写论文或者做产品设计的经验。有时候一个绝妙的点子是灵光一闪冒出来的，但更多时候，一个平庸的初始想法，是在不断被现实数据打脸、不断修正的过程中，慢慢变成了真正好用的方案。SHELDON的架构其实是在用工程化的方式，把这两种创造力的来源都保留下来，而不是只押注其中一种。

论文还有一张案例图，展示了ARC-AGI-2一个具体任务上SHELDON是怎么一步步走到正确答案的。第一轮它提出了两个假设,一个关于形状复制方向、一个关于镜像对称，结果前者被反驳，后者被优化调整。在观察过程中，系统注意到"把连通形状做镜像反射，对第一个演示样例有帮助，但对第二个演示样例起反作用"，这条观察没有直接导向任何已有假设的修正，而是在第三轮催生了一个全新的假设，关于某种线条反射规则。最终，经过几轮迭代，系统把两个独立发展出来的假设拼接在了一起，得到了能完美复现所有演示样例的最终答案。

### 探索得更广，不代表每次都能找到对的答案

论文还做了一项很细致的分析，衡量SHELDON到底探索得有多"广"。研究团队借鉴了一个叫

结果显示，在六个系统优化任务里，SHELDON在五个任务上的探索覆盖面积，是最强基线的1.4到20.9倍不等。在QNN电路设计任务上更夸张，覆盖面积是对手的20.9倍。

但这里有个很诚实的细节,研究团队也承认，探索得广并不直接等于分数高。他们专门检验了，在没有打分函数的任务上，假设区域的数量或者独特想法的数量，和最终任务得分之间并没有统计显著的相关性，唯一和得分相关的，是ORCA-Bench上"被反驳的观察占比"这一个指标，而且是负相关，说明那些特别难啃的故障，往往伴随着大量被推翻的猜测。

这个发现其实挺重要的，它提醒我们不要迷信"探索越广越好"这种简单叙事。**广度本身不是目的，广度加上有效的证据甄别机制，才是真正起作用的组合。**这也呼应了消融实验里的结论:单独拿掉观察空间或者比较分析，哪怕探索机制还在，表现依然会大幅下降。

### 一个没有种子程序也能跑的系统

论文还测试了一个很实际的场景:很多系统优化基准会提供一份"种子程序"，也就是一个能跑但性能一般的初始版本，供AI在此基础上改进。但如果完全不给这份初始代码，SHELDON能走多远？

结果出人意料。在

这说明SHELDON本身的生成和迭代能力，并不严重依赖一个现成的起点,它完全可以从零开始，通过不断提出假设、测试、修正来摸索出一套有效方案。当然，在某些任务上，一份好的初始代码仍然能带来额外的加成，这也是老实的研究结论，不是所有场景都能靠系统自身的探索力完全弥补起点信息的缺失。

### Q&A

Q1：SHELDON是什么？

A：SHELDON是斯坦福大学团队提出的一套科学推理系统，它的核心创新是把"假设空间"和"观察空间"分开建模并同时探索，让AI在验证现有假设的同时，也主动寻找现有假设无法解释的新证据，从而发现更多样化的解决方案。

Q2：SHELDON相比普通AI编程助手（比如Codex）好在哪？

A：普通编程助手倾向于围绕已有方案做局部优化，容易陷入"只在熟悉的圈子里打转"。SHELDON额外维护了一个独立的观察空间，专门去找现有假设解释不了的异常现象，这些异常会主动催生全新的假设方向，而不只是修修补补。

Q3：SHELDON在哪些任务上表现突出？

A：在医疗诊断、系统故障根因分析、抽象推理、量子电路设计、分子药物优化、系统性能调优等十个任务上都有测试。其中在量子神经网络电路设计任务上拿到满分1.00，超过人类专家设计的参考方案（0.917）；在ORCA-Bench故障诊断任务上比最强基线高出26.67个百分点。