SPU基准发布：AI预测湿实验，算力翻5倍也难及格

现在的基准测试，玩法已经变成这样了？

不再靠刷题。直接给AI一组实验条件，让它自己做研究，提前猜真实湿实验会出什么结果。

同一个反应换几种条件，哪一种能拿到更多目标产物？一批抗体变体里，哪个表达量更高？

答案先藏起来。等AI交卷，再拿实测结果对一对。

说实话，这事现在真值得测一测。

这两年AI for Science越扎越深。AI已经能自己查文献、调用软件，为完成一项分析任务连续干上几小时也没问题。

于是大家自然开始琢磨下一个阶段：我们到底想让AI具备什么样的科研能力？

湿实验结果预测，就是其中很有实际价值的一项。

要做好它，AI得先理解实验目标，再从已有知识里挖出相关机制，这样才能帮研究人员筛出值得继续追的方向。

UniPat AI牵头推出的新基准Science Prediction Universe（简称SPU），正好盯上了这一点。

116个任务，4207个湿实验，横跨化学、材料科学、生物和医学。基准顾问和湿实验合作成员来自斯坦福、康奈尔、哈佛等高校，也有业内前沿科研机构和生物技术公司的身影。

模型按每次工作8小时制运行，配一块H20，自己决定怎么用检索和计算资源来形成实验预测。

结果出乎所有人意料。

就算强如Opus 5.5、GPT-6 Astra，数据上离真正实现预测还差得很远。。。

△各配置在全部已评分任务上的平均得分

不得不说，SPU给所有科研模型都上了一道硬菜。

从前那些看不见摸不着的科研能力，如今变成了可以统一评估、持续研究的数值。

AI的科研判断该怎么一步步养成，也就有了更具体的讨论依据。

湿实验预测：值得单独为模型考一次

回到湿实验预测，这确实不是一道新题。

科学史上有过很多这样的时刻：一个判断在实验之前给出，然后交给过程去裁决，对了就留下，错了就推翻。

具体的判断逻辑，构成了科学家的品味。

品味够好、直觉够准，科学家就能更快拿到大结果，同时省下宝贵的实验资源。

光做一次湿实验就不省事：化学方向要先配试剂、定好反应条件，再把产物分离出来；生物方向还得等蛋白表达，耗时很长。时间和工具花销本来就高，一旦结果不理想，又得一轮轮反复做。

因此，真正动手做实验之前先做预判，是整个科研流程里价值最高的一环。

差别只在于，从前这一步全凭科学家自己，如今到了AI时代，模型同样得具备这种本事，还得有一份能给它打分的卷子。

现有基准覆盖得并不完整。BrainBench让模型直接判断实验结果；ScienceAgentBench偏重在已有数据上做分析；Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准，主要靠预设测试来检查任务产物。

和它们相比，SPU走的是另一条路。

它更看重把AI自主研究的过程和湿实验结果预测合到一块儿考，既看预测效果，也考科学工具的使用和长程任务的执行能力。

△图表由AI生成

SPU把这种判断组织成了明确的任务。

100个公开任务分别取自85篇近期发表的论文。领域专家从这些研究里整理出候选项、材料、条件与测量方式，并把完整的定量结果保留下来作为评分依据。

另有16个私有任务，来自四组尚未发表的合作湿实验，涵盖VHH纳米抗体、反应条件、电解液和Magrolimab变体。

加起来一共32个子领域、4207个实验。公开研究提供了跨学科的任务来源，实测结果对模型隐藏；未发表的实验则多了一道独立于公开论文答案的检验。

这样一来，模型提前见过题目的情况能在一定程度上被避开。

△SPU的任务覆盖与来源

题目的筛选同样有讲究。

专家会优先挑测量完整、条件清楚的研究。那些顺着单一趋势就能排好序的简单问题，直接被剔除；数值挨得太近的问题，也被认为参考意义不大。

最后能留下来的题，难度更高，区分度也更强。

具体到预测环节，模型每次运行八小时，配8核CPU、16 GiB内存和一块H20，期间可以联网检索，也能安装科研软件。

这段时间里，模型要自己搜集证据、挑选计算方法，最终提交各比较组从低到高的预测排序。

评分全程放在独立、断网的容器里进行，防止记忆污染：禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。

最后，系统用Spearman相关系数把预测排序和实测排序对照起来。

系数越接近1，说明排序越贴近实验结果。

△SPU的评测流程

还有一点挺有意思：不少基准测试没考虑到的细节，SPU也盯上了。

比如最终得分，SPU会追问一句——这会不会只是运气？万一纯属瞎猫碰上死耗子呢。

于是每道题它都会额外生成4000份随机排序，取第95百分位当作随机水平阈值，再看模型提交的结果有没有明显越过这条线。不同任务，也各自有对应的参照依据。

从设计上看，这套SPU走得是严谨的科研路子。

模型得在SPU里自行判断哪些步骤值得计算，一步步推进，最后交出预测结果。

这样的安排，一方面能衡量眼下AI做湿实验预测的水平，另一方面也给后续团队留了一把统一的尺子，方便持续改进实验。

道理讲完了，还是来看看首批前沿模型交出的答卷。里面不少细节，单拎出来都够聊一阵。

新测试一出，前沿模型集体破防

SPU首轮系统评测涉及12款前沿模型、13种配置。配置包括模型本身、推理强度，还有所用的模型框架。

整体成绩先摆出来。

一句话概括：都不太行。

已评分的全部任务里，平均分最高的是Claude Opus 5.5，为0.486分。可它也只有一半任务越过了随机水平。

13个配置基本都这模样，超过随机水平阈值的任务占比只有34％～52％。

换句话说，在场这些模型，离真正可靠的湿实验预测都还差得远。

△领先组与落后组的行为对比分析

模型和模型之间也有差距，平均表现分成两个梯队：

领先组有6个模型，落后组有7个。

同一道题上比，领先组平均仍比其余七个高出约0.15分。

还有个细节：领先组约9％的任务得分为负，其余七个配置的负分任务比例能到22％。

这里的0，指的是随机有效排序的平均分；得负分，说明预测和实际排序是负相关。

那差距到底出在哪儿？研究团队又往下挖了一层。

他们先把同题里其他模型的预测汇总成一份参考排序，再把实验两两配对，对照实测结果，逐个检查每个模型排得对不对。

参考排序正确的实验对上，领先组能排对86％，其余七个配置是78％；参考排序错误的实验对，两组独立排对的比例都在30％上下。

可见领先组的一部分优势，正落在大家共同预测正确的地方——这些地方，领先组总是更稳。

模型为什么会跑偏？运行记录里藏着更细的线索。

拿溶液任务来说，同一个聚合反应依次换12种溶剂，要求按最后分离出的聚合物质量排序。

Opus 5.5拿到0.874分，Qwen3.8是-0.126。12个候选溶剂条件两两配对共66对，前者排对56对，后者排对30对。

△同一项任务上，Opus与Qwen各跑了一次

分析下来，两者从开头盯住的因素就不一样：Qwen3.8排序时主要看溶剂能溶解多少乙烯，Opus 5.5则更在意原料的混溶情况、催化剂在溶剂里是否相容。

计算过程中Qwen3.8其实也察觉到了这个问题，可它最终没能改掉模型最后选用的排序依据。照此看，预测最容易出错的环节就落在挑判断依据那一步——模型得学会顺着线索随时调整排序方式，这些发现才能真正左右答案。

分开看，差异还会随学科和任务而变。公开任务各学科的已评分结果里，化学平均分最高的是Opus 5.5，材料科学归Fable 5.1，生物学是GPT-6 Astra Medium，医学则是Opus 5。

P.S. Fable 5.1、Opus 5.5存在拒答现象。

△四个学科上各模型的得分

因此，若打算让AI参与某类研究，可以先找一个相关任务用SPU测一测，确认模型确实合用，再开展正式实验。

私有任务的结果把这点说得更直白。13个配置里有12个的平均分明显高于随机排序，配置彼此之间没检出显著差异。反倒是不同任务带来的起伏最扎眼。

同一批电解液，预测离子电导率时13个配置的排序相关系数挤在0.89～0.95；换到电化学窗口，12个拿到评分的配置得分落在-0.55～0.07，都没越过随机水平的门槛。模型没换，测量目标一变，成绩分布就跟着变了样。

所以下回评价一个模型，光说它擅长化学并不够具体，还得看它面对的是哪种测量目标、哪些实验条件。

△16个私有任务上各模型的预测表现

再说一件挺反直觉的事：按理说多给模型些时间、把推理强度调高，成绩总该继续涨吧？

大家平时都这么想，也这么做。结果SPU一跑，结论直接反过来了——

同样运算8小时，研究团队把GPT-6 Astra从中等推理强度提到最高，最高强度下运行时间中位数涨到4.8倍，API成本中位数也涨到5.3倍。

可预测得分几乎没动。嗯？研究团队还专门回头查了模型的运行记录。

一查才发现，在完成的79个任务上，GPT-6 Astra最高推理强度通常跑到中位26％时就已给出答案。

模型后面还在接着算、接着改，可动作幅度都很小，结果上看不出什么区别。换句话说，推理强度堆得再高，也未必换来更好的成绩。

△两种推理强度下GPT-6 Astra的投入与表现

这个现象其实给资源分配提了个醒：要追加计算，别一股脑往上冲，耗时费力还未必落好。反过来，可以顺着运行记录细看，先弄清楚新加的证据对应的是哪一步判断，再有针对性地把算力补到局部。

工具使用上也出现了差不多的情况。

GPT-6 Astra Max每次运行用到的方法类别中位数是4类，Medium只有1类，可两种配置的得分依旧没检出显著差异。原因也类似——好工具没用在刀刃上。

拿蒙特卡洛采样来说，模型大部分时间都在调它，可它只是给最后的排序加了个误差范围，对结果本身没有直接影响。

△科学计算工具的调用情况

所以说，工具用得多，不如用得准。

GPU这边也能看出点有意思的东西。

即便给足了GPU算力，真正成功跑起GPU计算的只有255次，连五分之一都不到。

模型不同、学科不同，GPU跑起来的情况也不一样，光看调用GPU的次数，很难说明模型的科研能力。

要判断算力到底帮没帮上忙，得看它算的是什么、算出来的结果对预测有没有用，以及这些结果怎么影响最终排序。

说到底，还是要把算力引到和排序相关的物理量上，模型才能把预测做得更准。

△GPU使用统计

把成本摆在一起看，各配置每次运行的平均API成本从0.22美元到65.91美元不等，相差足足300倍。

这意味着SPU把预测表现和调用成本一并摆了出来，对打算部署科研模型的团队来说，是一份不错的参考。

从整体得分到同一道题的轨迹，SPU把模型之间的差异拆到了科研判断的每个细节里——算力也好，成本也好。

AI算出的数值对预测帮助有多大？预测错了，又该回头检查哪些判断？这些问题都能结合实验结果和运行记录接着往下分析。

下一轮改进，方向也就清楚了：

借助SPU，模型能更早发现错误的假设，更有依据地保留或调整排序。改完之后再放回同一批任务，看预测是不是更准了。

把“检验理解”搬进模型的考场

SPU跟AI4S的发展路子，其实是对得上的。

今年陆续冒出来的一批基准，已经把AI4S的评测往真实实验环节推，盯的就是实验执行。

执行之外，预测同样躲不开，也是科研流程里最难量化的一环，现在总算有了能衡量的办法。

好处有两层。

研究者能借它看清：哪些测量目标更好预测，哪些任务差异最大，一次判断失误又是怎么形成的。昂贵的实验资源能省下来，决策时间也能缩短。

对做模型的人来说，这也给出了更具体的改进参照。

实验类型越铺越多，评测就能回答更细的问题：碰上哪些材料、实验条件和测量方式，AI给出的排序更靠谱、更值得参考。

科学家也就能围着同一类问题，一点点攒出进展。

其实SPU只是UniPat AI那一串真实工作评测里露出来的一角。

• ScienceVision：看模型怎么从三维科学对象里找证据、再作答；
• PaperBenchX：把已经发表的研究改造成能跑、能验的论文复现任务；
• SaaS-Bench和EvoCode-Bench：一个盯实际软件流程，一个盯需求不断变化时的开发工作……

这些工作横跨科研、办公和软件开发，共同的关切是AI进了具体工作场景后怎么把活干完，结果又怎么验。

从侧面也能看出，AI怎么走进科研实践、乃至走进真实世界，UniPat AI有自己的行业认知和前瞻判断。

UniPat AI还摆出了一种新的AI合作方式。

领域专家管任务筛选和审核，合作实验室拿出未发表的任务，项目团队再把不同学科的实验编成统一的评测任务。

以SPU为例，UniPat AI是该项目的牵头方；顾问团队所在机构涵盖斯坦福、康奈尔、哈佛、UIC、北大、港科大以及FutureHouse。优睿赛思、爱博泰克、深度原理和恩和生物负责湿实验的合作人员也投入了相应实验。

跨学科知识和实验资源就这样被装进同一套评测流程。SPU既装着对问题的挑选，也显出把科研问题组织成可执行任务所需的协作。

眼下SPU相关的100个公开任务，计划以完整的Harbor任务包形式发布；16个私有任务继续保密，用于受控评测。数据集和代码都已开源。

当然，今天的AI在这套SPU机制面前，还只是个新手。

工具用得飞快，8小时里装三套软件、跑完DFT再做蒙特卡洛都不在话下；可到了最关键的判断上，它还不会问自己一句：我算的这个量，是不是实验真正要测的那个量。

不过这类任务不断攒下去，AI到底能扛起什么样的科研工作，也会慢慢清楚。

SPU把这段距离量了出来。往后每考一次，都是AI往真实实验台靠近一步的记录。