UniPat AI发布SPU基准：116个任务测AI湿实验预测，Opus 5.5也差得远

不ber，现在的基准测试都进化到这种程度了？这回不刷题，直接把一组实验条件丢给AI，让它自己研究、提前猜真实湿实验会是什么结果……

举个例子，同一个反应换几种条件，哪一种能得到更多目标产物？一批抗体变体里，哪个表达量更高？答案先藏起来，等AI交卷，再拿实测结果对一对。

你还别说，这事现在真值得测一测。这两年AI for Science的路子越走越深，AI已经能自己查文献、调软件，为完成一项分析任务连着干上几小时也不在话下。

于是大家自然而然开始琢磨下一个阶段：我们到底希望AI具备怎样的科研能力？湿实验结果预测，就是其中颇有实际价值的一项。

它要求AI先理解实验目标，再从已有知识里挖出相关机制，这样才能更好地帮研究人员筛出值得进一步探索的方向。

UniPat AI牵头推出的新基准Science Prediction Universe（简称SPU），便敏锐地察觉到了这一点。

这项评测覆盖116个任务与4207个湿实验，涉及化学、材料科学、生物、医学等领域；基准顾问和参与湿实验的协作人员，则来自斯坦福、康奈尔、哈佛等高校，还有业界前沿科研机构与生物技术公司。

模型按每次工作8小时制运行，配一块H20，然后自主决定怎么利用检索与计算资源，形成实验预测。

结果出乎所有人意料。就算强如Opus 5.5、GPT-6 Astra，数据上离真正能实现预测都还很遥远。。。

△各配置在全部已评分任务上的平均得分

不得不说，SPU这是给所有科研模型都上了一道硬菜。从前那些看不见摸不着的科研能力，如今都变成了可以统一评估、持续研究的数值。

至于AI的科研判断怎样一步步养成，也就有了更为具体的讨论依据。

湿实验预测：值得单独为模型考一次

回到湿实验预测上，首先这的确不是一道新题。科学史上有过很多这样的时刻：一个判断在实验之前被给出，然后交给过程去裁决，对了就留下，错了就推翻。

具体的判断逻辑，就构成了科学家的品味。品味够好、直觉够准，科学家就能更快拿到大结果，同时省下宝贵的实验资源。

毕竟湿实验只要做上一回，化学方向得配试剂、定反应条件，再把产物分离出来；生物方向同样要熬过漫长的蛋白表达……工具费用与时间成本摆在那里，本身就不便宜，一旦结果不如意，还得一轮接一轮地重做。

因此，真正动手做实验之前先做预测，这一步在科研流程里价值最高。

差别只在于，以往全靠科学家自己判断，如今到了AI时代，模型也得具备这种本事，还得有一张专门给它打分的卷子。

现有基准覆盖得并不全。BrainBench让模型直接判断实验结果；ScienceAgentBench偏向在现成数据上做分析；Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准，主要靠预设测试来检查任务产物。

相比之下SPU走的是另一条路：它把AI自主研究的过程和湿实验结果预测捆在一起考，预测准不准要看，科学工具用得怎么样、长程任务能不能跑下来，同样算在里头。

△图表由AI生成

这种判断，SPU把它拆成了明确的任务。

100个公开任务分别取自85篇近期发表的论文。领域专家从这些研究里整理出候选项、材料、条件与测量方式，并保留完整的定量结果作为评分依据。

另有16个私有任务，来自四组未发表的合作湿实验，覆盖VHH纳米抗体、反应条件、电解液和Magrolimab变体。

加起来共32个子领域、4207个实验。公开研究提供了跨学科的任务来源，实测结果对模型隐藏；未发表实验则多了一层独立于公开论文答案的检验，一定程度上能避免模型提前见过题目。

△SPU的任务覆盖与来源

出题时的筛选同样有一套讲究。

专家会优先挑测量完整、条件清楚的研究；沿着单一趋势就能排好序的简单问题直接剔除，数值过于接近的题目也被认为参考意义不大。最后留下的题，难度和区分度都更高。

具体到预测环节，模型每次运行八小时，配8核CPU、16 GiB内存和一块H20，期间可以联网检索、安装科研软件。它要在这段时间里自己搜集证据、选定计算方法，最终提交各比较组从低到高的预测排序。

评分则全程在独立、断网的容器里进行，以防记忆污染：禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。

系统最后用Spearman相关系数对照预测与实测排序，系数越接近1，说明排序越贴近实验结果。

△SPU的评测流程

有意思的是，SPU还盯上了不少基准测试没考虑到的细节。

比如最终得分，SPU会追问一句：这会不会只是运气？

于是每道题它都额外生成4000份随机排序，取第95百分位作为随机水平阈值，看模型提交的结果是否明显超过这一参照。不同任务也各有对应的参照依据。

从整体来看，这套SPU的架构设计相当讲究。

模型得在框架内自行判断哪些步骤值得计算，一步一步推进，最后给出预测结果。

这样的安排，一方面能用来衡量当下AI做湿实验预测的水平，另一方面也给后续团队提供了统一指标，方便他们持续改进实验。

话不多说，先来看看首批前沿模型交出的答卷。里面的细节不少，值得单独拿出来说说。

新测试之下，前沿模型集体翻车

SPU首轮系统评测涉及12款前沿模型、13种配置。所谓配置，指的是模型本身、推理强度，以及所用的模型框架。

整体成绩先摆一摆。

一句话概括：都不太行。

所有已评分任务里，平均分排第一的是Claude Opus 5.5，0.486分。可它也只有一半的任务越过了随机水平。

13种配置基本都这情况，能超过随机水平阈值的任务占比只有34％～52％。

换句话说，眼下这些模型离真正靠谱的湿实验预测，路还长着呢。

△领先组与落后组的行为对比分析

不过模型和模型之间还是有差距，平均表现能分成两档：

领先组有6个模型，落后组有7个。

同一道题上比，领先组平均比另外七个配置高出约0.15分。

还有个细节：领先组里约9％的任务得分为负，其余七个配置这一比例最高能到22％。

这里的0，指的是随机有效排序的平均分；负分说明预测和实际排序是负相关。

那差距到底出在哪儿？研究团队又往下挖了一层。

他们先把同题中其它模型的预测汇总成一份参考排序，再把实验两两配对，对照实测结果，逐个检查每个模型有没有排对。

在参考排序正确的实验对上，领先组能排对86％，其余七个配置是78％；至于参考排序错误的实验对，两组各自排对的比例都在30％上下。

可见领先组的一部分优势，正好落在大家共同预测正确的地方，这些地方领先组始终更稳。

模型为什么会跑偏，运行记录里能找到更具体的线索。

拿溶液任务来说，同一个聚合反应依次换12种溶剂，要求按最终分离出的聚合物质量排序。

Opus 5.5拿到0.874分，Qwen3.8是-0.126。12个候选溶剂条件两两配对共66对，前者排对56对，后者排对30对。

同一道任务，Opus和Qwen各跑了一次。分析下来，原因在于两者打一开始盯的因素就不一样：

Qwen3.8排序时主要看溶剂能溶解多少乙烯，Opus 5.5则更在意原料的混溶情况，以及催化剂在溶剂里是否相容。

计算过程中，Qwen3.8其实也察觉到了这个问题，可它最终没能让模型采用的排序依据跟着变。

换句话说，预测翻车最可能出在选择判断依据那一步。模型得学会顺着线索随时调整排序方式，这些发现才能真正落到答案上。

拆开来看，差异还会随具体学科和任务而变。

公开任务各学科的已评分结果里，化学平均分最高归Opus 5.5，材料科学是Fable 5.1，生物学是GPT-6 Astra Medium，医学则是Opus 5。

P.S. Fable 5.1、Opus 5.5存在拒答现象。

△各模型在四个学科上的得分

所以要让AI参与某类研究，不妨先找个相关任务，用SPU测一测，确认模型真适用，再动手做正式实验。

私有任务的结果把这点讲得更具体。13个配置里，有12个的平均分明显高于随机排序，配置之间没检出明显差异。相比之下，不同任务带来的变化格外扎眼。

同一批电解液，预测离子电导率时，13个配置的排序相关系数集中在0.89～0.95；换成电化学窗口，12个拿到评分的配置落在-0.55～0.07，全都没超过随机水平阈值。

模型没换，测量目标一变，成绩分布就明显变了样。

所以下次评价一个模型，光说它擅长化学还不够具体，还得看它面对的是哪种测量目标、哪些实验条件。

△各模型在16个私有任务上的预测表现

再说一件挺反直觉的事：按常理，多给模型些时间、把推理强度调高，成绩总该继续往上走吧？

大家普遍这么想，也普遍这么做。

结果SPU一出，直接打脸——

同样跑8小时，研究团队把GPT-6 Astra从中等推理强度调到最高，最高强度的运行时间中位数涨到4.8倍，API成本中位数也涨到5.3倍。

可预测得分……几乎没动。

嗯？研究团队还专门回去翻了模型运行记录。

结果发现，在完成的79个任务上，GPT-6 Astra最高推理强度通常跑到中位26％时，答案就已经给出了。

模型之后仍在继续计算和修改，可这些动作都属于微调，结果层面看不出差别。也就是说，推理强度拉得再高，结果未必跟着变好。

△GPT-6 Astra在两种推理强度下的投入与表现

这一现象其实提醒了模型的资源分配：要追加计算，别一头扎进去猛冲，费时费力还未必见效。更细的做法是沿着运行记录逐项核查，先弄清新增证据对应的是哪一项判断，再有针对性地把算力加到局部。

工具使用上也出现了类似情况。GPT-6 Astra Max每次运行调用的方法类别中位数为4类，Medium只有1类，可两种配置的得分依然没检出显著差异。原因差不多：好工具没用在刀刃上。

以蒙特卡洛采样为例，多数时间里模型都在调用这个工具，但它只是给最终排序添了一段误差范围，并没有直接作用到结果本身。

△科学计算工具调用情况

说到底，工具用得多，不如用得准。

GPU的使用情况同样提供了一个有意思的观察角度。在GPU算力供应充足的前提下，真正成功跑起GPU计算的只有255次，连五分之一都不到。

不同模型、不同学科跑GPU的情形并不一样，所以光看调用GPU的次数，很难说明模型的科研能力。要判断算力有没有起作用，得看它究竟算了什么、算出的结果对预测有没有帮助，以及这些结果怎样影响最终排序。

关键仍在于把算力引到与排序相关的物理量上，模型才能把预测做得更准。

△GPU使用统计

再把成本放在一起看：各配置每次运行的平均API成本从0.22美元到65.91美元不等，相差足足300倍。这意味着SPU同时给出预测表现和调用成本，对打算部署科研模型的团队来说是一份可用的参考。

SPU从整体得分一路展开到同题轨迹，把模型差异落到科研判断的每个细节上，算力、成本都在其中。AI算出的数值对预测帮助有多大；预测出错后又该回头核查哪些判断，这些问题都能结合实验结果和运行记录接着分析。

下一轮改进也就有了能明确尝试的方向：借助SPU，模型可以更早发现错误假设，更有依据地保留或修改排序。改完之后再放回相同任务，看预测是否更准。

把“检验理解”搬进模型的考场

SPU与AI4S的发展规律，其实相当合拍。

AI4S的评测正一步步走进真实实验环节。今年，面向实验执行环节的基准也接连冒了出来。

可执行之外，预测是科研流程里躲不开的一步，也是最难量化的一步。如今，这一步总算有了能衡量的办法。

好处有两层：

研究者能借它看清：哪些测量目标相对好预测，哪些任务差异最大，一次判断失误又是怎么形成的。昂贵的实验资源省下来了，决策时间也缩短了。

对模型开发来说，这同样是一份更具体的改进参照。

实验类型越攒越多，评测也就能回答更细的问题：碰到哪些材料、哪些实验条件、哪种测量方式，AI给出的排序更靠谱、更值得参考。

科学家可以围着同一类问题，一点点把进展积起来。

其实，SPU只是UniPat AI这一系列真实工作评测里露出来的一角：

• ScienceVision：看模型怎么从三维科学对象里找证据、作答；
• PaperBenchX：把已经发表的研究改造成可执行、可验证的论文复现任务；
• SaaS-Bench和EvoCode-Bench：一个盯实际软件流程，一个盯需求不断变化时的开发工作。……

这些工作横跨科研、办公和软件开发，关心的都是同一件事：AI进入具体工作后怎么把活干完，结果又怎么验证。

从中也能看出，UniPat AI对AI走进科研实践、乃至走进真实世界，有自己的行业认知和前瞻判断。

UniPat AI还摆出了一种新的AI合作方式：

领域专家负责筛选和审核任务，合作实验室拿出未发表的任务，项目团队再把不同学科的实验编成统一的评测任务。

SPU 便是一例。该项目由 UniPat AI 牵头，顾问成员来自斯坦福、康奈尔、哈佛、UIC、北大、港科大和 FutureHouse 等机构。湿实验方面，优睿赛思、爱博泰克、深度原理与恩和生物的合作成员参与了相关实验工作。

跨学科的知识和实验资源，就这样进了同一套评测流程。SPU既装着对问题的挑选，也显出把科研问题组织成可执行任务所需要的协作。

SPU相关的100个公开任务，眼下计划以完整的Harbor任务包形式发布；16个私有任务继续保密，用于受控评测。数据集和代码均已开源。

当然，面对这套SPU机制，今天的AI还只是个新手。

工具用得飞快，8小时里装三套软件、跑完DFT再跑蒙特卡洛，都不在话下。可到了最关键的判断上，它还没学会问自己一句：我算的这个量，是不是实验真正要测的那个量。

不过，这类任务持续攒下去，AI到底能担起什么样的科研工作，也会慢慢清楚。

SPU把这段距离量了出来。接下来的每一场考试，都是AI往真实实验台靠近一步的记录。