鹭羽 发自 凹非寺｜量子位

现在的基准测试已经进化到这个程度了——不刷题，直接给AI一组实验条件，让它自己研究、提前猜真实湿实验的结果。

同一个反应换几种条件，哪种能得到更多目标产物？一批抗体变体，哪个表达量更高？

答案先藏好，等AI交卷，再拿实测结果对一对。这事儿现在真值得一测。

近两年，AI for Science这条路越走越深。查文献、调软件，AI都能自己来；一项分析任务连着干上几个小时，也撑得住。

大家自然而然开始进入下一个阶段：我们到底希望AI具备怎样的科研能力？湿实验结果预测，就是其中颇有实际价值的一项。

它需要AI理解实验目标，并从已有知识中挖掘出相关机制，才能更好地帮助研究人员筛选值得进一步探索的研究方向。

新基准Science Prediction Universe（下称SPU）由UniPat AI牵头推出，盯的正是这一点。它包含116个任务、4207个湿实验，横跨化学、材料科学、生物和医学；参与基准顾问和湿实验的合作方，来自斯坦福、康奈尔、哈佛等高校，也有业内前沿科研机构和生物技术公司。

模型践行每次工作8小时制，配有一块

结果出乎所有人意料。即使强如距离真正能实现预测还都很遥远。

各配置在全部已评分任务上的平均得分

不得不说，SPU这是给所有科研模型都上了道硬菜。从前那些看不见摸不着的科研能力，如今都变成了可以统一评估、持续研究的数值。

至于AI的科研判断怎样一步步养成，就有了更为具体的讨论依据。

湿实验预测：值得单独为模型考一次

回到湿实验预测上，首先这的确不是一道新题。科学史上有过很多这样的时刻，一个判断在实验之前被给出，然后交给过程去裁决，对了就留下，错了就推翻。

具体的判断逻辑就构成了科学家的品味。

判断够准、品味够好的科学家，拿到大结果的步子会更快，还能省下不少实验资源。

要知道，湿实验做一轮并不轻松。化学方向要配试剂、定反应条件、再分离产物，生物方向则得走完漫长的蛋白表达。时间和工具开销都不低，一旦结果不理想，还得一轮接一轮地返工。

正因如此，动手前先做预测，成了科研流程里价值最高的一环。

过去这一步全凭科学家自己扛，如今到了AI时代，模型也被要求具备同样的本事，还得有一份能给它打分的试卷。

现有基准覆盖得并不完整，比如

SPU在这些方面都不一样。

它把AI自主研究的过程和湿实验结果的预测合到一块儿考，既看预测准不准，也看科学工具用得怎么样、长程任务能不能执行下来。

图表由AI生成

SPU把这种判断做成了明确的任务。

100个公开任务分别来自85篇近期发表的论文，领域专家从这些研究里整理出候选项、材料、条件与测量方式，并把完整的定量结果留下来当评分依据。

另有16个私有任务，取自四组尚未发表的合作湿实验，涉及

合计32个子领域、4207个实验。公开研究提供了跨学科的任务来源，实测结果对模型保密；未发表实验则补上了一层检验，独立于公开论文里的答案。

这样一来，模型提前见过题目的情况能在一定程度上被挡住。

SPU的任务覆盖与来源

题目的筛选同样有门道。

专家会优先挑测量完整、条件清楚的研究。那种顺着单一趋势就能排好序的简单问题，会被直接拿掉；数值彼此过于接近的题目，也被认为参考价值不大。

留下来的题，难度更高，区分度也更强。

具体到预测环节，模型每次要跑八小时，配置为8核CPU、16 GiB内存和一块

在这段时间里，模型得自己去搜集证据、挑选计算方法，最后交出各比较组从低到高的预测排序。

评分全程在独立、断网的容器里进行，AI不许检索原始研究结果，工具输出还会被自动扫描，用来识别源论文的DOI、标题等标识符，防止记忆污染。

最终，系统用Spearman相关系数把预测排序和实测排序对照起来。

系数越靠近1，说明排序越接近实验结果。

SPU的评测流程

还有一点挺有意思：不少基准测试没顾上的细节，SPU也留意到了。

拿最终得分来说，SPU会先琢磨一件事：这分数会不会只是撞大运撞上的。

为此，每道题它都会另外生成4000份随机排序，取第95百分位当作随机水平的门槛，再看模型交上来的结果有没有明显越过这条线。不同任务也各有一套对应的参照标准。

整套SPU的设计，讲究的就是一个科学严谨。

模型得在里面自己一步步判断哪些地方值得动手算，最后再把预测交上去。

这套设计一头能衡量眼下AI做湿实验预测的本事，另一头也给后来者留了把统一指标当尺子、持续改进实验的路子。

话不多说，接下来就一起看看首批前沿模型交出的成绩单。里面的细节，还真值得单独拎出来聊聊。

全新的测试，让前沿模型集体绷不住了

SPU首轮系统评测一共覆盖12款前沿模型、13种配置。所谓配置，指的是模型本身、推理强度，还有所用的模型框架。

先看整体成绩。

一句话概括：都不咋地。

在全部已评分的任务上，平均分最高的是

13个配置里几乎都是这个局面：能越过随机水平阈值的任务比例，只有34％～52％。

换句话说，在场这些模型，离真正可靠的湿实验预测都还差着不短的一段路。

领先组与落后组的行为对比分析

不过模型和模型之间也有高下之分，平均表现可以分成两个梯队：

领先组（6个模型）和落后组（7个模型）。

同题较量下来，领先组平均还是比其余七个高出约0.15分。

还有个细节值得留意。领先组大约9％的任务得分在0以下，其余七个配置的这一比例能到22％。

这里的0，指的是随机有效排序的平均分；负分就意味着预测和实际排序反着来了。

那差距到底出在哪儿？研究团队又往下挖了一层。

他们先把同题中其它模型的预测汇总成一份参考排序，再把实验两两配对，对着实测结果核对每个模型单独有没有排对。

在参考排序正确的实验对上，领先组能排对86％，其余七个配置是78％；至于参考排序错误的实验对，两组独立排对的比例都在30％上下。

所以领先组的一部分优势，其实恰恰体现在大家共同预测正确的地方——这部分上领先组始终更稳。

至于模型为什么会偏离正确判断，运行记录里藏着更具体的线索。

拿溶液任务来说，同一个聚合反应先后换用12种溶剂，要求模型按最终分离出的聚合物质量给出排序。

Opus 5.5与Qwen3.8在同一道任务上的两次执行记录显示，两者从一开始盯住的因素就不一样。

换句话说，判断依据选在哪一步，往往就决定了后面答案往哪边走。

Qwen3.8

虽然

照此推断，预测出错的环节最可能落在挑选判断依据那一步；模型还得学会顺着线索随时调整排序思路，这些发现才可能真正作用到答案上。

把结果拆开看，差异还会随学科和任务本身而变。

公开任务各学科的已评分结果里，化学平均分最高的是Opus 5.5，材料科学则是

P.S.

四个学科上各模型的得分情况

所以要让AI参与某类研究，可以先找一个相关任务用SPU测一测，确认模型确实适用，再开展正式实验。

私有任务的结果把这件事说得更清楚。

13个配置里有12个的平均分明显高于随机排序，配置彼此之间没检出显著差异。反倒是不同任务带来的起伏更扎眼。

同一批电解液，预测离子电导率时13个配置的排序相关系数落在0.89～0.95；换到电化学窗口，12个获评分配置的得分是-0.55～0.07，都没越过随机水平的阈值。

模型没换，测量目标一改，成绩分布就变了样。

下次评价一个模型，光说它擅长化学还不够，得看它面对的是哪种测量目标、哪些实验条件。

16个私有任务上各模型的预测表现

还有一件事挺反直觉：

按常理，给模型更多时间、更高的推理强度，成绩总该继续往上走吧？

大家平时也是这么想的，实际也是这么做的。

可SPU的结果一出来，这想法直接被推翻——

同样跑8小时运算，研究团队把

预测得分却几乎没动。

嗯？研究团队还专门回头查了模型的运行记录。

一查才发现，在完成的79个任务上，GPT-6 Astra的最高推理强度通常跑到中位26％时就已经交出答案了。

模型后面接着算、接着改，可动的都是小地方，结果上没看出什么差别。

换个说法，推理强度往上加，结果未必跟着变好。

GPT-6 Astra在两种推理强度下的投入与表现

这个现象其实给资源分配提了个醒：想追加计算，别一股脑往上冲，费时费力还未必落好。

更细的办法是照着运行记录逐项看，先弄清新加的证据到底对应哪一步判断，再有针对性地把算力补在局部。

工具使用上也出现了类似的情况。

GPT-6 Astra Max每次运行用到的方法类别中位数是4类，Medium只有1类，可两种配置的得分照样没检出显著差别。

道理差不多，好工具没用在关键处。

比如

科学计算工具调用情况

说到底，工具用得多，不如用得准。

GPU的使用情况也能说明点问题。

GPU算力给得足足的，真正跑成功的GPU计算只有255次，连五分之一都不到。

模型不同、学科不同，跑GPU的情形也不一样，光看调用GPU的次数，很难说明模型的科研能力。

算力到底帮没帮上忙，得看它拿去算了什么、算出来的结果对预测有没有用、这些结果又怎么影响最终排序。

关键还是把算力引到和排序相关的物理量上，模型预测才能更准。

GPU使用统计

再把成本摆在一起看，各配置每次运行的平均API成本从0.22美元到65.91美元不等，差了足足300倍。

也就是说，SPU把预测表现和调用成本一起给出，对打算部署科研模型的团队来说是个不错的参考。

从整体得分到同题轨迹，SPU把模型差异摊开在科研判断的每个细节上，算力、成本都算在内。

AI算出的数值对预测帮助有多大；预测错了，又该回头查哪些判断……这些都能结合实验结果和运行记录接着分析。

下一轮改进也就有了能明确试的方向：

借助SPU，模型可以更早发现错误假设，更有依据地保留或改动排序。改完再放回同样的任务，看预测是不是更准了。

把「检验理解」搬进模型的考场

可以说，SPU与。

AI4S

不过，执行之外还有预测。它是科研流程里绕不开的一步，也最难量化，如今总算有了可衡量的办法。

这带来两方面的好处。

研究者可以据此看清：哪些测量目标更好预测，哪些任务差异最大，一次误判又是怎么形成的。昂贵的实验资源能省下来，决策时间也能缩短。

对做模型的人来说，这也给出了一份更具体的改进参照。

实验类型越积越多，评测就能回答更细的问题：碰到哪些材料、实验条件与测量方式，AI给出的排序更靠谱、更值得参考。

科学家也就能围绕同一类问题，持续积累进展。

其实，SPU只是UniPat AI一系列真实工作评测中的一角：

• ScienceVision

• PaperBenchX

• SaaS-Bench ……

这些工作横跨科研、办公与软件开发，关心的共同点是：AI进入具体工作后怎么把任务做完，结果又怎么验证。

这也从侧面说明，对于AI走进科研实践、乃至走进真实世界，UniPat AI有着独到的行业认知和前瞻判断。

UniPat AI还展示了一种新的AI合作模式：

领域专家负责任务的筛选与审核，合作实验室拿出未发表的任务，项目团队则把不同学科的实验组织成统一的评测任务。

UniPat AI 是 SPU 项目的牵头方，顾问团队来自斯坦福、康奈尔、哈佛、UIC、北大、港科大和 FutureHouse；湿实验环节则由优睿赛思、爱博泰克、深度原理与恩和生物的合作成员共同完成。

跨学科知识与实验资源就这样进入同一套评测过程。SPU既承载了对问题的选择，也呈现出把科研问题组织成可执行任务所需的协作。

目前SPU相关的100个公开任务计划以完整的

诚然，面对这套SPU机制，今天的AI还只是个新手。

它用工具飞快，8小时里装好三套软件、跑完我算的这个量——问题是，这是不是实验真正需要测的那个量。

但随着这类任务不断积累，AI究竟能承担怎样的科研工作，也会变得清晰。

SPU把这段距离量了出来。接下来的每一次考试，都是AI向真实实验台靠近的记录。

项目主页：https://spu.unipat.ai 论文链接： https://arxiv.org/abs/2611.15049 GitHub开源链接： https://github.com/UniPat-AI/SPU