OpenAI与13家实验室联手：AI在真实实验中表现如何？

11月6日，OpenAI推出了一套评测基准BioBasicsBench，瞄准的是实验室里的日常操作。该基准与酶设计生物技术公司Ligo合作，从真实实验中梳理出100项任务，把凝胶电泳图、菌落平板、显微镜图像和仪器读数交给AI，看它能不能读懂数据、找出错误，以及判断手头证据够不够支撑结论。

在允许模型为每项任务投入更多推理的“xhigh”设置下，情况如图所示，不同模型在BioBasicsBench中的平均得分各有高低（来源：OpenAI）。

两天之后，另一个合作团队拿出了评测基准AI Scientists’ Last Exam（AISLE），问题又往前推了一步：AI不光要看得懂实验数据，还得在真实实验室里自主跑完一次闭环的科学发现。

这项工作是律动造物创始人谢童博士发起的，由新南威尔士大学（UNSW）、新加坡国立大学（NUS）、瑞士洛桑联邦理工学院（EPFL）和加州大学伯克利分校（UC Berkeley）联合牵头，全球13个AI for Science前沿实验室参与其中，方向覆盖自动化实验、计算化学与科学智能等。

参与的核心人物里，有全自动材料实验室A-Lab的缔造者、伯克利材料科学家Gerbrand Ceder教授，有化学智能体（Chemistry Agent）领域的先行者EPFL Philippe Schwaller教授，还有具身智能方向的开拓团队Acceleration Consortium。NVIDIA、微软研究院（Microsoft Research）和礼来（Eli Lilly）等机构的研究人员同样加入了这项工作。

团队把7个大模型接进两处真实的自动化实验室：模型出方案，设备去执行，传感器回传测量结果，模型再据此决定下一步。前后累计做了4,079次真实实验。

结果并不好看。最难的一组配方任务里，54次运行没有一次达标；实验优化得分最高的那个模型，在设备悄悄出现偏差的三次测试中，也都没能重新达到目标。

大模型公司为什么开始盯上真实实验？

从解读实验资料到连接实验设备，这些尝试指向同一个需求：模型给出的判断，得有结果来检验。

前几年AI在编程和数学上的进展，让研究人员尝到了可验证反馈的甜头。程序能跑、能测，形式化证明可以交给证明器去查，模型提的方案成不成立，往往在计算机内部就能拿到反馈。

生命科学、材料化学这些领域条件不一样。一个分子管不管用，一种材料有没有预期性能，通常得先制备样品、再做测量。每试一次都要耗时间和材料，结果还会受操作误差和设备状态影响。真实实验因此很难成为大规模训练和评测的环境，不过大模型公司已经开始试着跨过这道门槛。

OpenAI在无细胞蛋白合成配方上，于研究设定的条件下把单位蛋白生产成本压低了约40%，对比的是此前最佳基线。

Anthropic也在往实际研发里扎。该公司公布药物研发合作进展时提到，参与不同疾病、不同阶段的项目，有助于看清模型的长处和短板，再据此定下改进方向。

另一边，由前OpenAI和Google DeepMind研究者创办的Periodic Labs，正试着用自主实验室去收集公开文献里缺的数据，包括那些没被发表的失败结果，再拿来改进模型。该公司已在2025年9月完成3亿美元种子轮融资，彭博社还披露它正以约70亿美元的估值洽谈新一轮融资。

模型开始分析实验资料、提出配方，甚至通过软件连上设备，问题也跟着来了：它在这些环节里的能力该怎么衡量？按AISLE团队的框架，考核分三个层次——观察层、模拟层和物理层。

观察层让模型去解读已有的真实实验数据，看的是它能不能看懂证据；模拟层把模型放进数字环境，让它提方案、收反馈、接着调整，考的是连续决策；物理层则由真实仪器执行方案，模型要依据实测结果继续决策，还得应付实际成本、测量噪声和设备偏差。

AISLE的任务设置横跨这三层，既有光谱读图这类观察环节，也有模拟环境中的优化与安全测试，还进一步让模型在真实设备上连续做实验。

考场搬进了实验室

AISLE的首轮测试在全球多地的自动化实验室铺开。模型通过统一接口提交方案，当地设备执行，测量结果再传回模型，进入下一轮。这就形成了一个“干湿闭环”：计算与推理负责提方案，真实实验负责检验，测量结果再影响后面的判断。

撑起这套流程的，是AISLE团队打造的统一任务、动作与观测Harness。不同厂商的模型可以接入同一套Harness，在相同设备和任务条件下做比较；不同地点的实验室也能保留各自的设备与控制流程来参与测试。每轮提了什么、设备有没有执行到位、最后测到了什么，都会留下记录。

首轮参加湿实验测试的模型有GPT、Claude、Gemini、DeepSeek等七个。研究累计完成4,079次真实实验，设备运行46,626分钟，相当于两台仪器各自不间断跑了16天。

为了在控制成本的同时让每次实验给出更多有效反馈，团队用了两个办法。一是挑基于光学响应与酸碱调控的溶液化学体系，这类实验成本低、反馈快、容易重复，真实操作中的误差与测量噪声也保留了下来。二是给实验站点配上数字孪生，也就是对应的模拟环境，让模型先在里面试、先筛选，再交给真实设备验证；真实测量结果反过来用于校准模拟环境。

在此基础上，团队首轮测试设了五类任务：光学目标逆向设计（给定目标颜色，求解四组分至八组分配方）、pH敏感配方优化、高黏度树脂定量移液、主动pKa推断、光谱-图像多模态推理；优化任务里另设隐藏移液偏差的扰动条件，还有一项模拟环境中的安全约束测试。这些任务合起来构成实验优化、实验安全、自适应鲁棒性和多模态光谱推理四个评测维度。

AISLE 官网显示，Buchwald–Hartwig 偶联反应、CdS-MPA 量子点合成、固态电解质合成、荧光探针等任务正在被团队接入，测试范围会向材料、化学、生物等更复杂的研究方向延伸。

连续实验里，AI 究竟做了哪些决定？

找配方的表现先看。多数优化任务只给模型 12 轮实验机会，能在真实设备上达到严格标准的次数并不多。四组分任务中，悉尼的 54 次运行里有 3 次达标，新加坡对应任务为 15 次；八组分任务的 54 次运行则一次都没能跨过严格阈值。模拟环境中的优化成绩普遍高于真实实验，比如 GPT 5.5 的干实验优化得分是 90.74，湿实验只有 16.46。大模型智能体从“模拟到真实”的落差，这次首次被量化。

设备中途冒出移液偏差后，模型表现又变了。20 次实际受到有效扰动的运行中，有 12 次重新回到目标范围。此前实验优化得分最高的 Gemini，三次都没能恢复。

逐轮记录还原了部分模型处理异常的过程。Claude 曾重测旧配方，发现结果明显不同，判断系统状态已经变化，但接下来仍把变化前后的数据混在一起用，直到最后一轮才恢复；Kimi 同样察觉到前后不一致，却把它当成不稳定或噪声，最终没能恢复。

固相操作和读图任务也是一样。树脂黏度一升高，所有模型合计的达标率就从 86.9% 降到 32.9%；在需要读光谱的 pKa 推断任务中，最好的模型 18 次通过 12 次，最差的只通过 2 次。失败原因一部分是数值估计不准，也有模型搞错了该报告几个 pKa 值。目标之外，团队还单独查了模型守不守约束。安全任务在模拟环境中进行，禁区事先告知。按完整通过标准——达到目标且全程一次都不落入禁区——所有模型的通过率均为 0%。GLM 有一次运行预测新配方色差约 1.02，认为能避开禁区，模拟返回的结果却约为 1.97；下一轮它又预测安全，又违规，运行就此终止。

连 OpenAI 最强的 GPT-6 Astra 也差距明显：干实验优化任务拿到接近满分的 96.53 分，安全得分却只有 24.98 分。找得到接近目标的配方，不代表模型能在安全约束下有效优化。

各项成绩汇总后，GPT 5.5 以 41.19 在已完成湿实验全部维度测试的模型中排第一，但没有哪个模型能在四个维度上全面领先：探索效率最强的，不擅长应对设备变化；鲁棒性好的，未必会读图。

从看对到做对，还差多远？

把这些结果和 BioBasicsBench 的案例摆在一起，能看到一些相似的问题。

OpenAI 记录的一项菌落 PCR 任务中，GPT-6 Astra 分出了两组条带模式，却把实验身份对应错了，最后选错菌落。另一项计数任务里，它既漏数了一些菌落，又把空白位置算成菌落，最终结果比参考值高约 12%。

图 | Astra 将两个可见菌落未做标记（来源：OpenAI）

在 AISLE 中，Claude 发现系统状态变了，却继续混用旧数据建模和计算；GLM 判定新配方安全，执行结果却落进禁区；Gemini 优化能力最强，设备一出现偏差却一次都没恢复。

两个团队任务和方法都不同，发现的问题却相似：模型对自己判断的把握，与证据或执行结果之间仍有差距，而且未必能及时发现并纠正。在观察层，这可能是误读图像、得出错误结论；到了物理层，错误判断还会影响下一次操作，并在后续实验中延续。

安全约束也因此成了需要单独检验的能力。AISLE 中，部分模型操作前判断方案安全，返回结果却落入禁区，说明能复述规则，不等于能准确预测操作后果、持续遵守约束。本轮违规发生在模拟环境，不涉及真实危险反应；但模型一旦进一步连接合成、能源或生物实验设备，对操作后果的误判就可能带来实际损失，甚至安全风险。所以评测 AI 科学家，既要看它能不能完成目标，也要查它在完成目标的过程中能不能始终守规则。

从这个角度看，评测的意义不只在排名，还在于让连续决策中的错误能被记录和分析。随着模型与科研设备进一步连接，这类方法的重要性还会上升。

各国眼下都在推动 AI 与科研基础设施结合。2025 年 11 月，美国启动 Genesis Mission，计划连接超算、AI、联邦科学数据和机器人实验室。中国的“十五五”规划建议提出“以人工智能引领科研范式变革”，国务院“人工智能+”行动意见也提出“率先建立基于 AI 的新型科研范式”。这些探索中，如何评价模型的实验决策、如何把测量结果转化为改进模型的反馈，都是要解决的具体问题。

OpenAI 和 AISLE 的测试说明，正确理解实验结果与可靠开展实验之间仍有距离。发现异常却没能有效调整、知道规则却仍然违规，这些问题需要在连续实验中检验，也为后续训练指了方向：用数字孪生支持较低成本的试错，再用真实测量检验和修正判断，同时让安全约束贯穿整个过程。

编程领域已经证明了可验证反馈的价值，但材料、化学和生物实验的反馈更慢、成本更高，还带着噪声。这些反馈能不能持续用于模型改进，并在更复杂的任务中保持有效，还得靠后续实验回答。

参考链接：

1.Website：https://aisle.science/

2.Github repo: https://github.com/MasterAI-EAM/ai-scientists-last-exam

3.Paper url: https://github.com/MasterAI-EAM/ai-scientists-last-exam/blob/main/paper/AI_Scientists_Last_Exam.pdf

4.https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science

5.https://a16z.com/announcement/investing-in-periodic-labs

6.https://openai.com/zh-Hans-CN/index/gpt-5-lowers-protein-synthesis-cost

7.https://www.anthropic.com/research/early-progress-drug-development

运营与排版：何晨龙

封面及首图由 AI 辅助生成。