AISLE基准发布：4079次湿实验，GPT 5.5仅得41.19分

Anthropic 前不久晒出一项 AI for Science 成果：64 小时内，Claude 产出 31.8 万个蛋白质设计方案，筛过一轮后把 211 个送进湿实验室，其中 17 个达到预设的蛋白结合标准。这说明 AI 科学设计迈向真实实验验证有不小的空间。不过 Anthropic 同样提到，从结合命中走到真正能用的抗毒疗法，中间还横着活性验证、成药性等一连串关卡。

虚拟世界里把方案推演出来，和物理世界里真把实验做出来，压根是两码事，这正是眼下 AI for Science 最扎眼的一道现实。模型给的方案跟真实物理实验之间到底差多远？以前没人能讲清楚。行业里一直缺一套能反复跑、能横向比的物理验证基准。代码有单元测试，数学有标准答案，真实实验却卡在设备差异、执行误差和成本上，换个实验室做出来的结果都没法直接对照。

律动造物拉上多家全球顶级科研机构，最近一起推出 AI Scientists' Last Exam（AI 科学家的终极大考，AISLE），想给 AI 的真实实验能力造一把新「尺子」。这是全球首个面向干湿实验闭环科学发现的公开基准，目标是让不同模型进到真实实验室，按统一标准接受物理世界的检验。

• 项目地址：https://aisle.science/
  

• Github repo: https://github.com/MasterAI-EAM/ai-scientists-last-exam

• 论文链接：https://github.com/MasterAI-EAM/ai-scientists-last-exam/blob/main/paper/AI_Scientists_Last_Exam.pdf

  
  

首轮累计跑了 4079 次真实湿实验测试，GPT、Claude、Gemini 等顶尖模型的成绩单颇有警示味道：完成湿实验榜单评测的模型里，综合排第一的 GPT 5.5 满分 100 分只拿到 41.19 分；放到带安全约束的实验优化任务上，参测模型的完整通过率清一色是 0%，GPT 6 Astra 的得分反而还降了。

榜单上的「做题家光环」，被这一结果彻底击碎。

计算机里，模型把「1+1」算上一亿次，答案还是 2；换到真实的湿实验室，让自动化移液设备重复一亿次操作，结果不可能次次相同。设备会磨损，精度会漂移，测量数据带着噪声，实验环境也随时可能变。更该警惕的是，科学能力变强，不等于安全能力跟着涨。模型一旦直接调用实验设备，某次决策违反安全约束，数字世界里的错误就会变成现实中的设备损坏、人员受伤，甚至污染环境。要是模型识别不出多轮交互里一点点露出的危险意图，它的科学推演本事还可能被人恶意利用。

AISLE 的另一层意义也在这里。全球科技巨头都在争相描绘「AI 科学家」的技术愿景，这场物理大考却揭开了一个残酷现实：AI Scientist 的能力边界，不能只看它能否提出正确假设、完成实验目标，还要看它能否在整个实验过程中守住安全边界。

这项被视作行业里程碑的工作，背后聚集了自动化实验室、计算化学和 AI for Science 领域的一批前沿力量。项目由律动造物创始人谢童博士发起，参与者包括伯克利材料科学家 Gerbrand Ceder、化学 Agent 先驱 EPFL 的 Philippe Schwaller、化学具身与自驱动实验室（SDL）领域的开拓者 Acceleration Consortium 团队等全球 13 个前沿的 AI4Science 实验室，以及来自 NVIDIA、Microsoft Research, 礼来 Lilly 等机构的研究人员。

其中，Gerbrand Ceder 团队曾主导建设自主材料实验室 A-Lab，并与 Google DeepMind 的 GNoME 材料发现成果形成合作。2023 年，相关研究发表于《Nature》，展示了 AI 材料预测与机器人自动化合成结合的潜力。

AI for Science 的「最后一公里」：从理论、计算走向实验

从科学发现的方法论看，一个完整的科研周期通常分三段：理论推演，数值计算与模拟，最后是物理实验执行。但科学发现的终极闭环，终究要落到真实实验中。模型提出的假设能不能得到真实观测支持，计算中的最优方案能不能在物理世界成立，只有实验能给出最终判定。

近年来，

问题在于，物理实验的反馈比数字任务复杂得多。一次实验要耗设备、试剂和时间，结果还可能受测量噪声、执行误差和设备状态影响。就算实验失败，也很难马上判断问题出在方案、操作还是设备本身。

正因如此，自动化实验室成了 AI for Science 的一条重要路径：把机器人、实验设备和 AI Agent 串起来，让模型不只分析已有数据，还能自己设计实验、动手操作、读取结果，再据此决定下一步。今年 10 月，Google Research 就介绍了 VERID 框架，它借助实验室的语义数字孪生跟踪机械臂、试剂体积和耗材状态，让 AI Agent 在真正动手前先做虚拟预演，并用安全检查压低操作风险。

不过，让 AI 会操作实验设备，只解决了问题的一半。AISLE 盯的是另一件事：模型在整个实验流程里表现如何衡量，实验结果又怎样变成能反复使用的反馈信号。真实实验的反馈，一直很难像代码测试结果那样高效、规模化地用于模型评测和训练。物理反馈稀疏、来得晚、还带噪声，怎么把它变成可靠的评价依据，是 AI for Science 绕不开的难题。

AISLE 想补的正是这一环：真实实验不只是 AI 的最终考场，答案就放在物理世界里。模型可以把论文背下来、把题库刷遍，却没法提前背出下一次真实实验的结果。设备会漂移，材料会变，新的实验条件不断冒出来。这不是一张等着被刷穿的考卷，而是一个持续出题的考场，也成了它持续学习的反馈来源。

AISLE：AI 科学家的「最后一考」，Nature as the Verifier?

AISLE 的核心思路，是搭一套贯通模型推理、计算模拟与真实实验的分布式物理 verifier。它以自动化实验室为执行载体，跑出「提出方案 — 执行实验 — 获取观测 — 调整决策」的干湿闭环，把物理世界的反馈转成可用于模型评测与持续改进的信号。

以往这类探索多依托单一实验室，AISLE 不一样：它用统一的任务、动作与观测协议，把各个前沿大模型与不同地点、不同设备的自动化实验室连在一起，团队花了九个月才完全跑通。统一 harness 让不同站点的结果能在同一标准下比较；站点之间的设备差异则被保留下来，用来检验模型在不同条件下的鲁棒性。

图 a 展示的是科学评测的四级阶梯：HLE 和 GPQA 只考察静态作答；OpenAI 在 11 月 6 日发布的 BioBasicsBench 则要看模型能否读懂湿实验产生的原始数据，对应第三级「实验知识」；AISLE 处在最顶端，要求模型在真实设备上亲手做实验。图 b 画的是 AISLE 的干湿闭环框架：模型先提出假设，再由干实验室（模拟与数字孪生）筛选候选方案，随后由分布式自动化湿实验站点执行，表征结果回传给模型；完整的交互轨迹从优化、安全、自适应鲁棒性、多模态四个维度打分。

所以，AISLE 既是比较模型实验能力的一套共同考题，也能像代码领域的单元测试那样，为模型改进提供可重复的真实反馈。

AISLE的首轮评测把目光放在大模型能否在真实湿实验中跑通干湿闭环：方案由模型在干端给出，湿端负责执行，再把真实观测结果回传。

为摸清模型在这套闭环里的基础决策水平，团队布置了多项任务：光学目标逆向设计、pH敏感配方优化、高分子化合物的不可逆操作规划，以及在变化的pH条件下借助光谱测量做主动pKa推断，还有光谱与图像的多模态推理。这些任务顾及成本、反馈速度和可重复性，同时把真实操作误差和测量噪声保留下来。团队还提到，Buchwald–Hartwig偶联反应、CdS-MPA量子点合成等更复杂的前沿科研任务，目前正在接入。

还有一点更引人关注：AISLE把“数字孪生”塞进了这套闭环。律动造物对机器之心表示，每个实验站点都配有一个对应的数字孪生环境。模型可以现在数字环境里大量推演、反复试错，把筛出来的方案再交给真实实验设备执行；而真实实验拿到的观测结果，又会回头校准数字孪生，让仿真一步步贴近设备的实际表现。

这等于搭起了两层相互配合的反馈：数字孪生负责低成本、高密度的试错，真实实验则给出最终的物理验证。模型因此不必每回探索都消耗真实试剂和设备资源，又能持续用真实观测去修正模拟环境。

GPT 5.5 也只有 41 分，“第一把尺子”量出了什么

在这之前，业内没人能给出确凿判断：大模型究竟能不能替人做实验。缺的是一套能系统衡量AI真实实验能力的标准。代码有单元测试，数学有标准答案，湿实验却长期没有规则可依。

现在，AISLE成了这把“尺子”。它量出的结果不光让人清醒，还暴露出物理世界与数字世界之间的断崖式差距……

首轮评测覆盖2个自动化实验站点、4079次真实实验、46626分钟运行时长，涉及GPT、Claude、Gemini等模型。评测从探索效率、实验安全、自适应鲁棒性和多模态推理四个维度打分，分别看模型能否在有限预算内逼近目标、能否守住安全约束、能否应对设备变化，以及能否从光谱、图像等观测数据中推断科学参数。

分布在全球的AISLE v0.1合作实验站点，从自动移液到手套箱合成，覆盖湿实验的核心操作环节

在把湿实验的所有维度都跑完之后，得分排在首位的是 GPT 5.5，但成绩也只有 41.19 分（满分 100）。更值得留意的是，按团队设定的安全完整通过标准来衡量，没有任何一个参测模型能满足全部安全要求，通过率均为 0%。

这份成绩单首先说明，这把「尺子」量得很准：纯语言层面的跑分泡沫被迅速剥离，各个模型的动手能力在真实物理坐标系里被清楚地区分开来。其次，它也说明大模型和真实物理实验之间的实际鸿沟，比学术界和工业界此前预想的深得多，实验中暴露出的问题就是印证。

跑完全程却中途违规，照样会被漏掉；一次成功背后，也可能藏着设备失准后接连犯下的错。AISLE 要记的并非只有终点判对判错，整条决策链路都在它的视野里：哪里越了界、碰到异常怎么处置、什么节点该先停下来做校准。这类信号只有真正上手执行才冒得出来，单纯在数字环境里跑测试拿不到。

第一个问题是明知故犯的「安全盲区」。研究团队在一组安全测试里人为划定了禁止进入的区域，并提前把约束告知模型。比如颜色匹配任务中，某些 RGB 数值区间被标为不安全区域，模型寻找最优实验路径时必须主动避开。可实际情况是，参测模型几乎无一例外，为了接近目标而触碰了禁区。

可见模型能理解安全规则，不等于它在实际行动中始终守规则。未来评测 AI Scientist 的安全水平，不能只看它能不能完成任务，还得进一步覆盖复杂意图识别和风险防范。

第二个问题是不肯停机校准的「自我欺骗」。真实实验设备不会永远保持同样的精度。比如模型要求移液设备每次加入固定体积的液体，但随着设备运行，实际移液量可能逐渐偏离预期。人类实验员通常会察觉异常，检查设备并进行校准。可在 AISLE 的测试中，模型虽然能根据测量结果调整后续操作、尝试补偿偏差，却没有充分表现出主动识别设备问题、提出校准需求的能力。

另外，评测结果里也没有出现所谓的「六边形战士」，没有任何模型在四个维度上全面领先。擅长实验优化的模型，未必能遵守安全约束或应对条件变化；在鲁棒性方面表现较好的模型，也不一定擅长多模态推理。

这意味着，实验优化、安全守则与自适应抗扰是截然不同的智能维度，单看终点结果，绝不能证明一个 AI 能够独立接管实验室。

不只是「考试」，还要成为模型训练环境

总的来看，AISLE 首轮评测给模型的实验能力立起了共同的衡量标准，也表明当前的前沿大模型，距离成为一名合格的独立「AI Scientist」还远远不够。不过 AISLE 的最终目的并不止于打分，更长远的目标是让实验反馈真正进入模型训练流程，为科学智能打造可持续进化的动力飞轮。

前面提到，AISLE 引入了数字孪生。数字孪生与真实实验的结合，也为模型训练提供了新的可能。

先在数字孪生里让模型放开试，把高密度反馈攒起来，再把筛过的策略搬到真机上检验。反过来，实验过程里把模型每一次物理交互的决策链路、设备动作响应等全流程物理级数据完整存下来，这些可溯源的数据又能拿去校准数字环境。

说白了，反馈密度靠数字孪生，物理真值靠真实实验。两边一合，原本稀疏、滞后又烧钱的实验反馈，头一回变成了能持续攒、能规模化用的训练信号。

目前 AISLE 已经和 Harbor 框架完成原生整合，目的是把实验任务、设备执行、真实观测和评价反馈都接进模型的后训练流程。据了解，同一套 harness 在评测时给出分数，在训练时则输出动作、观测与反馈轨迹。这些真实实验反馈由此有了进入模型后训练的通道。模型来这里不只是参加一次考试，还能在同一个环境里反复尝试、接受反馈、继续训练。今天用来暴露模型短板的考场，明天也可以变成训练模型的场地。

也就是说，真实实验未来不只是模型训练结束后的「最终考试」，还有机会成为模型反复学习、持续改进的环境。这一扎实闭环的背后，是律动造物对 AI for Science 未来发展的清晰判断。

放到更大的行业视角看，AI for Science 正从帮研究者分析数据、提出假设，逐步转向参与完整的科研流程。模型的实验执行能力越强，对可靠性和安全性的要求也跟着提高。

未来 AI Scientist 的竞争，正在从谁更会理解科学知识，转向谁能在真实物理世界中可靠地执行实验、理解反馈并探索未知。

团队把这一理念概括为「Nature as the Verifier」，意思是自然界始终是科学结论的最终验证者。只不过以往，「它从来没有被接到模型上」。

律动造物要补的，就是 AI for Science 缺的那层 Infra：让真实实验变成任何模型都能反复调用的 Verifier、能持续学习的训练环境，也成为模型在物理世界里跑推理的运行时。模型提方案、调设备、读反馈、改判断，这一圈全在这层 Infra 上跑。AISLE 是头一块。

技术能复现，自动化实验网络却没法一夜长成。AISLE 的关键价值，是把 Nature 接成 Verifier：真实实验由此成为 AI 能反复调用的验证环节，散在各地的自动化实验站点被连成一张持续运转的网络。新任务不断进来、真实反馈不断产生、实验轨迹不断攒下，靠这种长期积累，这套 Infra 才立得住。

据了解，在应用层面，AISLE 计划逐步拓展到更复杂的材料、化学和生物实验场景。

后面 AISLE 还会接入更多实验室、任务和模型。团队想弄清的其实只有一件事：自然界当上 Verifier 之后，AI 能走到哪一步。