OpenAI推MedChemBench:AI药物化学推理强弱项何在
分项表现上,Astra 在 xhigh 档的分子结构部分拿到 95.4%的可用分数,而在化合物选择与数值性质预测两项上仅获约一半分数。
当地时间 11 月 20 日,OpenAI 推出 MedChemBench 基准,用来衡量 AI 模型在药物化学研究中的推理水平,考查范围覆盖识别分子结构、解读实验结果、比较化合物以及预测性质等。11 月 21 日消息传出后,外界关注点落在模型的能力短板上。OpenAI 方面表示,模型重建分子结构、解释实验依据这两件事做得较好,化合物筛选和数值性质预测则还有明显的提升余地。

官方介绍显示,这一基准共收录 99 道题目,来源是 117 篇论文与专利,牵涉 761 个不同分子结构。多数题目会把研究推进到某一节点时的上下文交给模型,其中包括生物靶点、研究人员的目标、此前研究过的化合物以及部分实验结果。
评测被官方划成四块。分子结构一项,要求模型按照题目给出的结构图与化学基团把分子搭起来,看原子连接和立体化学是否准确;
科学解释一项,看解释能不能由给定证据撑住,比如为什么在若干化合物里挑中了某一个;
排序与选择一项,看化合物排序和最终选择是否合题目要求;
性质预测一项,比对的是原始材料给出的数值与类别,实测和计算得到的分子性质都算在内。
官方公布的数据显示,xhigh 推理档下,GPT-6.2 Astra 的可用分数为 84.5%,GPT-6 Astra 是 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 只有 58.2%。官方称,推理档位调高,分数会跟着涨,不过模型之间的差距仍旧摆在那里。

拆开看分项,Astra 在 xhigh 档的分子结构部分拿到 95.4%的可用分数,化合物选择与数值性质预测两项却只拿到约一半分数。
官方举了一个例子:题目给出一个中心结构和两个侧基,要求模型据此组装分子,同时保留一个 18 原子环。
在 11 个模型共用的 xhigh 档下,GPT-6 Astra 十次回答全部正确;GPT-5.6 Sol 和 GPT-5.6 Luna 十次全错,前者搭出的环只有 15 个原子,后者把分子拆成了两个互不相连的片段。

还有一道题取材于 PRMT5 抑制剂研究,PRMT5 是肿瘤药物研发中颇受关注的蛋白。模型要预测三种相关化合物在细胞内阻断 PRMT5 的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。
官方在题目里隐去的后续实验透出取舍:化合物 23 在更低浓度下就能在细胞内阻断 PRMT5,化合物 24 更容易穿过细胞屏障,在肝酶检测中降解得也更慢。
官方表示,这些结果并不能说明模型能否发现新药、能否改善实验室决策。此前接触过已发表资料的可能性无法排除,而且每一次回应都是一次没有工具、没有反馈、也没有新实验的尝试。基准测试依据的是历史证据,并非真实的药物发现过程,但结果有助于看清模型在哪些方面有进展、哪些方面仍有挑战。团队相信 MedChemBench 能支持持续的进步,并期待随着模型进步与应用领域分享最新进展。