OpenAI发布MedChemBench:AI药物化学推理测评,99题覆盖761个分子
IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布 MedChemBench 基准,用于评估 AI 模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测其性质等。OpenAI 表示,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测方面
OpenAI在11月20日(当地时间)上线了MedChemBench基准,用来考察AI模型做药物化学研究时的推理能力——识别分子结构、解读实验结果、比较化合物、预测性质都算在内。按照OpenAI的说法,模型重建分子结构、解释实验依据这两块比较强,化合物筛选和数值性质预测则还有不小的提升空间。11月21日消息。

这套基准共有99道题,来自117篇论文与专利,牵涉761个不同分子结构。多数题目会把研究推进到某个节点时的上下文交给模型,比如生物靶点是什么、研究人员想做什么、此前研究过哪些化合物、部分实验结果如何。
评测被官方划成四个部分,具体如下:
-
分子结构:按题目给的结构图和化学基团把分子搭起来,看原子连接与立体化学对不对;
-
科学解释:给出的解释要由既定证据撑住,比如为什么在若干化合物里挑中某一个;
-
排序与选择:化合物怎么排、最后选哪个,要符合题目要求;
-
性质预测:看结果与原始材料给出的数值、类别是否吻合,实测与计算得到的分子性质都在范围内。
官方公布的信息显示,xhigh推理档下GPT-6.2 Astra拿到84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。官方称推理档位调高分数会涨,但模型彼此之间的差距仍然摆在那里。

拆开看分项,Astra在xhigh档的分子结构部分拿到95.4%的可用分数;化合物选择与数值性质预测两项,只拿到约一半分数。
官方举了个例子:有道题要求模型用给定的中心结构和两个侧基组装分子,同时保留一个18原子环。
在11个模型共用的xhigh档下,GPT-6 Astra十次回答全对;GPT-5.6 Sol和GPT-5.6 Luna十次全错,前者搭出来的环只有15个原子,后者把分子拆成了两个互不相连的片段。

另一道题出自PRMT5抑制剂研究,PRMT5是肿瘤药物研发里受关注的蛋白。模型要预测三种相关化合物在细胞内阻断PRMT5的强度、穿过细胞屏障的难易,以及被肝酶降解的速度。
官方在题目里隐去的后续实验表明存在取舍:化合物23在更低浓度下就能在细胞内阻断PRMT5,化合物24更容易穿过细胞屏障,在肝酶检测中降解也更慢。
官方表示,这些结果不能断定模型能否发现新药或改善实验室决策。模型此前接触过已发表资料的可能性无法排除,每次回应都是一次没有工具、没有反馈、也没有新实验的尝试。基准测试依据的是历史证据,并非真实药物发现,但结果能帮人看清模型在哪些方面有进展、哪些方面仍有挑战。团队相信MedChemBench会支持持续进步,并期待随模型进步与应用领域分享最新进展。