同日正式发布的BioBasicsBench,被视作目前公开面世的规模最大、数据来源最贴近真实实验室环境的生物科学AI评测之一。测试共有七个模型参与,
GPT-6 Astra在最高推理设定(xhigh)下拿到66.7%的平均部分得分,居参测模型之首;垫底的GPT-5.2只有31.2%,两者相差一倍以上。
这套基准的设计思路,与主流学术型科学基准明显不同。现有生物学评测大多用整理过的论文附图、教科书插图,或者答案已知的选择题;BioBasicsBench则采用实验室科学家自己实验中产生的原始证据,包括凝胶和印迹图像、培养板照片、显微镜堆叠图像、测序读取结果、酶标仪导出文件,以及实际台面操作的视频片段。
五个领域,三轮审核,19道"无法判断"题
100项任务分属五个领域:蛋白质方法25题、成像与细胞计量23题、定量与检测19题、核酸方法17题、分子克隆16题。题目由Ligo的科学家依据自身实验数据设计,配有专家撰写的评分细则,并经过三轮审核——先由一名未参与出题的Ligo内部科学家初审,再由一名实验室在职湿实验PhD外审,最后进行内部终审。kingy.ai的分析指出,OpenAI报告的模型得分尚未经过外部第三方独立复现。
评分采用部分得分制:结论答对但量化数字有误,与结论和数字都答错,所得分数并不相同。另外,100题里有19题专门考察模型能否识别"证据不足以作出判断"的情形。
七个模型的分层结果
- GPT-6 Astra:66.7%(95%置信区间 60.3–73.1%),每任务输出4,704个token
- GPT-6.1 Sol:62.0%(55.6–68.4%),每任务5,238个token
- GPT-5.6 Sol:43.8%(37.6–50.0%),每任务9,099个token
- GPT-6 Luna:38.3%(32.3–44.5%),每任务13,120个token
- GPT-5.5:35.4%(29.7–41.0%),每任务11,135个token
- GPT-5.4:33.2%(28.3–38.4%),每任务13,717个token
- GPT-5.2:31.2%(26.2–36.3%),每任务27,620个token
从GPT-5.6 Sol的43.8%到GPT-6 Astra的66.7%,提升约23个百分点,是整个测试序列中最大的一次跨代跃升;相比之下,GPT-5系列内部从GPT-5.2到GPT-5.6 Sol也只提升了约12个百分点。在OpenAI给出的这组数据里,GPT-6架构对图像推理能力带来的更像是结构性提升,而非参数量线性扩展的结果。
每任务输出方面,GPT-6 Astra只用4,704个token,GPT-5.4和GPT-5.2则分别消耗13,717和27,620个token。后两者的用量接近前者的六倍,得分却只有33.2%和31.2%。cellcog.ai的分析提到,OpenAI把GPT-6 Astra的token效率归功于更强的原生图像读取能力:模型可以直接从图像中提取信息,不必靠大量文字推导去填补视觉理解上的缺口。
GPT-6 Astra在哪里做对了,又在哪里出错
cellcog.ai的分析梳理了OpenAI在发布报告中披露的具体案例。成功的一面是,GPT-6 Astra认出了一块被标注为错误抗生素的对照培养板,还发现了Sol把重叠荧光通道误判为死细胞的错误。
但在同一批测试里,GPT-6 Astra在克隆凝胶任务中挑错了菌落,还把一块培养板的菌落数量多计了约12%。
OpenAI在发布报告中明确写道:"更高的基准分数目前还不意味着模型能在实验室中做出可靠的判断。"
谁需要这份基准,它填补了什么空缺
对生命科学企业的采购和研发团队而言,BioBasicsBench给出了一个此前不存在的参照系。在这之前,AI供应商向实验室用户展示的往往是大模型能力的通用基准,比如MMLU生物学子集、GPQA等,而这些基准的评测场景离真实实验室操作相当远。
对AI研发团队来说,这份基准指向了一个具体的技术方向:在湿实验室任务中,token效率与图像推理能力的关联,比模型参数量更能预测实际表现。GPT-5系列里,GPT-5.2花掉GPT-6 Astra近六倍的token,拿到的分数却不到后者一半。
放到竞争格局上看,这份基准的发布,相当于OpenAI在生命科学AI赛道上立起了一个对话坐标。Google DeepMind的AlphaFold系列在蛋白质结构预测上的领先地位广为人知,但蛋白质结构预测是一项相对封闭、输入输出格式高度标准化的任务;BioBasicsBench测量的则是实验室日常操作中非结构化证据的解读能力。目前公开数据中,还没有Google、Anthropic或其他主要AI公司在BioBasicsBench上的测试结果。
对打算把AI代理接入实验室流程的团队来说,这份基准给出了几个能直接落地的操作起点。
BioBasicsBench里有19道题专门考“证据不足”的识别,这类能力恰好对应实际部署时最该防的场景——选型测试中拿这类任务去考察候选模型,比看总分更有用。另一处要留意的是,各任务领域的得分分布眼下还没完整公开:总分和置信区间能查到,分领域细目尚不可得。采购时不妨要求供应商拿出与自家业务(比如成像、核酸)对得上的分项分数,别只盯着平均分。还有一点,BioBasicsBench公开了token消耗数据,消耗偏高往往说明模型在视觉理解上存在短板。