7个AI模型测50道物理题:最强模型仅32.7%真正完成研究
你有没有遇到过这种情况:请一个很聪明的朋友帮你办事,他把每个细节都做得漂漂亮亮,报告写得工整,图表画得精美,可是回头一看,他压根没解决你真正想问的那个问题。他可能换了个更容易回答的问题去答,也可能只做了一半就以为完成了。这正是七个最前沿的AI模型,在面对50道物理学研究题时集体暴露的问题。一个让人意外的...
找个挺机灵的朋友搭把手,交代下去的事每个环节都办得利利索索,报告干净,图表也漂亮。可回过头一琢磨,你真正想问的那件事,他压根没碰。要么是挑了个更好答的问题应付过去,要么做到一半就当成完工了。这种场面,你碰上过吗?
七个最前沿的AI模型在面对50道物理学研究题时,集体暴露的正是这个问题。
一个让人意外的发现。
先看一个具体数字。表现最好的模型叫Claude-Opus-5,它在一套"
研究者换了一套评价标准,去看它是否真正把一个科研问题从头到尾彻底解决。结果,这个得分第一的模型只有32.7%的尝试做到了完全闭合。
换句话说,即便是最强的AI,十次研究里有将近七次都没能把问题真正说清楚、说透。
分数高就等于答案对——这个我们很容易默认的假设,被这个发现戳破了。论文题目叫《From Research Goals to Scientific Closure》,由上海人工智能实验室、上海交通大学等机构联合完成,提出了一个新的评测体系,专门用来检验AI能不能像真正的科学家一样,把一个研究问题从提出到彻底解决走完全程。
科研闭环:到底卡在哪儿。
要理解这项研究,得先弄清楚一件事:现在市面上评测AI科研能力的方法,大多在测什么。
目前已有的一些基准测试,比如
研究闭合度
这些测试本身都有分量,可它们往往漏了一环:AI 能把某个局部活儿干得漂漂亮亮,那个"从问题到答案"的完整旅程却没真正走完。好比考一个厨子,只盯着刀工利不利、火候准不准,却没问最后端上桌的那道菜,到底对不对得上顾客点单时提的那条具体要求。
这个"闻之始末"的完整性不查会怎样?论文答得很干脆:你会被局部的漂亮表现晃了眼,以为 AI 已经能自己搞科研了,其实它可能就在一堆正确的碎片里兜圈子,那张完整的拼图始终没拼出来。
这就是研究者设计
PhysClosureBench
这套基准包含50个物理学研究任务,领域横跨
这套测试的巧妙之处不在于题目选得专业,而在于它给AI的信息量是"刚好够用,但绝不多给"。
每道题都会交代清楚:研究目标是什么、物理系统怎么设定、关键参数有哪些、哪些约束必须守住、能用的计算资源有多少。但具体怎么一步步往下解,题目一个字不给,标准的诊断流程、验证顺序,也都不提供。
这意味着AI得自己决定要生成什么证据、怎么分析这些证据、怎么验证自己的结论是不是靠得住。
这套设计,跟把课题交给一个刚进门的研究生差不多。导师只说清研究目标、实验室里有什么设备、经费预算多少,不会手把手教他每步该做哪个实验、数据该拿什么方法分析。真把每一步都安排妥了,考的就是这个学生听指令办事的本事,不是他的科研能力。一个人能不能独立做研究,恰恰要看他没人指路时找不找得到对的方向。
任务都放在隔离的、断网的计算环境里跑,每道题各自分配 CPU 核心数,也各自卡着时间上限。这些限制不是随手拍的:研究者先把每道题的参考结果亲自复现了一遍,记下复现过程实际吃掉的资源,再往上多留一截余量,好让 AI 有空间去规划、去试错、去换方法。
两套尺子:
论文最核心的创新,是把科研表现拆成两套互相补充的评价尺子。
第一套叫原子得分,区间 0 到 10 分,由 20 个事先定好、按每道题量身定制的半分制评分项构成,归到五个功能维度:问题构建、输出结果、特征识别、机制解释、验证与适用范围。
所谓原子得分,衡量的是AI在局部科研环节上完成了多少实质工作,满分10分,由20个0.5分的小项加总得出,涵盖题目构建、结果产出、关键特征识别、机制解释和验证适用范围五个方面。
第二套叫研究闭合度,分成
研究闭合度分RC0到RC4五级,用来判断一项科研调查有没有把研究问题彻底答完。RC0意味着没有实质进展,RC4则要求所有必需证据和适用边界都确认清楚,才算真正完整的科学结论。
两套尺子为何要拆开用,而不合并成一套?
关键数据在论文那组统计里。七个模型、每个模型对50道题各跑三次独立尝试,合计1050次AI尝试。研究者发现,其中229次尝试的原子得分在8分以上(满分10分),成绩相当拿得出手。可这229次高分里,有83次(占36.2%)没有达到RC4——研究问题其实没被真正解决。
更棘手的是,83次中有55次卡在RC2。AI产出了大量正确、扎实的局部结果,却始终没能把它们串成一条支撑最终结论的完整论证链。
这像学生做数学大题:每一步计算都对,公式套用也没问题,偏偏最后那句“所以答案是……”逻辑不通,或者漏掉了题目问的关键条件。老师批改时,前面该给分,可这道题终究没真正答对。只看每一步计算,分数会很高;若在意整道题是否完整解答,这份高分卡的意义就要大打折扣。
研究闭合度必须和原子得分分开评,原因就在这里:两者回答的是不同层级的问题——一个问“你干了多少活”,另一个问“你把事情办成了吗”。
AI们卡在哪里:机制解释和特征识别最拖后腿
论文把五个功能维度在不同AI模型上的完成情况逐一拆开,结果呈现出相当一致的规律。
问题构建这一项,各模型的完成率都排在最前。表现最好的Claude-Opus-5,问题构建维度完成率85.6%,输出结果维度只有60.1%,特征识别维度54.6%,机制解释维度52.8%。
这说明AI普遍擅长读懂题目、搭起物理设定和数学框架。越往后走,到了“从生成数据里找出关键信号”以及“把这些信号和背后物理原理联系起来”的环节,表现就明显掉下来。
有个具体例子能看清这个落差。一次任务要求AI生成某种能谱数据,并把不同成分的贡献拆分开。它做得挺细致,拆分结果也对,数值计算几乎满分。可当需要解释这些拆分结果对应什么物理机制时,它停住了,报告里没把计算结果和背后的物理图像连起来。
这像一个人把一道菜的原材料全备好了,切配整齐,火候也准,最后那句“这道菜之所以好吃是因为……”却说不出,或者说错了。食材处理再完美,也替代不了对味道成因的解释。少了这句解释,别人没法知道这道菜到底好不好,只能看到一堆处理精良但意义不明的食材。
验证与适用范围这个维度更复杂,不能简单归为“做得差”,它分成三种子项。论文发现,AI普遍擅长说明“我的结论在什么条件下适用”(满足率86.9%),但“任务明确要求必须做的验证检查”只完成59.6%,“由方法本身暴露出的具体风险做针对性验证”只完成47.8%。
换句话说,AI很会给自己的结论画一个安全的框,却经常忘了去检查框里到底藏着什么没拆的雷。
一次具体对比:三个AI做同一道攻钥匙题的三种结局
论文里有个案例值得细讲,它把前面说的抽象问题变成了看得见的场景。
这道题研究的是“
三个模型给出的答案质量截然不同。
Kimi-K3
GPT-5.6-Sol
Gemini-3.1-Pro
三条路径摆在一起,信号很清楚:同样的起点、同样的物理设定、同样的计算环境,终点却完全不同。差别不在谁算得更快、谁的代码更长,而在谁更认真地核对了自己生成的东西到底说了什么。
这像三个人用同一台体温计给病人测体温:一个人读数前反复核对,发现仪器显示异常立刻查原因;一个人读出了数字,却没注意到仪器提示的“电量不足”警告;另一个人干脆读错数字,把38度看成37度,还一本正经写进病历。仪器给出的信息都是真实的,区别只在于谁真正把这些信息看懂、看全了。
重复三次,结果却不一样
论文另外补做了一件事,不少评测都没顾上:每道题让每个模型单独跑3次,观察结果稳不稳。
这组数据暴露出的问题,恐怕比前面那些发现更叫人不安。
Claude-Opus-5三次独立作答里,只要有一次达到RC4完全闭合,这样的任务占到50.0%,单看这个数已经算体面。可一旦要求三次全都做到RC4,比例立刻掉到18.0%。
GPT-5.6-Sol和DeepSeek-V4.1-Flash
换句话说,某个AI模型即便已证明自己能把一道题彻底做对,这份本事也谈不上稳定。这一回思路对了、运气也顺,换个随机种子,下一回就可能跑偏。
好比一名射箭选手,偶尔能正中靶心;若让他连射三箭、箭箭都要求命中靶心,多半就做不到了。教练不会因为某一箭中了靶心就认定他功夫到家,能上场参赛的,是那种每箭都大致落在靶心附近的人。眼下这些AI模型,更像偶尔手感爆发的新手,还称不上技术稳定的职业选手。
这个发现的分量在于,它提醒人们:评估AI的科研能力时,“它能做到”和“它总能做到”完全是两码事。只凭一次尝试的结果,很容易把一个模型的真实水平估高。
论文的立论基础
PhysClosureBench并非
较早的一些工作里,“AI科学家”(
与PhysClosureBench更接近的,是去年提出的
PhysClosureBench真正向前迈的一步,是把“这项研究究竟有没有彻底回答研究问题”单独拎出来,当作可独立测量、独立打分的指标,而非笼统地塞进整体任务完成度里。
从一个题目牵出的更大疑问
说回开头那个让所有AI犯难的核心矛盾:能力明明不弱的AI,为什么还是经常答不完整?
论文的解释指向科研活动本身的性质。科学研究不是“产出一堆看着合理的结果”就能交差,它得把研究问题、生成的证据、对证据的解释,以及这套解释适用的边界,串成一条立得住的逻辑链。链条上断掉任何一环,前面工作再精致,整个结论也悬着。
评估AI科研能力的难处,也在这里露了出来。若只拿一个笼统的分数去衡量AI的科研水平,很容易把“做了很多正确的事”和“把事情真正做成了”混作一谈。这两者之间的差距,正是AI要成为可靠科研助手之前必须迈过的一道坎。
写在后面
读到Gemini把上升曲线说成下降曲线那个案例,我想到的是一件更普遍的事。
这不是AI算错了数:它算对了,图画得也没问题,出岔子的是“看图说话”这一步。于是会意识到,大家常担心AI会不会算错题,却容易漏掉一个更隐蔽的风险——每一步计算都对,偏偏在把计算翻译成人话的那一刻悄悄走偏。这类错误格外难抓,因为中间每一步看着都挑不出毛病,错就错在最后那句“所以结论是……”里。
还有个细节让我反复琢磨。论文提到,同一道题跑三次,结果可能一次完全成功、一次卡在半路、一次彻底跑偏。只凭一次评测结果就给AI下判断,容易被一次好表现捧得飘飘然,也容易被一次坏表现带偏。这提醒人,评估任何智能系统,单次测试给出的信号本身可能就带着不小的噪音。
三个模型里冒头的Kimi-K3,赢的地方不在算得更快、代码写得更长,而是它在计算途中发现两种方法算出的角度方向彼此矛盾,随后停下来查这个矛盾究竟出在哪里。这种“发现矛盾、不绕开、认真查原因”的习惯,不少人类研究者也未必能稳定做到。或许决定一项科研工作可靠与否的,从来不是算力或速度,而是面对自己生成的结果时,肯不肯多问一句“这真的说得通吗”。
Q&A
Q1:PhysClosureBench是什么?
上海AI实验室等机构联合提出了一项名为 PhysClosureBench 的评测基准,专门衡量AI在物理学科研上的能力。该基准收录了50道任务,题目全部取自权威期刊中的真实研究,考察的是AI能不能独自把一项完整的科研调查组织起来、把问题真正解决到底,而不只是答对其中某一部分。
Q2:为什么AI的原子得分很高,但研究闭合度却很低?
所谓原子得分,看的是单个科研环节做得怎么样;研究闭合度则不同,它盯的是整个研究问题有没有被彻底解决。论文给出的数字是,229次高分尝试中有83次并未达到完全闭合。换句话说,AI常能把每一步都做对,却没能把这些结果拼成一个真正解决问题的完整结论。
Q3:哪个AI模型表现最好?
两个指标上排第一的都是Claude-Opus-5:平均得分6.29分(满分10),完全闭合率32.7%。不过就算是最强模型,同一道题重复三次都能完全闭合的比例也只有18%。