7个AI模型测50道物理题:最强模型仅32.7%真正完成研究

资讯 腾讯网 作者:科技行者 全文 5132 字 · 约 13 分钟读完

你有没有遇到过这种情况:请一个很聪明的朋友帮你办事,他把每个细节都做得漂漂亮亮,报告写得工整,图表画得精美,可是回头一看,他压根没解决你真正想问的那个问题。他可能换了个更容易回答的问题去答,也可能只做了一半就以为完成了。这正是七个最前沿的AI模型,在面对50道物理学研究题时集体暴露的问题。一个让人意外的...

找个挺机灵的朋友搭把手,交代下去的事每个环节都办得利利索索,报告干净,图表也漂亮。可回过头一琢磨,你真正想问的那件事,他压根没碰。要么是挑了个更好答的问题应付过去,要么做到一半就当成完工了。这种场面,你碰上过吗?

七个最前沿的AI模型在面对50道物理学研究题时,集体暴露的正是这个问题。

一个让人意外的发现。

先看一个具体数字。表现最好的模型叫Claude-Opus-5,它在一套"

研究者换了一套评价标准,去看它是否真正把一个科研问题从头到尾彻底解决。结果,这个得分第一的模型只有32.7%的尝试做到了完全闭合。

换句话说,即便是最强的AI,十次研究里有将近七次都没能把问题真正说清楚、说透。

分数高就等于答案对——这个我们很容易默认的假设,被这个发现戳破了。论文题目叫《From Research Goals to Scientific Closure》,由上海人工智能实验室、上海交通大学等机构联合完成,提出了一个新的评测体系,专门用来检验AI能不能像真正的科学家一样,把一个研究问题从提出到彻底解决走完全程。

科研闭环:到底卡在哪儿。

要理解这项研究,得先弄清楚一件事:现在市面上评测AI科研能力的方法,大多在测什么。

目前已有的一些基准测试,比如

研究闭合度

这些测试本身都有分量,可它们往往漏了一环:AI 能把某个局部活儿干得漂漂亮亮,那个"从问题到答案"的完整旅程却没真正走完。好比考一个厨子,只盯着刀工利不利、火候准不准,却没问最后端上桌的那道菜,到底对不对得上顾客点单时提的那条具体要求。

这个"闻之始末"的完整性不查会怎样?论文答得很干脆:你会被局部的漂亮表现晃了眼,以为 AI 已经能自己搞科研了,其实它可能就在一堆正确的碎片里兜圈子,那张完整的拼图始终没拼出来。

这就是研究者设计

PhysClosureBench

这套基准包含50个物理学研究任务,领域横跨

这套测试的巧妙之处不在于题目选得专业,而在于它给AI的信息量是"刚好够用,但绝不多给"。

每道题都会交代清楚:研究目标是什么、物理系统怎么设定、关键参数有哪些、哪些约束必须守住、能用的计算资源有多少。但具体怎么一步步往下解,题目一个字不给,标准的诊断流程、验证顺序,也都不提供。

这意味着AI得自己决定要生成什么证据、怎么分析这些证据、怎么验证自己的结论是不是靠得住。

这套设计,跟把课题交给一个刚进门的研究生差不多。导师只说清研究目标、实验室里有什么设备、经费预算多少,不会手把手教他每步该做哪个实验、数据该拿什么方法分析。真把每一步都安排妥了,考的就是这个学生听指令办事的本事,不是他的科研能力。一个人能不能独立做研究,恰恰要看他没人指路时找不找得到对的方向。

任务都放在隔离的、断网的计算环境里跑,每道题各自分配 CPU 核心数,也各自卡着时间上限。这些限制不是随手拍的:研究者先把每道题的参考结果亲自复现了一遍,记下复现过程实际吃掉的资源,再往上多留一截余量,好让 AI 有空间去规划、去试错、去换方法。

两套尺子:

论文最核心的创新,是把科研表现拆成两套互相补充的评价尺子。

第一套叫原子得分,区间 0 到 10 分,由 20 个事先定好、按每道题量身定制的半分制评分项构成,归到五个功能维度:问题构建、输出结果、特征识别、机制解释、验证与适用范围。

所谓原子得分,衡量的是AI在局部科研环节上完成了多少实质工作,满分10分,由20个0.5分的小项加总得出,涵盖题目构建、结果产出、关键特征识别、机制解释和验证适用范围五个方面。

第二套叫研究闭合度,分成

研究闭合度分RC0到RC4五级,用来判断一项科研调查有没有把研究问题彻底答完。RC0意味着没有实质进展,RC4则要求所有必需证据和适用边界都确认清楚,才算真正完整的科学结论。

两套尺子为何要拆开用,而不合并成一套?

关键数据在论文那组统计里。七个模型、每个模型对50道题各跑三次独立尝试,合计1050次AI尝试。研究者发现,其中229次尝试的原子得分在8分以上(满分10分),成绩相当拿得出手。可这229次高分里,有83次(占36.2%)没有达到RC4——研究问题其实没被真正解决。

更棘手的是,83次中有55次卡在RC2。AI产出了大量正确、扎实的局部结果,却始终没能把它们串成一条支撑最终结论的完整论证链。

这像学生做数学大题:每一步计算都对,公式套用也没问题,偏偏最后那句“所以答案是……”逻辑不通,或者漏掉了题目问的关键条件。老师批改时,前面该给分,可这道题终究没真正答对。只看每一步计算,分数会很高;若在意整道题是否完整解答,这份高分卡的意义就要大打折扣。

研究闭合度必须和原子得分分开评,原因就在这里:两者回答的是不同层级的问题——一个问“你干了多少活”,另一个问“你把事情办成了吗”。

AI们卡在哪里:机制解释和特征识别最拖后腿

论文把五个功能维度在不同AI模型上的完成情况逐一拆开,结果呈现出相当一致的规律。

问题构建这一项,各模型的完成率都排在最前。表现最好的Claude-Opus-5,问题构建维度完成率85.6%,输出结果维度只有60.1%,特征识别维度54.6%,机制解释维度52.8%。

这说明AI普遍擅长读懂题目、搭起物理设定和数学框架。越往后走,到了“从生成数据里找出关键信号”以及“把这些信号和背后物理原理联系起来”的环节,表现就明显掉下来。

有个具体例子能看清这个落差。一次任务要求AI生成某种能谱数据,并把不同成分的贡献拆分开。它做得挺细致,拆分结果也对,数值计算几乎满分。可当需要解释这些拆分结果对应什么物理机制时,它停住了,报告里没把计算结果和背后的物理图像连起来。

这像一个人把一道菜的原材料全备好了,切配整齐,火候也准,最后那句“这道菜之所以好吃是因为……”却说不出,或者说错了。食材处理再完美,也替代不了对味道成因的解释。少了这句解释,别人没法知道这道菜到底好不好,只能看到一堆处理精良但意义不明的食材。

验证与适用范围这个维度更复杂,不能简单归为“做得差”,它分成三种子项。论文发现,AI普遍擅长说明“我的结论在什么条件下适用”(满足率86.9%),但“任务明确要求必须做的验证检查”只完成59.6%,“由方法本身暴露出的具体风险做针对性验证”只完成47.8%。

换句话说,AI很会给自己的结论画一个安全的框,却经常忘了去检查框里到底藏着什么没拆的雷。

一次具体对比:三个AI做同一道攻钥匙题的三种结局

论文里有个案例值得细讲,它把前面说的抽象问题变成了看得见的场景。

这道题研究的是“

三个模型给出的答案质量截然不同。

Kimi-K3

GPT-5.6-Sol

Gemini-3.1-Pro

三条路径摆在一起,信号很清楚:同样的起点、同样的物理设定、同样的计算环境,终点却完全不同。差别不在谁算得更快、谁的代码更长,而在谁更认真地核对了自己生成的东西到底说了什么。

这像三个人用同一台体温计给病人测体温:一个人读数前反复核对,发现仪器显示异常立刻查原因;一个人读出了数字,却没注意到仪器提示的“电量不足”警告;另一个人干脆读错数字,把38度看成37度,还一本正经写进病历。仪器给出的信息都是真实的,区别只在于谁真正把这些信息看懂、看全了。

重复三次,结果却不一样

论文另外补做了一件事,不少评测都没顾上:每道题让每个模型单独跑3次,观察结果稳不稳。

这组数据暴露出的问题,恐怕比前面那些发现更叫人不安。

Claude-Opus-5三次独立作答里,只要有一次达到RC4完全闭合,这样的任务占到50.0%,单看这个数已经算体面。可一旦要求三次全都做到RC4,比例立刻掉到18.0%。

GPT-5.6-Sol和DeepSeek-V4.1-Flash

换句话说,某个AI模型即便已证明自己能把一道题彻底做对,这份本事也谈不上稳定。这一回思路对了、运气也顺,换个随机种子,下一回就可能跑偏。

好比一名射箭选手,偶尔能正中靶心;若让他连射三箭、箭箭都要求命中靶心,多半就做不到了。教练不会因为某一箭中了靶心就认定他功夫到家,能上场参赛的,是那种每箭都大致落在靶心附近的人。眼下这些AI模型,更像偶尔手感爆发的新手,还称不上技术稳定的职业选手。

这个发现的分量在于,它提醒人们:评估AI的科研能力时,“它能做到”和“它总能做到”完全是两码事。只凭一次尝试的结果,很容易把一个模型的真实水平估高。

论文的立论基础

PhysClosureBench并非

较早的一些工作里,“AI科学家”(

与PhysClosureBench更接近的,是去年提出的

PhysClosureBench真正向前迈的一步,是把“这项研究究竟有没有彻底回答研究问题”单独拎出来,当作可独立测量、独立打分的指标,而非笼统地塞进整体任务完成度里。

从一个题目牵出的更大疑问

说回开头那个让所有AI犯难的核心矛盾:能力明明不弱的AI,为什么还是经常答不完整?

论文的解释指向科研活动本身的性质。科学研究不是“产出一堆看着合理的结果”就能交差,它得把研究问题、生成的证据、对证据的解释,以及这套解释适用的边界,串成一条立得住的逻辑链。链条上断掉任何一环,前面工作再精致,整个结论也悬着。

评估AI科研能力的难处,也在这里露了出来。若只拿一个笼统的分数去衡量AI的科研水平,很容易把“做了很多正确的事”和“把事情真正做成了”混作一谈。这两者之间的差距,正是AI要成为可靠科研助手之前必须迈过的一道坎。

写在后面

读到Gemini把上升曲线说成下降曲线那个案例,我想到的是一件更普遍的事。

这不是AI算错了数:它算对了,图画得也没问题,出岔子的是“看图说话”这一步。于是会意识到,大家常担心AI会不会算错题,却容易漏掉一个更隐蔽的风险——每一步计算都对,偏偏在把计算翻译成人话的那一刻悄悄走偏。这类错误格外难抓,因为中间每一步看着都挑不出毛病,错就错在最后那句“所以结论是……”里。

还有个细节让我反复琢磨。论文提到,同一道题跑三次,结果可能一次完全成功、一次卡在半路、一次彻底跑偏。只凭一次评测结果就给AI下判断,容易被一次好表现捧得飘飘然,也容易被一次坏表现带偏。这提醒人,评估任何智能系统,单次测试给出的信号本身可能就带着不小的噪音。

三个模型里冒头的Kimi-K3,赢的地方不在算得更快、代码写得更长,而是它在计算途中发现两种方法算出的角度方向彼此矛盾,随后停下来查这个矛盾究竟出在哪里。这种“发现矛盾、不绕开、认真查原因”的习惯,不少人类研究者也未必能稳定做到。或许决定一项科研工作可靠与否的,从来不是算力或速度,而是面对自己生成的结果时,肯不肯多问一句“这真的说得通吗”。

Q&A

Q1:PhysClosureBench是什么?

上海AI实验室等机构联合提出了一项名为 PhysClosureBench 的评测基准,专门衡量AI在物理学科研上的能力。该基准收录了50道任务,题目全部取自权威期刊中的真实研究,考察的是AI能不能独自把一项完整的科研调查组织起来、把问题真正解决到底,而不只是答对其中某一部分。

Q2:为什么AI的原子得分很高,但研究闭合度却很低?

所谓原子得分,看的是单个科研环节做得怎么样;研究闭合度则不同,它盯的是整个研究问题有没有被彻底解决。论文给出的数字是,229次高分尝试中有83次并未达到完全闭合。换句话说,AI常能把每一步都做对,却没能把这些结果拼成一个真正解决问题的完整结论。

Q3:哪个AI模型表现最好?

两个指标上排第一的都是Claude-Opus-5:平均得分6.29分(满分10),完全闭合率32.7%。不过就算是最强模型,同一道题重复三次都能完全闭合的比例也只有18%。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  2. 海淀连办两场科学家创业活动:AI创新街区揭牌与夜话交流

    一群科学家,正在做一件不太一样的事。他们一边在高校、科研院所深耕前沿技术,一边走进创业一线,把实验室里的研究成果变成产品、企业,甚至一个全新的产业方向。而一座城市,如何与这样一群人同行?这一周,海淀用前后脚的两个动作,给出了自己的回答。11月18日,未名·AIPark人工智能创新街区在北大西门旁正式揭牌。依托...

    来源 腾讯网
  3. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  4. 闲鱼2026年第二季度:日活涨23%、订单涨29%,AI成增长主力

    IT之家 11 月 22 日消息,闲鱼表示,2026 年第二季度平台延续强劲增长势头,日均活跃用户同比增长 23%,订单量同比增长 29%。平台在 AI 加持及持续创新服务下,令个人用户、小微卖家的交易更加频繁便捷。闲鱼表示,今年以来,AI 技术在平台交易全链路的落地补齐了普通用户的经营短板,成为拉动本季度订单量增长的

    来源 腾讯网
  5. AI萌宠短剧爆发:博主小湖靠“云咪”跑出流量生意

    文章来源:视觉志(ID:iiidaily)授权转载“终于理解老一辈为什么爱看AI小孩了。”在AI萌宠视频的评论区,总会看到这样的感慨。年轻人们开始追更形形色色的AI小猫小狗。有在街边摆摊卖炒饭的“厨子猫”,也有每天背着双肩包、挤地铁上下班的“打工猫”;有出门送外卖、赚钱养家的小土狗,也有西装革履、出入豪车的“霸总狗..

    来源 腾讯网
  6. CarryOn让AI助手学会断舍离:长程任务记忆该怎么轻装

    你有没有试过搬家?第一次搬家的人往往会把所有东西都装进箱子,包括三年前买的说明书、已经过期的优惠券、甚至是拆快递剩下的气泡膜。结果就是,搬家公司报价贵得离谱,新家堆满了根本用不上的杂物。而真正会过日子的人懂得一个道理:重要的不是"我经历过什么",而是"我现在手上有什么能用的东西"。那张写满攻略的地图可以...

    来源 腾讯网
  7. Helsing柏林办AI发布会:Clarity亮相引乐迷抗议,场地致歉

    IT之家 11 月 22 日消息,据《卫报》今天报道,德国军工初创企业 Helsing 近期在柏林艺术中心 Kraftwerk Berlin 举办 AI 目标识别系统 Clarity 发布活动,引发当地乐迷、电音社区强烈抗议。 据报道,Kraftwerk Berlin 是一座位于柏林的巨型后工业艺术与音乐文化空间,以粗

    来源 AI 行业观察
  8. Signal限制截屏对抗AI监控,加密通讯迎来新防线

    加密通讯应用Signal宣布在Android与iOS版本中限制用户截屏功能,以应对AI驱动的监控浪潮。这一被官方称为“生存威胁”的举措,标志着隐私工具与人工智能监控之间的对抗进入新阶段。本文梳理Signal的调整细节、AI监控产业背景,以及隐私与可用性之间的长期博弈。

    来源 AI 科技快讯
  9. 黎曼猜想167年后被宣称破解:AI与人类数学家同日提交证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 科技快讯
  10. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  11. AI共创浪潮下:FoloToy与《AI校长说》聊硬件玩法与资本路径

    11 月 20 日,2026 虹桥国际科技周在上海举行。作为聚焦科技创新、产业协作与未来趋势的交流平台,本届科技周汇聚了来自不同领域的创新者、创业者与行业观察者。少数派也在现场带来了主题论坛分享,与参与者一起探讨 AI 时代的创造与创业。在这场论坛中,老麦、张浩宇、王乐与原博从各自的实践出发,讨论了 AI 如何改变产品

    来源 腾讯网
  12. 花叔用AI做11227种鸟贴纸,鸟友为何批“傲慢”

    在花叔的设想中,这些贴纸会被应用在一款他开发的观鸟APP上,服务于那些观鸟爱好者进行日常记录。 如今,花叔在一些鸟类爱好者的批评中,也感受到了一种害怕被“替代”的情绪,他尝试解释:“并不是说我做了这个贴纸,…

    来源 搜狐科技
  13. Signal限制截屏:AI监控压境下的加密通讯攻防

    加密通讯应用Signal宣布在Android与iOS版本中限制用户截屏功能,以应对AI驱动的监控浪潮。这一被官方称为“生存威胁”的举措,标志着隐私工具与人工智能监控之间的对抗进入新阶段。本文梳理Signal的调整细节、AI监控产业背景,以及隐私与可用性之间的长期博弈。

    来源 AI 行业观察
  14. 黎曼猜想167年悬案:AI与人类同日宣称各自完成证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 行业观察
  15. Henrijs Dandzbergs辍学创业:AI导弹主打“击杀成本”

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 行业观察
  16. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
向下滚动自动加载更多