GPT-o3评测代码执行跌27.2分,材料约束涨35分

资讯 AI 行业观察 全文 715 字 · 约 2 分钟读完 配图 1 张 分类o 系列GPTOpenAI

GPT-o3今日Smoke评测中代码执行从98.80分跌至71.60分,降幅27.2分;材料约束从51.70分升至86.70分,增35分;主榜小幅升至78.40分。单日10题抽样导致的波动可能是主因,需持续观察一致性。

所属频道 大厂动态ChatGPT 与 GPT

今天的Smoke评测里,GPT-o3的代码执行得分掉到71.60分,昨天还是98.80分,一天少了27.2分;材料约束则从51.70分爬到86.70分,涨了35分。主榜得分从77.61分升到78.40分。

得分明细与直接对比

分维度看,代码执行昨天98.80分、今天71.60分,工程判断由87.50分降到75.00分,任务表达从77.90分升到100.00分,诚信评级仍是pass。主榜只涨了0.8分,两个核心可审计维度一跌一涨,总体算是没怎么动。

波动成因分析

Smoke评测每天只出10道题,每个维度2道,样本实在太小,单日分数的标准差很容易被放大。代码执行和材料约束一降一升、方向相反,最可能的原因是今天抽到的题目难度分布变了,而不是模型参数本身退化。工程判断掉了12.5分、任务表达涨了22.1分,也说明各维度受题库随机性影响,彼此并不联动。

对使用者的具体含义

对重度依赖代码执行的开发团队来说,调用GPT-o3时最好加上本地验证,尤其是复杂算法或多步推理的任务,单次回答的不确定性已经比昨天那种低水平有所抬升。反过来,材料约束分数大涨,那些要求模型严格按输入约束或格式走的自动化流程,成功率会更高一些。

战略判断

只看单日数据,GPT-o3主榜仍守在78.40分区间,代码执行27.2分的跌幅还不足以说明主榜出现趋势性下滑。稳定性维度31.7分已经反映该模型在小样本测试里一致性偏低,下一期可以继续盯同一维度连续三日的得分标准差,若再出现类似幅度的波动,就得重新评估它在生产环境中的可靠性。

现有数据只支撑“抽样波动为主因”这个判断,撑不起“模型真实退化”的结论。企业选型时仍可把GPT-o3留在候选名单里,但代码执行场景要配上每日抽检机制。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GPT-o3代码执行暴跌28.3分 主榜单日下滑20.2分

    GPT-o3今日Smoke评测主榜从78.08分跌至57.92分,代码执行维度从73.80分降至45.50分,材料约束从83.30分降至73.10分。工程判断升至97.00分,诚信评级维持pass。单日10题抽样导致的波动需与模型真实退化区分。

    来源 AI 科技快讯
  2. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  3. GPT-5.5末日54.16分:Smoke评测均值73.4波动38.3

    2026-11-16至2026-11-22 Smoke数据中,GPT-5.5趋势-38.3、GPT-6 Sol趋势-27.8等多模型下滑,豆包Pro趋势+32.4却波动52.2,DeepSeek V4 Pro波动42.2,GLM-4.6诚信评级从pass转为warn,揭示执行与材料约束维度下的稳定性分化。

    来源 AI 科技快讯
  4. 贝佐斯重返一线:Prometheus估值410亿美元,要做物理世界的OpenAI

    卸任亚马逊 CEO 五年后,杰夫·贝佐斯没忍住,又给自己找了个班上。 当地时间 2026 年 11 月 17 日,加州门洛帕克的 Semafor「硅谷与世界」峰会现场,贝佐斯和物理学家维克·巴贾杰(Vik Bajaj)罕见同台。他现在的最新头衔,是 AI 初创公司 Prometheus 的联合创始人兼联席 CEO。这是

    来源 AI 行业观察
  5. 计算医学补AI制药短板:十部门规划提出新路径

    AI制药发展到今天,出现了一个有些反直觉的现象。 一边,是模型能力的快速跃迁。AlphaFold之后,蛋白质结构预测已经发生根本变化,生成式AI开始进入蛋白设计、小分子设计、抗体发现,生命科学基础模型、大模型和科研智能体不断出现。2026年,OpenAI发布面向生物学、药物发现和转化医学的GPT-Rosalind。Is

    来源 AI 行业观察
  6. OS-Helix让智能体手眼并用:纯加工具接口成功率反降2个百分点

    2024年底,OSWorld这个基准测试出现时,很多人以为通用电脑操作智能体的好日子快来了。毕竟GPT-4V能看图了,能点按钮了,能在屏幕坐标上找东西了。结果两年过去,榜单最靠前的纯图形界面智能体,成功率还在30%到40%这个区间里挣扎。同一批模型,换个基准,成绩又能翻倍。你可能不知道,就在这样的背景下,有一批研究者做

    来源 腾讯网
  7. OpenAI推出GPT-6.2 Sol:跑分只差Astra 0.5分,成本仅五分之一

    OpenAI推出GPT-6.2 Sol,定位为高效主力模型。它在代码和生活任务评测中逼近旗舰Astra,但成本低至五分之一。Sol支持多步Agent工作流、3D交互设计及网络安全辅助,并向Pro及以上用户开放Ultrafast模式,适合日常办公与轻量开发场景。

    来源 AI 应用前沿
  8. Anthropic数学家称用Claude找到黎曼猜想证明,超25万页

    Anthropic数学家莱文特·阿尔珀格。图片经由AI处理文丨苏扬编辑丨徐青阳如果AI能够证明黎曼猜想,需要等到什么时候?2022年2月份,OpenAI CEO山姆·奥特曼在介绍GPT攻克数学竞赛题时,发出了类似的疑问。四年多后,这个问题最终被“解决”,只不过利用AI证明黎曼猜想的是OpenAI的“死敌”Anthrop

    来源 腾讯网
  9. Gemini上Mac可代操作电脑,Runway推270亿参数机器人模型

    本期重点包括Google向数亿用户免费开放Gemini Tasks,并在Mac端推出可代操作电脑的Computer use功能。Runway发布27B参数机器人世界模型Praxis-1,OpenAI开放GPT-Live-1.1语音API。此外,Cognition评测显示Gemini 4 Neon在代码任务上性价比突出,

    来源 AI 应用前沿
  10. 问诊AI?一场死亡背后的追问

    2026年2月,美国西雅图,31岁的华人女工程师万博雯被发现死于公寓。法医鉴定为癫痫猝死,她体内抗癫痫药物拉莫三嗪的浓度,仅为治疗下限的五分之一。 警察介入调查后发现,她曾咨询ChatGPT如何用药并按照其建议擅自修改了医生诊断的用药剂量。 她至少158次向其表达过对减药的担忧,描述过意识混乱、时间感丧失等症状。但每一

    来源 AI 行业观察
  11. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
向下滚动自动加载更多