GPT-o3评测代码执行跌27.2分,材料约束涨35分
GPT-o3今日Smoke评测中代码执行从98.80分跌至71.60分,降幅27.2分;材料约束从51.70分升至86.70分,增35分;主榜小幅升至78.40分。单日10题抽样导致的波动可能是主因,需持续观察一致性。
GPT-o3今日在Smoke评测里的代码执行得分掉到71.60分,昨天还是98.80分,一天少了27.2分;材料约束则从51.70分升到86.70分,涨了35分。主榜得分从77.61分升到78.40分。
得分明细与直接对比
分维度看,代码执行昨日98.80分、今日71.60分,工程判断从87.50分降到75.00分,任务表达从77.90分升到100.00分,诚信评级仍是pass。主榜只涨了0.8分,两个核心可审计维度一跌一涨,总体算是持平。
波动成因分析
Smoke评测每天只有10题,每个维度2题,样本量太小,单日分数的标准差容易被放大。代码执行和材料约束一跌一涨、方向相反,最可能的原因是今天抽到的题目难度分布变了,模型参数本身并没有退化。工程判断掉了12.5分、任务表达涨了22.1分,也能说明各维度受题库随机性影响是各自独立的。
对使用者的具体含义
对重度依赖代码执行的开发团队来说,调用GPT-o3时要多加一道本地验证,尤其是复杂算法或多步推理的任务,单次回答的不确定性已经比昨天的低水平有所上升。反过来,在材料约束得分大幅提高的情况下,那些要求模型严格按输入约束或格式执行的自动化流程,成功率会更高。
战略判断
只看单日数据,GPT-o3主榜得分仍在78.40分区间,代码执行那27.2分的跌幅还不足以证明主榜出现趋势性下滑。稳定性维度31.7分已经说明这个模型在小样本测试里一致性偏低,下一期可以继续追踪同一维度连续三日的得分标准差,如果连续出现类似幅度的波动,就要重新评估它在生产环境中的可靠性。
现有数据只支持“抽样波动是主因”这个判断,不支持“模型真实退化”的结论。企业选型时仍可把GPT-o3列入候选,但代码执行场景要设每日抽检机制。