GPT-o3今日Smoke评测成绩出炉:材料约束得分由昨日的100.00滑到83.30,代码执行则从50.00升到73.80,主榜得分由72.50涨至78.08。

数据事实拆解

这套评测每天每个维度只出2道题。材料约束一天丢掉16.7分,意味着至少有1道题没过材料忠实度这一关;代码执行涨了23.8分,说明该维度2道题都有明显起色。工程判断仍为75.00,没有变动;任务表达从90.00退到85.00。主榜只由代码执行和材料约束两项加权而成,代码执行的大幅上升,直接把材料约束的损失顶了回来。

成因分析:抽签波动概率更高

每天10道题的抽样规模实在太小,单题权重就有12.5分。材料约束昨天还是满分100.00,今天83.30,一算差值,正好对应1题失分;代码执行昨天50.00,今天73.80,差值至少对应1题得分提升。工程判断和任务表达变化都不大,模型在这些侧榜维度上没露出系统性退化的迹象。综合来看,材料约束下跌更像是题目抽签带来的随机波动,而不是模型真实能力退步。

有分析人士指出:“材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。”

对使用者的含义

合同审核、政策解读这类对材料忠实度重度依赖的企业场景,GPT-o3今天的表现提示需要多设一道人工复核。代码执行分数上来了,对自动化脚本生成、数据处理 pipeline 是好事,重代码执行的团队可以接着用这个模型,但在材料约束敏感的任务上,最好配双模型校验。

  • 材料约束敏感场景:建议提高人工抽检比例,别让单题失分把整体输出带偏。
  • 代码执行主导场景:今日73.80分已经贴近可用阈值,可以作为日常工具继续观察。

战略判断

单日数据放到一起看,主榜涨了5.6分,说明GPT-o3整体能力没有系统性下滑,材料约束的-16.7分更可能来自抽签波动,而非模型退化,诚信评级维持pass也支持这个判断。下一期可以继续盯材料约束得分,若连续两日低于90.00再启动深度复测;眼下不必下调对GPT-o3整体能力的评估。