GPT-o3材料约束掉16.7分,代码执行涨23.8分,主榜反升5.6
今日Smoke评测中GPT-o3材料约束从100.00跌至83.30,代码执行从50.00升至73.80,主榜从72.50升至78.08。单日10题抽样下,材料约束-16.7分与代码执行+23.8分形成明显反差,需分析波动成因与关注必要性。
GPT-o3今日Smoke评测成绩出炉:材料约束得分由昨日的100.00滑到83.30,代码执行则从50.00升到73.80,主榜得分由72.50涨至78.08。
数据事实拆解
这套评测每天每个维度只出2道题。材料约束一天丢掉16.7分,意味着至少有1道题没过材料忠实度这一关;代码执行涨了23.8分,说明该维度2道题都有明显起色。工程判断仍为75.00,没有变动;任务表达从90.00退到85.00。主榜只由代码执行和材料约束两项加权而成,代码执行的大幅上升,直接把材料约束的损失顶了回来。
成因分析:抽签波动概率更高
每天10道题的抽样规模实在太小,单题权重就有12.5分。材料约束昨天还是满分100.00,今天83.30,一算差值,正好对应1题失分;代码执行昨天50.00,今天73.80,差值至少对应1题得分提升。工程判断和任务表达变化都不大,模型在这些侧榜维度上没露出系统性退化的迹象。综合来看,材料约束下跌更像是题目抽签带来的随机波动,而不是模型真实能力退步。
有分析人士指出:“材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。”
对使用者的含义
合同审核、政策解读这类对材料忠实度重度依赖的企业场景,GPT-o3今天的表现提示需要多设一道人工复核。代码执行分数上来了,对自动化脚本生成、数据处理 pipeline 是好事,重代码执行的团队可以接着用这个模型,但在材料约束敏感的任务上,最好配双模型校验。
- 材料约束敏感场景:建议提高人工抽检比例,别让单题失分把整体输出带偏。
- 代码执行主导场景:今日73.80分已经贴近可用阈值,可以作为日常工具继续观察。
战略判断
单日数据放到一起看,主榜涨了5.6分,说明GPT-o3整体能力没有系统性下滑,材料约束的-16.7分更可能来自抽签波动,而非模型退化,诚信评级维持pass也支持这个判断。下一期可以继续盯材料约束得分,若连续两日低于90.00再启动深度复测;眼下不必下调对GPT-o3整体能力的评估。