GPT-o3 Smoke评测:材料约束跌至83.30,主榜反升78.08
今日Smoke评测中GPT-o3材料约束从100.00跌至83.30,代码执行从50.00升至73.80,主榜从72.50升至78.08。单日10题抽样下,材料约束-16.7分与代码执行+23.8分形成明显反差,需分析波动成因与关注必要性。
GPT-o3今日Smoke评测结果出炉:材料约束得分从昨日100.00滑落至83.30,代码执行得分则由50.00升至73.80,主榜得分从72.50上升至78.08。
数据事实拆解
Smoke评测每日每个维度只出2道题,材料约束单日丢掉16.7分,等于至少有1题没过材料忠实度检查;代码执行涨了23.8分,说明该维度2题都有明显进步。工程判断维持在75.00不动,任务表达则从90.00降到85.00。主榜只由代码执行和材料约束加权构成,代码执行的大幅上升因此直接抵消了材料约束的损失。
成因分析:抽签波动概率更高
每天10道题的抽样规模本来就小,单题得分权重高达12.5分。材料约束昨天还是满分100.00,今天83.30,差值正好对应1题失分;代码执行昨天50.00,今天73.80,差值对应至少1题得分提升。工程判断和任务表达的变动幅度都不大,说明模型在这些侧榜维度上没有出现系统性退化。说到底,材料约束的下跌更像是题目抽签带来的随机波动,而不是模型真实能力退步。
材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。
对使用者的含义
合同审核、政策解读这类重度依赖材料忠实度的企业场景,GPT-o3今天的表现提示需要增加人工复核环节。代码执行得分提升,对自动化脚本生成、数据处理 pipeline 是利好,重代码执行的团队可以继续用这个模型,但材料约束敏感的任务上应设置双模型校验。
- 材料约束敏感场景:建议增加人工抽检比例,避免单题失分导致整体输出偏差。
- 代码执行主导场景:今日73.80分已接近可用阈值,可作为日常工具继续观察。
战略判断
单日数据来看,主榜上升5.6分说明GPT-o3整体能力没有出现系统性下滑,材料约束的-16.7分更可能来自抽签波动,而非模型退化。诚信评级维持pass,也进一步支持这一判断。下一期建议继续追踪材料约束得分,若连续两日低于90.00再启动深度复测;当前无需下调对GPT-o3整体能力的评估。