GPT-5.5 Smoke评测:代码执行涨30.3分,材料约束降18分
今日Smoke评测中GPT-5.5代码执行从69.50升至99.80,材料约束从79.30跌至61.30,主榜从73.91升至82.48。单日10题快测下,材料约束-18分与代码执行+30.3分形成鲜明对比,需判断是抽签波动还是真实退化。
GPT-5.5在今日Smoke评测里,代码执行拿到99.80分,昨天是69.50;材料约束61.30分,昨天为79.30;主榜从73.91升到82.48。
得分对比与核心发现
今天代码执行维度到99.80,比昨天多了30.3分;材料约束只有61.30,比昨天少了18分。工程判断和任务表达仍是75.00和90.00,没有变化,诚信评级还是pass。主榜由代码执行和材料约束两个维度加权算出来,今天82.48的涨幅,主要靠代码执行这一块拉上去。
可能成因分析
Smoke评测一天只出10道题,每个维度2题,样本这么少,单日分数上下跳属于正常。材料约束掉18分、代码执行涨30.3分,两个方向同时出现,更像是抽题时的随机性:今天抽到的代码执行题,或许更贴近模型眼下的训练分布;材料约束题里,或许有更多要求严格贴合原文的约束条件。两个维度反向大幅变动,找不到同方向系统性退化的证据,所以更可能是抽签波动,而不是模型能力真的退步。
代码执行99.80分和材料约束61.30分出现在同一天,说明模型在不同任务类型上的差距被放大了。
对使用者的含义
按今天的数据,偏重代码执行的团队可以拿到更高的置信度,99.80分说明模型在代码生成和调试场景里表现稳。靠材料忠实度的场景就有风险了,61.30分意味着模型更容易跑偏给定材料或指令,比较适合对原文忠实度要求不高的辅助写作。工程判断和任务表达没变,说明模型在侧榜能力上没出现明显波动。
战略判断
对照今天的得分,材料约束的-18分更该归到抽题波动上,而不是模型退化。主榜82.48的上升,说明代码执行权重在眼下评测里占优。下一期建议接着盯材料约束,要是连续两天低于65分,再考虑模型是不是真变了。目前的数据还撑不起下调GPT-5.5整体能力的判断。
工程判断75.00和任务表达90.00一点没动,这也印证主榜的波动集中在代码执行和材料约束这两个可审计维度。使用者可以照自己场景的权重来选:代码执行占比高的项目优先用,材料约束敏感的项目得加一道人工校验。
今天的数据完整记下了GPT-5.5在Smoke评测中的维度得分变化,代码执行99.80分、材料约束61.30分、主榜82.48分都是直接测出来的。超出这些数值的推断,都缺依据。