GPT-6 Luna在今日Smoke评测里,代码执行得分由昨日的99.10分掉到75.00分,材料约束则从62.80分升到94.80分,主榜得分从82.77分提高到83.91分。

得分变化事实

代码执行这一维度,昨日99.10分,今日75.00分,一天少了24.1分。材料约束维度昨日62.80分,今日94.80分,一天多了32分。工程判断(侧榜,AI辅助评估)从100.00分降到63.90分,任务表达(侧榜,AI辅助评估)从100.00分降到83.80分。主榜得分昨日82.77分,今日83.91分,涨了1.1分。诚信评级仍是pass。

可能成因分析

Smoke评测每天只出10道题,每个维度2题,样本这么少,题目抽签带来的波动就成了主要机制。代码执行和材料约束朝相反方向大幅变动,说明当天抽到的代码执行题在难度或类型上与昨日差别明显,材料约束的题目反倒偏容易。工程判断和任务表达一起走低,可这两个都是侧榜维度,不直接参与主榜计算。主榜得分只是微涨,两个核心可审计维度一升一降,相互抵消后整体还算稳。

目前没有连续多日的数据能支撑模型真实退化的结论,单日出现方向相反的变化,更像随机抽样的特征,而不是模型能力系统性下滑。

对使用者的含义

偏重代码执行的团队,当天任务里可能碰上更高的失败率,得备好替代方案或者安排人工复核。对材料约束敏感的场景,比如文档生成、引用核查,表现可能更好。靠主榜排名做选型的企业可以接着观察,主榜得分并没有实质下滑。

战略判断

就现有单日数据看,GPT-6 Luna的主榜得分仍然稳定,代码执行大跌更像是题目抽签的结果,而非模型退化的信号。下一期评测要验证代码执行能否回到90分以上,如果连续两日低于80分,就值得进一步关注。工程判断侧榜的大幅波动不改变主榜结论。

说到底,当期数据并不支持下调对GPT-6 Luna代码执行能力的长期评估,后续Smoke评测的维度一致性还需继续跟踪。