GPT-6 Astra在今日Smoke评测里,材料约束只拿到60.70分,昨天还是89.80分,掉了29.1分;代码执行则从75.00分升到94.50分。主榜整体由81.66分滑到79.29分。

得分对比数据

分维度看,代码执行昨日75.00分、今日94.50分,涨了19.5分;材料约束昨日89.80分、今日60.70分,跌了29.1分。工程判断由100.00分降到75.00分,任务表达从87.50分升到90.00分,诚信评级仍是pass。

成因分析

Smoke评测一天只出10道题,每个维度2道,单日分数的标准差本来就大。材料约束和代码执行一跌一涨、方向完全相反,更可能是抽题随机性造成的,而不是模型能力真的退了。材料约束那几道题也许偏重严格的材料忠实度,正好戳中模型在特定约束下的软肋;代码执行抽到的则是它拿手的场景,于是两头拉得很开。

工程判断侧榜(AI辅助评估)掉了25分,同样说明当天题目组合的难度差异不小。任务表达微升2.5分,表明模型在表达这一层还算稳。

对使用者的含义

做重材料约束场景的企业,比如合同生成、知识库问答,要留个心:单次Smoke只有60.70分,意味着在严格引用原文的任务里,幻觉或偏离可能更多。靠代码执行的开发者可以接着用,94.50分说明它在代码正确性上还有优势。

既要材料约束又要代码执行的混合场景团队,最好连看几天再定选型,别被单日波动带偏。

战略判断

就现有得分对比来看,材料约束这29.1分的跌幅最可能是抽题造成的,而非模型真实退化。主榜只降2.4分,也撑得住这个判断。下期评测要是材料约束回到80分以上,就能确认当天属于正常波动;如果一直在70分以下,那就得再验证模型在grounding维度的稳定性。

当前数据不足以对GPT-6 Astra做出负面的战略下调,维持观察即可。