GPT-6 Astra评测:材料约束降29.1分,代码执行升19.5分
GPT-6 Astra今日Smoke评测中材料约束从89.80分跌至60.70分,降幅29.1分,代码执行则从75.00分升至94.50分,主榜从81.66分微降至79.29分。单日10题抽样导致的波动是主因。
GPT-6 Astra在今日Smoke评测里的材料约束得分掉到60.70分,昨天还是89.80分,降幅29.1分;代码执行则从75.00分涨到94.50分。主榜整体分数由81.66分变成79.29分。
得分对比数据
代码执行维度昨日75.00分、今日94.50分,上升19.5分;材料约束维度昨日89.80分、今日60.70分,下降29.1分;工程判断从100.00分降至75.00分;任务表达从87.50分升至90.00分;诚信评级维持pass。
成因分析
Smoke评测每天只出10题、每个维度2题,单日分数的标准差本来就偏大。材料约束和代码执行一跌一涨、方向完全相反,更像是题目抽签带来的随机波动,而不是模型能力真的退步。材料约束的题目可能把严格的材料忠实度要求考得比较集中,正好撞上模型在特定约束下的短板;代码执行那边抽到的则是模型拿手的场景,于是两头分化。
工程判断侧榜(AI辅助评估)掉了25分,也说明当天题目组合的难度差异不小。任务表达小涨2.5分,表明模型在表达层面还算稳。
对使用者的含义
对重材料约束场景的企业来说,比如合同生成、知识库问答,单次Smoke只有60.70分,意味着在要求严格引用原文的任务里,幻觉或偏离可能更多。靠代码执行的开发者可以接着用这个模型,94.50分说明它在代码正确性上依然占优。
如果团队既要材料约束又要代码执行,属于混合场景,建议连着观察多日再定选型,别被单日波动带偏。
战略判断
就现有得分对比看,材料约束29.1分的跌幅最可能来自题目抽签,而不是模型真实退化;主榜只降2.4分也支持这个判断。下一期评测里材料约束若能回到80分以上,即可确认当天属于正常波动;若一直在70分以下,就得再验证模型在grounding维度的稳定性。
目前的数据还不足以对GPT-6 Astra做负面的战略下调,保持观察为宜。