GPT-6 Astra评测:材料约束降至60.70分,代码执行升至94.50分
GPT-6 Astra今日Smoke评测中材料约束从89.80分跌至60.70分,降幅29.1分,代码执行则从75.00分升至94.50分,主榜从81.66分微降至79.29分。单日10题抽样导致的波动是主因。
GPT-6 Astra在今日Smoke评测里,材料约束只拿到60.70分,昨天还是89.80分,掉了29.1分;代码执行则从75.00分升到94.50分。主榜整体由81.66分滑到79.29分。
得分对比数据
分维度看,代码执行昨日75.00分、今日94.50分,涨了19.5分;材料约束昨日89.80分、今日60.70分,跌了29.1分。工程判断由100.00分降到75.00分,任务表达从87.50分升到90.00分,诚信评级仍是pass。
成因分析
Smoke评测一天只出10道题,每个维度2道,单日分数的标准差本来就大。材料约束和代码执行一跌一涨、方向完全相反,更可能是抽题随机性造成的,而不是模型能力真的退了。材料约束那几道题也许偏重严格的材料忠实度,正好戳中模型在特定约束下的软肋;代码执行抽到的则是它拿手的场景,于是两头拉得很开。
工程判断侧榜(AI辅助评估)掉了25分,同样说明当天题目组合的难度差异不小。任务表达微升2.5分,表明模型在表达这一层还算稳。
对使用者的含义
做重材料约束场景的企业,比如合同生成、知识库问答,要留个心:单次Smoke只有60.70分,意味着在严格引用原文的任务里,幻觉或偏离可能更多。靠代码执行的开发者可以接着用,94.50分说明它在代码正确性上还有优势。
既要材料约束又要代码执行的混合场景团队,最好连看几天再定选型,别被单日波动带偏。
战略判断
就现有得分对比来看,材料约束这29.1分的跌幅最可能是抽题造成的,而非模型真实退化。主榜只降2.4分,也撑得住这个判断。下期评测要是材料约束回到80分以上,就能确认当天属于正常波动;如果一直在70分以下,那就得再验证模型在grounding维度的稳定性。
当前数据不足以对GPT-6 Astra做出负面的战略下调,维持观察即可。