GPT-6.1 Sol评测:材料约束跌29.1分,代码执行涨19.5分
GPT-6.1 Sol今日Smoke评测材料约束从89.80分跌至60.70分,降29.1分,代码执行从75.00分升至94.50分,主榜从81.66分降至79.29分。单日10题抽签导致的波动仍是主要可能原因。
今日Smoke评测里,
GPT-6.1 Sol的材料约束得分由89.80分掉到60.70分,少了29.1分;代码执行则从75.00分升到94.50分,多了19.5分。主榜得分从81.66分下滑到79.29分。
核心维度对比数据
主榜只由两个可审计维度组成:代码执行和材料约束。材料约束昨天89.80分,今天60.70分,一天掉了29.1分;代码执行昨天75.00分,今天94.50分,一天涨了19.5分。两项加权之后,主榜净降2.4分。工程判断从100.00分降到75.00分,任务表达从87.50分降到85.00分,诚信评级仍然是pass。
波动成因分析
Smoke评测每天只出10道题,每个维度2道,样本量很小。材料约束一天跌29.1分、代码执行同时涨19.5分,更像是题目抽签的随机分布造成的,而不是模型参数出现了系统性退化。材料约束的题如果扎堆在必须严格引用给定材料、不许用外部知识的场景,模型错一次就可能把整个维度的分数拉下来。代码执行的题要是正好落在模型擅长的算法或调试题型上,分数自然往上走。两个维度朝相反方向动,也给抽签波动的解释添了一层依据。
材料约束60.70分与代码执行94.50分形成反差,指向的是题目内容,而非模型能力本身发生了结构性变化。
对使用者的具体含义
对高度依赖材料忠实度的企业团队来说,GPT-6.1 Sol今天材料约束只有60.70分,意味着在必须严格遵循输入文档、禁止幻觉的场景里,单次调用的风险明显上升。代码执行94.50分则说明,纯编程任务上这个模型依然比较能用。靠工程判断做事的开发者要留意侧榜75.00分,这提示在需要架构决策或权衡的环节,模型输出的一致性可能不如预期。
战略判断
按眼下这些数据,GPT-6.1 Sol主榜79.29分还在可用区间,但材料约束单日29.1分的波动已经超出正常抽签能解释的范围。下期Smoke评测如果材料约束仍低于70分,就得考虑模型真实退化的可能;要是回到80分以上,则可判定今天属于孤立的抽签事件。工程判断侧榜75.00分和材料约束60.70分一起走低,下期应重点验证两者是否存在共同机制。
诚信评级维持pass,表明模型没有出现系统性造假或回避回答的情况。稳定性维度这次没给具体数值,无法据此判断回答一致性。总体看,今天数据最直接的信号是材料约束维度对小样本题目高度敏感,使用者在关键任务中应增加人工复核环节。