GPT-6.1 Sol评测:材料约束跌29.1分,代码执行升19.5分
GPT-6.1 Sol今日Smoke评测材料约束从89.80分跌至60.70分,降29.1分,代码执行从75.00分升至94.50分,主榜从81.66分降至79.29分。单日10题抽签导致的波动仍是主要可能原因。
GPT-6.1 Sol在今日Smoke评测里,材料约束这一项从89.80分掉到60.70分,一天少了29.1分;代码执行则从75.00分涨到94.50分,多了19.5分。主榜得分由81.66分变为79.29分。
核心维度对比数据
主榜只算两个可审计维度:代码执行和材料约束。材料约束昨日89.80分,今日60.70分,单日下降29.1分;代码执行昨日75.00分,今日94.50分,单日上升19.5分。两项加权之后,主榜净降2.4分。另外,工程判断从100.00分降到75.00分,任务表达从87.50分降到85.00分,诚信评级仍是pass。
波动成因分析
Smoke评测一天只出10道题,每个维度2题,样本量相当小。材料约束一天掉29.1分、代码执行同时涨19.5分,最可能的原因是题目抽签的随机分布,而不是模型参数出了系统性退化。材料约束的题如果扎堆在必须严格引用给定材料、不许用外部知识的场景,模型错一次就可能把整个维度拉下来。代码执行的题要是正好撞上模型拿手的算法或调试题型,分数自然往上走。两个维度一升一降、方向相反,更说明是抽签在起作用。
材料约束60.70分与代码执行94.50分的反差,指向题目内容而非模型能力本身出现结构性变化。
对使用者的具体含义
对重度依赖材料忠实度的企业团队来说,GPT-6.1 Sol今天材料约束只有60.70分,意味着在必须严格遵循输入文档、不许编造的场景里,单次调用的风险明显上升。代码执行94.50分说明它在纯编程任务上还是比较好用。靠工程判断吃饭的开发者要留意侧榜75.00分,这提示在需要架构决策或做权衡的环节,模型输出的一致性可能达不到预期。
战略判断
就现有数据看,GPT-6.1 Sol主榜79.29分仍在可用区间,但材料约束单日29.1分的波动已经超出正常抽签能解释的范围。下一期Smoke评测如果材料约束还低于70分,就得考虑模型真实退化的可能;如果回到80分以上,就可以认定今天只是一次孤立的抽签事件。工程判断侧榜75.00分和材料约束60.70分是一起走低的,下期值得重点验证两者背后有没有共同机制。
诚信评级保持pass,说明模型没有出现系统性造假或者回避回答的情况。稳定性维度这次没给具体数值,没法据此判断回答一致性。整体看,今天数据最直接的信号是材料约束维度对小样本题目非常敏感,使用者在关键任务里应当加一道人工复核。