Claude Sonnet 4.6:Smoke主榜跌11.7分,材料约束单项降19.9
Claude Sonnet 4.6今日Smoke评测主榜从82.31分跌至70.61分,材料约束从61.30分暴跌至41.40分,降幅19.9分。代码执行小降5分,工程判断反升14.2分。单日10题快测下,材料约束异常下滑值得追踪。
Claude Sonnet 4.6在今天的Smoke评测里主榜分数掉了下来——从82.31分跌到70.61分,少了11.7分。
得分拆解:材料约束主导跌幅
主榜的构成其实只有两块:代码执行和材料约束,按加权计分。今天代码执行由99.50分退到94.50分,降5分;材料约束则从61.30分掉到41.40分,降19.9分。主榜总跌幅的大头就出在材料约束这一项上,整体排名被它直接拖低。
侧榜方面,工程判断从60.80分升到75.00分,任务表达仍是37.50分,没有变化。诚信评级维持在pass。
成因分析:抽签波动还是真实退化
Smoke评测一天只出10道题,每个维度2题。样本这么小,材料约束单日19.9分的跌幅既可能是抽到的题目不合适,也可能说明模型处理材料忠实度时出现了系统性偏差。代码执行只降5分,还在正常波动区间内。工程判断反倒涨了14.2分,可见模型在侧榜任务上的表现没有跟着一起下滑。
眼下这份数据还分不清是一次性抽签异常,还是能力真的退化了。材料约束的题如果牵涉长文本引用或者指令冲突,一道题答错就足以让分数大幅摆动。
对使用者的含义
受冲击最大的是重度依赖材料约束的场景。企业RAG系统、合同审查工具、知识库问答应用这类需要模型严格照着上传文档或指令办事的地方,应当马上补上人工校验环节。代码执行场景影响相对小,日常写脚本、调脚本照常可以用。
开发者这边,工程判断的上升说明模型在架构设计类任务上还有余力,混合工作流里可以继续让它处理侧榜任务。
战略判断
材料约束单日跌19.9分,已经超出正常抽签的区间,这个信号需要下期数据来验证。明天材料约束若能回到55分以上,这次下跌更可能是题目波动所致;要是继续低于45分,就得考虑模型真实退化的可能。
目前只有一期数据,还撑不起“连续退化”的结论。建议把Claude Sonnet 4.6的材料约束表现加进每日跟踪清单,连看三期再做选型上的调整。