今日 Smoke 评测里,Claude Sonnet 4.6 的主榜成绩出现大幅回落,从 82.31 分掉到 70.61 分,下跌 11.7 分。

得分拆解:材料约束主导跌幅

主榜的构成只有两项加权——代码执行和材料约束。代码执行这次从 99.50 分降到 94.50 分,少了 5 分;材料约束则从 61.30 分跌到 41.40 分,一口气降了 19.9 分。主榜总跌幅里,材料约束这一项占去了绝大部分,排名也因此被直接拖低。

侧榜上的工程判断反而涨了,由 60.80 分升到 75.00 分;任务表达没有变化,仍是 37.50 分。诚信评级维持在 pass。

成因分析:抽签波动还是真实退化

Smoke 评测每天只出 10 道题,每个维度分到 2 题。样本这么小,材料约束单日 19.9 分的跌幅既可能是抽题抽出来的,也可能说明模型在处理材料忠实度时出现了系统性偏差。代码执行只掉 5 分,还在正常波动区间内。工程判断反向涨了 14.2 分,可见模型在侧榜任务上的表现并没有跟着一起垮。

眼下这份数据分不清是一次性抽签异常,还是能力真的退化了。材料约束的题目一旦涉及长文本引用或者指令冲突,错一道题就足以让分数大幅摆动。

对使用者的含义

受冲击最大的是重度依赖材料约束的场景。企业 RAG 系统、合同审查工具、知识库问答应用,凡是要求模型严格照着上传文档或指令来的,都应当马上加一道人工校验。代码执行那边影响小一些,日常写脚本、调代码照常可以用。

对开发者来说,工程判断上升说明模型在架构设计这类任务上还有余力,混合工作流里可以继续让它处理侧榜任务。

战略判断

材料约束单日 19.9 分的跌幅已经超出正常抽签区间,是一个需要下期验证的信号。明天材料约束要是能回到 55 分以上,这次下跌更可能是题目波动;如果一直在 45 分以下,就得考虑模型真的退化了。

现在只有一期数据,还撑不起“连续退化”的结论。建议把 Claude Sonnet 4.6 的材料约束表现放进每日跟踪清单,连看三期再决定要不要调整选型。