Claude Opus 4.7 单日评测:代码执行跌 19.5 分,材料约束升 19.3 分
今日Smoke评测中,Claude Opus 4.7代码执行从94.50分跌至75.00分(-19.5),材料约束从70.00分升至89.30分(+19.3),主榜仅降2分至81.44。工程判断与任务表达同步上升,诚信评级维持pass。
今天的 Smoke 评测里,
Claude Opus 4.7 的代码执行维度从 94.50 分掉到 75.00 分,少了 19.5 分;材料约束则从 70.00 分涨到 89.30 分,多了 19.3 分。主榜总分从 83.48 分降到 81.44 分,只跌了 2 分。
数据事实与维度拆解
Smoke 评测每天只出 10 道题,每个维度 2 道题。主榜由代码执行和材料约束两项构成,工程判断和任务表达归入侧榜。今天主榜的 81.44 分,正是代码执行 75.00 分与材料约束 89.30 分共同算出来的。侧榜方面,工程判断从 55.60 分升到 75.00 分,任务表达从 37.50 分升到 50.00 分,诚信评级仍然是 pass。
成因分析:抽签波动还是模型退化
一天 10 道题的样本量下,题目抽签的随机性是最主要的变数。代码执行和材料约束同时出现接近 20 分的反向变动,说明模型面对不同题型时的表现差距被放大了。反过来看,如果真是能力退化,一般会伴随多个维度一起下滑;可今天侧榜两项都在涨,这更像是题目分布的问题,而非整体能力下降。
材料约束能涨 19.3 分,或许是今天抽到了更看重引用忠实度的题目;代码执行之所以暴跌,可能是因为抽中的代码题需要复杂多步推理,或者本身就是边缘案例。两项得分一涨一跌正好抵消,主榜这才只微降了 2 分。
对使用者的具体含义
对重度依赖代码生成的团队来说,单日代码执行 75.00 分意味着在复杂调试或多文件重构这类场景里,模型输出的稳定性可能不如前一天的 94.50 分。材料约束拿到 89.30 分,则说明在需要严格照着参考文档来的 RAG 场景下,今天的表现比昨天好。
工程判断和任务表达这两项侧榜上行,对需要模型做架构决策或拆解需求的开发者来说,今天用起来会顺手一些。不过主榜的波动也提醒一点:选型不能只盯单日分数,还得多看几天的连贯表现。
战略判断
从今天的数据看,Claude
Opus 4.7 主榜得分的变化,主要是代码执行与材料约束随机抵消的结果,目前没有证据支持模型真的退化了。Smoke 评测每天每维度只出 2 题,这种设计本身就会放大波动,单日 19.5 分的降幅仍在正常区间内。
如果下一期代码执行还停在 80 分以下,同时材料约束也回落,那就需要重点验证模型在代码类任务上对题型是否敏感。眼下的数据只反映出抽签波动,还够不上持续关注的信号。