Claude Opus 4.7材料约束掉17.6分,代码执行涨24.8分,主榜反升
Claude Opus 4.7今日Smoke评测主榜升至78.09分,代码执行从74.30跃升至99.10,材料约束却从70.00跌至52.40。工程判断更从87.50暴跌至33.30。单日10题快测下,核心维度剧烈反向波动,需判断是抽签偶然还是模型一致性问题。
今天的Smoke评测里,
Claude Opus 4.7的材料约束得分从昨天的70.00分落到52.40分,跌了17.6分;代码执行则从74.30分冲到99.10分,涨了24.8分。主榜整体由72.37分升到78.09分。
得分对比事实
从昨天到今天,各项分数的具体变化是:代码执行74.30→99.10,材料约束70.00→52.40,工程判断87.50→33.30,任务表达60.40→50.00,主榜72.37→78.09,诚信评级仍为pass。
波动成因分析
Smoke评测每天只出10道题,每个维度2道,单日抽签带来的波动本就在正常范围内。代码执行涨24.8分、材料约束跌17.6分,两者反向剧烈变化,最可能来自当天题目抽签的偶然性,而不是模型真实能力退化。工程判断大跌54.2分,同样更像抽签造成的样本偏差,而非系统性退化。
对使用者的含义
以代码生成为主的团队,短期内可以继续用Claude
Opus 4.7,这一维度已经拿到99.10分。对材料约束敏感的场景,比如必须严格依据给定文档生成内容的任务,则要额外做人工校验,52.40分已经低于昨天的水平。
战略判断
工程判断从87.50分掉到33.30分,说明该模型在侧榜维度上的表现相当不一致。主榜得分上升,主要靠代码执行一个维度拉动,材料约束和工程判断同时下滑,构成潜在风险信号。下一期评测要重点看工程判断能否恢复,否则在需要综合判断的任务里,这个模型的使用价值可能被低估。
对照现有得分,Claude Opus 4.7的异常主要落在材料约束与工程判断同步下滑上,并不是整体能力崩盘。开发者让它做多步骤推理任务时,应增加中间结果检查环节。
代码执行99.10分与材料约束52.40分同时出现,说明模型在不同能力轴上出现明显分化。
对选型企业来说,如果当前工作流以代码生成为主,Claude Opus 4.7今天的表现仍有竞争力;如果工作流对材料忠实度要求很高,则要观察后续多日数据再作决定。
诚信评级保持pass,模型没有出现作答诚信问题,波动集中在能力维度本身。
把全部对比数据放在一起看,主榜小幅上升掩盖了侧榜维度的显著下滑,这一信号下期需要重点跟踪。