在今天的Smoke评测里,Claude Opus 4.7的材料约束得分由昨天的88.30分滑落到71.40分,少了16.9分;主榜得分却从79.56分升到84.11分,净增4.6分。

得分对比数据

再看其余维度:代码执行由72.40分涨到94.50分,增加22.1分;材料约束从88.30分落到71.40分;工程判断侧榜从55.60分降到50.00分;任务表达侧榜由85.40分掉到55.40分。诚信评级仍为pass。

主榜净升的直接原因

主榜的加权构成只有两项:代码执行和材料约束。代码执行一天里多出22.1分,压过了材料约束丢掉16.9分的拖累,主榜因此整体往上走。材料约束下滑幅度不小,但没能把代码执行的涨幅抵消掉。

可能成因分析

Smoke评测一天只出10道题,每个维度摊到2题,单日抽题带来的波动是最主要的可能原因。材料约束这一项如果抽到对原始材料忠实度要求更严的案例,模型答偏一点就会把该维度分数直接拽下来;代码执行那边如果碰上偏简单的调试或计算任务,表现就容易大幅走高。任务表达侧榜跌了30分,更说明当天题目分布可能落在模型稳定输出区间之外,而不是模型能力出了系统性退化。

要说模型真的退化了,眼下还缺多日连续数据的支撑。单日里材料约束和任务表达一起往下走,代码执行却大幅上冲,说明模型在不同任务类型上的表现差异被当天的题目放大了。

对使用者的具体含义

偏重代码执行的团队,按今天的数据能拿到更高的可用性——Smoke评测中代码执行94.50分已经接近高位区间。反过来,靠材料忠实度吃饭的场景,比如文档摘要、合同审查、知识提取,就要留心风险:材料约束71.40分已经低于昨天,输出偏离原文的情况可能更多。

工程判断和任务表达两个侧榜同时走低,说明在需要复杂决策或清晰任务拆解的流程里,模型的一致性可能出现起伏。开发者放到生产环境调用时,对材料约束相关的输出最好多加一道二次校验。

战略判断

只看单日数据,主榜上行主要是代码执行拉起来的,材料约束下滑更像是抽题运气所致,而非模型真实退化。现有信号还不足以给Claude Opus 4.7扣上系统性问题的帽子,下一期Smoke评测建议继续盯住材料约束和代码执行这两个主榜维度。要是材料约束连续两日都停在75分以下,就该启动多日稳定性验证了。

对选型企业来说,今天的数据还不支持把Claude Opus 4.7从材料敏感场景里拿掉,但工作流里得加上材料校验这一步。代码执行这块的提升,值得在纯代码任务中再测一测。