Claude Opus 4.7主榜骤降11.4分:材料约束单日失守19.3分
Claude Opus 4.7今日Smoke评测主榜从94.91分跌至83.48分,降幅11.4分。其中材料约束从89.30分跌至70.00分,单日下降19.3分,代码执行下降5分。文章分析本次波动成因并给出选型判断。
今日Smoke评测里,
Claude Opus 4.7的主榜成绩由94.91分滑到83.48分,一口气少了11.4分;材料约束这一项更从89.30分掉到70.00分。
得分变化细节
具体来看,代码执行少了5分,从99.50分落到94.50分;工程判断由65.00分降至55.60分,跌去9.4分;任务表达则从43.80分降到37.50分,下降6.3分。诚信评级仍是pass。
成因分析
材料约束单日掉了19.3分,跌幅远大于代码执行的5分,可见这轮波动主要出在对材料的忠实度上。Smoke评测每天只出10题,每个维度2题,抽到的题目里一旦有要求严格照给定材料作答的案例,模型输出跑偏就会把这个维度的分数直接拽下来。工程判断和任务表达同时走低,也说明在需要工程取舍、任务表述的题目上,模型出现了更多偏离。
眼下这组数据还分不清是抽签波动还是模型真退化。材料约束跌得这么狠,更像是单次抽签里高难度约束题占比变高,而不是整体能力下滑——毕竟代码执行还守在94.50分的高位。
对使用者的含义
以代码执行为主的团队照旧可以用Claude
Opus 4.7,这项得分仍处高位。合同审查、政策解读、长文档问答这类靠材料忠实度的场景,就得额外加一道人工校验,因为材料约束得分已经降到70.00分。
开发者拿Claude Opus 4.7做需要严格引用材料的任务时,可以在prompt里加上约束强化指令,或者并行调用别的模型交叉核对输出。
战略判断
这次主榜83.48分低于昨日的94.91分,主要是被材料约束拖了后腿。稳定性维度31.7分,说明该模型在同类题目上的分数起伏不小,一致性不够。材料约束下期能否回升,还得靠下期Smoke评测继续看,才能判断这回是不是偶然波动。
要是下期材料约束还趴在低位,Claude Opus 4.7在材料敏感场景的适用性就会进一步打折。目前数据能撑住的结论只有一条:材料约束维度已经是它最该盯紧的短板。