今日Smoke评测里,Claude Opus 4.7的主榜成绩由94.91分滑到83.48分,少了11.4分;材料约束这一项从89.30分掉到70.00分。

得分变化细节

具体看各项:代码执行99.50分降到94.50分,少了5分;工程判断65.00分落到55.60分,掉了9.4分;任务表达从43.80分退到37.50分,下降6.3分。诚信评级仍是pass。

成因分析

材料约束一天之内少了19.3分,比代码执行的5分降幅大得多,波动主要出在对材料的忠实度上。Smoke评测每天只出10道题,每个维度2题,抽到的题目里一旦有要求严格照给定材料作答的案例,模型输出一偏,该维度分数就被直接拽下来。工程判断和任务表达也一起走低,说明碰上需要工程取舍、需要把任务讲清楚的题目,模型偏离也变多了。不过现有数据分不清这是抽题波动还是模型真的退步。材料约束跌得这么狠,更可能是这次抽签里高难度约束题占比偏高,而不是整体能力下滑——代码执行还守在94.50分的高位。

对使用者的含义

以代码执行为主的团队可以接着用Claude Opus 4.7,这项得分仍在高位。靠材料忠实度的场景就不一样了,合同审查、政策解读、长文档问答都得再加一道人工校验,毕竟材料约束已经降到70.00分。

开发者拿Claude Opus 4.7做需要严格引用材料的任务时,可以在prompt里加约束强化指令,或者同时调别的模型交叉验证输出。

战略判断

主榜这次83.48分,低于昨天的94.91分,主要是被材料约束拖下来的。稳定性维度31.7分,说明同一类题目上它的分数起伏不小,一致性不够。材料约束下期能不能回升,还得看下一轮Smoke评测,才能判断这回是不是偶然波动。

要是下期材料约束还趴在低位,Claude Opus 4.7在材料敏感场景的适用性会进一步收窄。眼下数据能支撑的判断是:材料约束已经成了它最该盯住的短板。