Grok 4代码执行骤降15.8分,主榜为何只降1.1分?
Grok 4在今日Smoke评测中代码执行从94.00分跌至78.20分,降15.8分;材料约束从71.40分升至88.30分,涨16.9分;主榜从83.83分微降至82.75分。工程判断与任务表达侧榜同步大跌,诚信评级维持pass。
Grok 4在今日Smoke评测里,代码执行一项从94.00分掉到78.20分,少了15.8分;材料约束从71.40分涨到88.30分,多了16.9分。主榜得分则由83.83分降至82.75分,只降了1.1分。
数据事实:主榜与侧榜走势分道
这回Smoke评测只有10题,代码执行和材料约束属于可审计的主榜维度。代码执行一天丢了15.8分,材料约束同期补回16.9分,两边一抵,主榜净损失1.1分。工程判断从75.00分落到22.20分,任务表达从100.00分落到70.40分,两个侧榜维度跌幅都超过29分。诚信评级仍是pass,没有碰到门槛。
成因分析:题目抽签波动,还是模型真的退步了
Smoke评测每天每个维度只出2题,样本量很小,单日分数的标准差本来就偏高。代码执行和材料约束几乎是镜像般地一降一升,这更像题目抽签带来的随机性,不像模型能力结构出了系统性退化。真要是退化,一般会是多个主榜维度一起往下走,而不是这种一升一降的互补格局。
工程判断和任务表达这两个侧榜同时大幅下滑,同样说明题目难度或类型分布出现了集中偏移。侧榜题目可能更多涉及长链推理或格式要求严格的任务,而当天抽到的代码执行题,恰好把模型在特定约束下执行不稳的问题暴露了出来。
对使用者的含义
重度依赖代码执行的开发者团队要留心,单日78.20分已经低于前一天的94.00分。在需要高一致性代码生成的场景里,应当加一道人工复核。对材料约束敏感的RAG或文档处理场景倒是收到正面信号,88.30分说明当天模型对输入材料的忠实度有提升。
工程判断与任务表达侧榜波动剧烈,对需要稳定输出格式或工程决策的自动化流程来说是个潜在风险。拿Grok 4做多轮迭代的开发者,关键路径上要留人工校验节点,别让侧榜波动直接传到最终交付物上。
战略判断:还要不要持续盯着
这次主榜只降1.1分,核心能力没有系统性崩塌。代码执行与材料约束反向变动,更符合小样本抽签波动的特征,而不是模型权重或对齐策略发生了实质改变。下一期Smoke评测可以重点看代码执行能否回到90分区间;若连续两期都停在80分以下,再考虑启动更大样本的专项验证。
目前的数据还撑不起给Grok 4整体能力降档的结论。选型企业仍可把它列为候选模型,但在代码执行密集的场景要设置冗余验证机制。稳定性维度本期没有数据,长期一致性无从判断。