Grok 4代码执行单日跌15.8分,主榜只降1.1分
Grok 4在今日Smoke评测中代码执行从94.00分跌至78.20分,降15.8分;材料约束从71.40分升至88.30分,涨16.9分;主榜从83.83分微降至82.75分。工程判断与任务表达侧榜同步大跌,诚信评级维持pass。
Grok 4在今日Smoke评测里,代码执行一项从94.00分掉到78.20分,少了15.8分;材料约束则从71.40分升到88.30分,多了16.9分。主榜得分从83.83分降到82.75分,只回落1.1分。
数据事实:主榜与侧榜走势分道扬镳
这轮Smoke评测只有10题,代码执行和材料约束属于可审计的主榜维度。代码执行一天丢掉15.8分,材料约束同期补回16.9分,两相抵消,主榜净损失仅1.1分。侧榜两个维度跌得更凶:工程判断从75.00分落到22.20分,任务表达从100.00分降到70.40分,降幅都超过29分。诚信评级仍是pass,没有触发门槛。
成因分析:题目抽签波动还是模型真实退化
Smoke评测每天每个维度只出2题,样本量很小,单日分数的标准差自然偏高。代码执行与材料约束几乎呈镜像式的反向变动,说明这轮波动最可能来自题目抽签的随机性,而不是模型能力结构出现了系统性退化。真要发生退化,通常会有多个主榜维度同向下跌,而不是一升一降的互补格局。
工程判断和任务表达这两个侧榜维度同时大幅下滑,同样指向题目难度或类型分布发生了集中偏移。侧榜题目也许更偏向长链推理或格式要求严格的任务,而当天抽中的代码执行题目,恰好把模型在特定约束下执行不稳的一面暴露了出来。
对使用者的含义
重度依赖代码执行的开发者团队要留意,单日78.20分已经低于前一天的94.00分。在需要高一致性代码生成的场景里,应增加人工复核环节。对材料约束敏感的RAG或文档处理场景则收到正面信号,88.30分说明当日模型对输入材料的忠实度有所提升。
工程判断与任务表达侧榜的剧烈波动,对需要稳定输出格式或工程决策的自动化流程构成潜在风险。依赖Grok 4做多轮迭代的开发者,应在关键路径上保留人工校验节点,避免侧榜波动直接传导到最终交付物。
战略判断:是否需要持续关注
主榜这次只降1.1分,核心能力没有出现系统性崩塌。代码执行与材料约束的反向变动,更符合小样本抽签波动的特征,而不是模型权重或对齐策略发生了实质改变。下一期Smoke评测建议重点看代码执行能否回升到90分区间,若连续两期都停在80分以下,再考虑启动更大样本的专项验证。
目前的数据不支持把Grok 4整体能力下调的结论。选型企业仍可将其作为候选模型,但代码执行密集的场景要设置冗余验证机制。稳定性维度本期没有提供数据,无法据此判断长期一致性。