Grok 4单日波动:代码执行跌20.2分,主榜反涨2.4分
Grok 4今日Smoke评测代码执行从94.60分跌至74.40分,降幅20.2分;材料约束从45.00分升至75.00分,主榜从72.28分升至74.67分。单日10题抽签导致的波动可能是主因,需持续观察多日数据以判断真实稳定性。
今天的Smoke评测里,
Grok 4的代码执行维度从94.60分掉到74.40分,一天之内下滑20.2分;材料约束却从45.00分升到75.00分,主榜得分也随之从72.28分涨到74.67分。
数据事实:单日维度剧烈反向波动
把昨天和今天放在一起看,代码执行少了20.2分,材料约束多了30分,工程判断多了31.4分,任务表达多了6.6分。主榜只涨2.4分,诚信评级仍是pass。Smoke评测一天就10道题,每个维度摊到2题,单日分数的标准差本来就大。
成因分析:题目抽签波动概率更高
代码执行和材料约束同时出现20分以上的反向移动,最可能的原因是当天抽到的2道代码题难度明显高于昨天的样本,而材料约束题恰好落在模型擅长的区间。工程判断同期上涨31.4分,也说明更像是抽签的随机性,而不是模型整体退步。真要出现能力下滑,通常是多个核心维度一起回落,不会像这次主榜还小幅上涨。
代码执行74.40分,昨天是94.60分;材料约束75.00分,昨天是45.00分。两个维度变化方向正好相反,指向的是题目分布差异。
对使用者的含义
如果团队重度依赖代码执行,今天这组数据提醒一件事:关键任务前要多做几次独立验证,别被单次Smoke结果带偏。反过来,对材料约束敏感的场景,比如长文本忠实度要求高的文档处理,Grok 4今天75.00分的表现反而更值得参考。企业选型时,先看连续多日的主榜均值,而不是单日某个维度的极值。
战略判断:主榜韧性值得持续跟踪
主榜得分逆势涨了2.4分,说明代码执行的暴跌被材料约束和工程判断的提升完全对冲掉了。就当前数据看,Grok 4没有出现系统性退化的信号,但单日20.2分的波动已经超出正常抽签范围。下一期可以验证连续三日代码执行的标准差能否回落到15分以内;如果标准差一直偏高,生产环境里就得加上冗余校验机制。
工程判断从30.60分升到62.00分,说明当天的工程类题目更贴合模型的推理路径,这和代码执行的下降正好互补,也进一步说明随机性占了主导。任务表达则从71.30分温和升到77.90分,对需要清晰输出的应用场景算是稳定支撑。
把所有维度放在一起看,Grok 4今天的表现更像抽签驱动的正常波动,而不是能力退化。重代码执行的团队下一轮评测要重点盯这个维度有没有回到90分区间,主榜小幅上涨则给选型留出了缓冲空间。