今天的 Smoke 评测里,豆包 Pro 的代码执行得分从昨天的 75.00 分滑到 48.80 分,一下少了 26.2 分;材料约束则从 67.90 分升到 100.00 分,涨了 32.1 分。两边一降一升,主榜得分从 71.81 分变成 71.84 分,只多了 0.03 分。

数据事实:维度得分剧烈反向变动

这轮 Smoke 评测一共 10 题,每个维度 2 题。主榜权重里,代码执行占 50%,材料约束同样占 50%。两个核心维度一个掉 26.2 分、一个涨 32.1 分,方向相反,主榜得分因此几乎没动。工程判断维度守在 75.00 分没变,任务表达维度从 95.00 分降到 85.00 分,诚信评级还是 pass。

成因分析:题目抽签波动概率更高

代码执行维度每天只有 2 题,单题的分量很重。昨天 75.00 分、今天 48.80 分,更可能是今天抽到的 2 题对代码执行要求更高,或者模型在某类语法、某个库的调用上出了差错。材料约束这边同时拿到满分,说明今天的题目或许更看重材料忠实度,而豆包 Pro 在这一维度上一直稳。主榜只多 0.03 分,也说明两个维度的反向变化互相抵消了,不是模型整体能力系统性退化。

真要出现真实退化,一般会有好几个维度一起往下走。这回工程判断维度没动,任务表达维度只降了 10 分,幅度比代码执行小。把现有得分摆在一起看,题目抽签带来的随机波动是更说得通的解释。

对使用者的含义

对重度依赖代码执行的团队来说,选用豆包 Pro 时最好多留几道冗余验证,碰上复杂算法或多文件项目尤其如此。材料约束维度升到 100.00 分,意味着在必须严格照输入材料办事的场景里(比如合同审查、代码注释生成),这个模型表现更靠得住。任务表达维度掉到 85.00 分,对输出格式卡得严的开发者,还得多查一遍。

战略判断

拿今天的得分对比看,主榜几乎不变,说明豆包 Pro 的整体能力没有明显下滑。代码执行单日跌 26.2 分,落在 Smoke 评测已知的正常波动区间内。下一期可以接着盯同一维度的得分,如果代码执行连续两日低于 55 分,再考虑模型真实退化的可能。眼下不需要对豆包 Pro 做下调评估。