豆包 Pro 代码执行一日掉26.2分,主榜只涨0.03分
今日Smoke评测中,豆包 Pro代码执行从75.00分跌至48.80分,材料约束从67.90分升至100.00分,主榜仅从71.81分微升至71.84分。单日10题抽签导致的波动仍是主因,需持续观察。
今天的 Smoke 评测里,
豆包 Pro 的代码执行得分从昨天的 75.00 分滑到 48.80 分,一下少了 26.2 分;材料约束则从 67.90 分升到 100.00 分,涨了 32.1 分。两边一降一升,主榜得分从 71.81 分变成 71.84 分,只多了 0.03 分。
数据事实:维度得分剧烈反向变动
这轮 Smoke 评测一共 10 题,每个维度 2 题。主榜权重里,代码执行占 50%,材料约束同样占 50%。两个核心维度一个掉 26.2 分、一个涨 32.1 分,方向相反,主榜得分因此几乎没动。工程判断维度守在 75.00 分没变,任务表达维度从 95.00 分降到 85.00 分,诚信评级还是 pass。
成因分析:题目抽签波动概率更高
代码执行维度每天只有 2 题,单题的分量很重。昨天 75.00 分、今天 48.80 分,更可能是今天抽到的 2 题对代码执行要求更高,或者模型在某类语法、某个库的调用上出了差错。材料约束这边同时拿到满分,说明今天的题目或许更看重材料忠实度,而豆包 Pro 在这一维度上一直稳。主榜只多 0.03 分,也说明两个维度的反向变化互相抵消了,不是模型整体能力系统性退化。
真要出现真实退化,一般会有好几个维度一起往下走。这回工程判断维度没动,任务表达维度只降了 10 分,幅度比代码执行小。把现有得分摆在一起看,题目抽签带来的随机波动是更说得通的解释。
对使用者的含义
对重度依赖代码执行的团队来说,选用豆包 Pro 时最好多留几道冗余验证,碰上复杂算法或多文件项目尤其如此。材料约束维度升到 100.00 分,意味着在必须严格照输入材料办事的场景里(比如合同审查、代码注释生成),这个模型表现更靠得住。任务表达维度掉到 85.00 分,对输出格式卡得严的开发者,还得多查一遍。
战略判断
拿今天的得分对比看,主榜几乎不变,说明豆包 Pro 的整体能力没有明显下滑。代码执行单日跌 26.2 分,落在 Smoke 评测已知的正常波动区间内。下一期可以接着盯同一维度的得分,如果代码执行连续两日低于 55 分,再考虑模型真实退化的可能。眼下不需要对豆包 Pro 做下调评估。