豆包 Pro 评测:代码执行跌 26.2 分,主榜仅涨 0.03 分?
今日Smoke评测中,豆包 Pro代码执行从75.00分跌至48.80分,材料约束从67.90分升至100.00分,主榜仅从71.81分微升至71.84分。单日10题抽签导致的波动仍是主因,需持续观察。
今天的 Smoke 评测里,
豆包 Pro 的代码执行得分从昨天 75.00 分掉到 48.80 分,少了 26.2 分;材料约束从 67.90 分升到 100.00 分,多了 32.1 分。主榜得分从 71.81 分升到 71.84 分,涨幅只有 0.03 分。
数据事实:维度得分剧烈反向变动
这轮 Smoke 评测一共 10 题,每个维度 2 题。代码执行占主榜 50% 权重,材料约束也占 50%。两个核心维度一个跌 26.2 分、一个涨 32.1 分,方向相反,主榜得分因此几乎没动。工程判断维度停在 75.00 分,任务表达从 95.00 分降到 85.00 分,诚信评级还是 pass。
成因分析:题目抽签波动概率更高
代码执行维度每天只由 2 题覆盖,单题分量很重。昨天 75.00 分、今天 48.80 分,最可能的原因是今天抽到的 2 题对代码执行要求更高,或者模型在某个语法、某个库调用上出了错。材料约束这边同时冲到满分,说明今天的题目或许更看重材料忠实度,而豆包 Pro 在这一维度上发挥稳定。主榜只多了 0.03 分,两个维度的反向变化正好相互抵消,并不是模型整体能力出了系统性退化。
要是真退化,通常会有好几个维度一起往下走。这次工程判断维度没变,任务表达只降了 10 分,幅度也比代码执行小。把现有得分摆在一起看,题目抽签带来的随机波动是更说得通的解释。
对使用者的含义
对高度依赖代码执行的团队来说,选豆包 Pro 时要多留几道验证,尤其是复杂算法或多文件项目。材料约束升到 100.00 分,说明在需要严格照着输入材料来的场景里(比如合同审查、代码注释生成),这个模型更靠得住。任务表达降到 85.00 分,对输出格式卡得严的开发者得再多检查一遍。
战略判断
对照今天的得分,主榜几乎没变,说明豆包 Pro 的整体能力没有明显下滑。代码执行单日跌 26.2 分,落在 Smoke 评测已知的正常波动区间内。下一期可以继续盯同一维度,如果代码执行连续两天低于 55 分,再考虑真实退化的可能。眼下不需要下调对豆包 Pro 的评估。