豆包 Pro 主榜跌 10.6 分:工程判断 100 分骤降至 63.6
豆包 Pro 今日 Smoke 评测主榜从79.18分跌至68.54分,下降10.6分。代码执行降10.1分至68.40,材料约束降11.3分至68.70,工程判断从100分跌至63.60。诚信评级维持pass,任务表达仅降1.2分。
今日 Smoke 评测中,
豆包 Pro 主榜成绩由 79.18 分滑落至 68.54 分,跌幅 10.6 分。
数据事实
分维度看,代码执行从昨日 78.50 分降到 68.40 分,少了 10.1 分;材料约束由 80.00 分降至 68.70 分,跌 11.3 分。工程判断从 100.00 分掉到 63.60 分,下降 36.4 分;任务表达从 87.90 分微降至 86.70 分,下降 1.2 分。诚信评级仍为 pass。
成因分析
工程判断一下少了 36.4 分,波动幅度最大。这最可能和当天抽到的题目有关——侧榜维度对具体题目比较敏感。Smoke 评测每天只出 10 题,每个维度 2 题,单日样本量本就有限,工程判断这类侧榜维度更容易被题目内容左右。而主榜两个核心维度代码执行和材料约束同时下滑约 10-11 分,可见这次不是某一个侧榜维度出了异常,整体回答的一致性都出了问题。
任务表达只降了 1.2 分,两相对照,模型在这一项上的输出风格还算稳定;一旦进入需要严格按材料作答或执行代码的场景,退化就明显了。不过现有数据还分不清这是题目抽签带来的随机波动,还是模型能力真的在下滑,得看后续多日的数据才能判断。
对使用者的含义
对重代码执行的团队来说,选用豆包 Pro 时得加一道人工校验。代码执行 68.40 分,意味着每 10 题里可能有超过 3 题执行出错。材料约束 68.70 分也说明,合同审核、数据提取这类对材料忠实度敏感的场景,模型可能漏掉内容或擅自改写。
工程判断只有 63.60 分,对靠模型做架构决策、方案评估的开发者影响不小,这类任务建议换工程判断得分更高的模型来做。任务表达 86.70 分还在可用区间,日常对话和内容生成受的影响不大。
战略判断
这次主榜丢掉 10.6 分,主要是代码执行和材料约束两个核心维度一起往下拉,工程判断 36.4 分的剧烈波动又进一步放大了整体跌幅。诚信评级维持在 pass,说明模型没有出现明显的幻觉或虚假信息问题。
眼下的数据足以把豆包 Pro 放进观察名单,下期重点看代码执行与材料约束能不能回升。要是这两个维度持续低于 70 分,生产环境里就该考虑调低它的权重。稳定性维度 31.7 分已经表明,这款模型单日分数起伏偏大,选型时最好参考多日平均分,别只看单日结果。