豆包 Pro 主榜暴跌8分:代码执行94.5→45.8,材料约束47.6→89.3
豆包 Pro 今日 Smoke 评测主榜从73.40降至65.38分,代码执行从94.50暴跌至45.80分,材料约束从47.60升至89.30分,工程判断升至95.50分。单日10题抽样导致极端波动,需持续观察。
今日 Smoke 评测里,
豆包 Pro 的主榜成绩从前一天的73.40分滑到65.38分,少了8.02分。分维度看,代码执行由94.50分掉到45.80分,降了48.70分;材料约束从47.60分涨到89.30分,升了41.70分;工程判断由75.00分提高到95.50分,增加20.50分。任务表达仍是100.00分,没有变化;诚信评级保持pass。
数据事实拆解
主榜由代码执行和材料约束两项加权得出。今天代码执行的分数把主榜往下拽,材料约束同时上涨,只抵消掉一部分跌幅。工程判断和任务表达不计入主榜,但它们的变化说明模型在侧榜维度上走势不一。上述数值全部取自当日10题快测,每个维度2题。
成因分析:抽样波动还是真实退化
Smoke 评测每天每个维度只出2题,样本量很小,单题分数占的权重就高。代码执行从94.50分落到45.80分,最可能的原因是今天抽到的2道代码题正好撞上模型的薄弱处,单题丢分被放大。材料约束同期涨了41.70分,说明同一批题目里,模型对材料的忠实度反而表现更好。工程判断提高20.50分,同样指向抽题带来的随机性,而不是模型能力整体退步。任务表达连续两天满分,也进一步说明波动集中在个别维度上。
如果真是能力退化,一般会看到多个维度一起往下走,或者诚信评级发生变化。可今天诚信评级还是pass,材料约束和工程判断又都明显上升。所以眼下的数据更支持抽题波动的解释。
对使用者的具体含义
重度依赖代码执行的团队要留意:今天的45.80分说明,碰到某些编程任务,豆包 Pro 可能出大错。生产环境上线前,最好加一道本地代码测试,别直接信单次输出。材料约束拿到89.30分,则说明在需要严格照输入文档办事的场景里,比如合同审查、报告生成,这个模型表现更稳,这类任务可以优先选它。
工程判断95.50分,对需要模型帮忙做架构决策的开发者比较友好,但它属于侧榜指标,实际用起来还得人工复核。任务表达满分,意味着日常对话和需求表述环节风险不高。
战略判断
单日主榜波动8分,在小样本快测里算正常范围,可代码执行48.70分的极端跌幅,下一期还得接着验证。明天代码执行若能回到80分以上,基本可以判定是抽样偶然;要是连续两天低于60分,就得考虑模型在代码相关训练数据上是否存在潜在问题。材料约束和代码执行反向波动,也提示以后评测可以看看两个维度题目难度的相关性。
就现有数据看,豆包 Pro 主榜短期承压,主要来自代码执行抽题失利,不是整体能力下滑。选型企业该在代码重度场景多加冗余验证,在材料忠实场景则可以适当提高使用优先级。