今天的 Smoke 评测里,豆包 Pro 主榜拿到65.38分,比昨天的73.40分少了8.02分。拆开看各维度:代码执行从94.50分掉到45.80分,降了48.70分;材料约束从47.60分升到89.30分,涨了41.70分;工程判断从75.00分升到95.50分,提高20.50分;任务表达仍是100.00分;诚信评级还是pass。

数据事实拆解

主榜成绩由代码执行、材料约束两项加权得出。今天正是代码执行把主榜往下拽,材料约束同期上涨,只抵消掉一部分跌幅。工程判断和任务表达不进主榜,但它们的变化说明模型在侧榜维度上表现并不一致。上述数值全部取自当日10题快测,每个维度2题。

成因分析:抽样波动还是真实退化

Smoke 评测每天每个维度只出2题,样本量很小,一道题就能左右不少分数。代码执行从94.50分落到45.80分,最可能的情形是今天抽到的2道代码题正好撞上模型不擅长的点,单题丢分被放大。材料约束同期涨了41.70分,说明同一批题里模型对材料忠实度的表现反倒更好。工程判断提高20.50分,同样更像抽题带来的随机性,而不是模型能力整体退步。任务表达连续两日满分,也让波动集中在特定维度这一点更清楚。

假如真是能力退化,一般会看到多个维度一起往下走,或者诚信评级出问题。可今天诚信评级仍是pass,材料约束和工程判断还都明显上升。所以眼下的数据更支持“题目抽签”这个解释。

对使用者的具体含义

对重度依赖代码执行的团队来说,今天的45.80分是个提醒:碰上某些编程任务,豆包 Pro 可能出大错。生产环境上线前最好加一道本地代码测试,别直接信单次输出。材料约束89.30分则说明,在要严格照着输入文档办事的场景里,比如合同审查、报告生成,这个模型更稳,这类任务可以优先选它。

工程判断95.50分,对需要模型帮忙做架构决策的开发者比较友好,不过它属于侧榜指标,实际用起来还得人工复核。任务表达满分,意味着日常对话和需求表述环节风险不高。

战略判断

小样本快测里,主榜单日8分的波动算正常,但代码执行48.70分的极端跌幅,下期还得接着验证。明天代码执行若回到80分以上,基本可以认定是抽样偶然;要是连续两日低于60分,就得想想模型在代码相关训练数据上是不是有隐患。材料约束和代码执行反向波动,也提示以后评测可以留意两个维度题目难度的相关性。

就现有数据看,豆包 Pro 主榜短期承压,主要来自代码执行抽题失利,不是整体能力下滑。选型企业可以在代码重度场景多加冗余验证,在材料忠实场景适当提高使用优先级。