今日 Smoke 评测里,豆包 Pro 主榜成绩出现明显回落:从昨日 87.60 掉到 79.57,少了 8 分。拉低总分的关键在材料约束这一项,它由 84.30 骤降到 58.50。

数据事实拆解

其余维度表现分化:代码执行从 90.30 升到 96.80,工程判断由 69.50 回落到 63.60,任务表达仍为 95.00,诚信评级还是 pass。主榜只由代码执行和材料约束两项加权得出,材料约束一下子丢了 25.8 分,整体 8 分的跌幅由此而来。

成因分析:抽签波动还是真实退化

Smoke 每天每个维度只出 2 道题,单题分数权重很高。材料约束这 2 题如果正好都要求严格引用原文或拒绝幻觉,模型只要有一次大范围跑偏,就可能丢掉 20 分以上。代码执行反而涨了 6.5 分,说明代码路径上没有系统性毛病。工程判断只小幅回落 5.9 分,幅度比材料约束小得多。所以更可能的情况是,材料约束维度的题目抽签恰好集中暴露了模型在忠实度控制上的不稳定,而不是整体能力下滑。

材料约束 58.50 分与昨日 84.30 分之间的落差,已超出正常单日标准差范围,说明该维度眼下一致性偏低。

对使用者的具体含义

对材料约束依赖较重的场景,比如法律合同审查、财务报表核对、技术文档对齐,需要把人工复核的比例提上去。纯编程辅助任务仍可参考代码执行 96.80 分的成绩,可一旦任务同时要求“基于给定材料回答”,材料约束只有 58.50 分,输出偏差的风险会明显加大。开发者在 RAG 流程中调用豆包 Pro 时,建议加一层 grounding 校验。

战略判断

从现有得分对比看,豆包 Pro 材料约束维度的单日剧烈波动,下期 Smoke 评测值得继续盯。要是连续两日材料约束都低于 65 分,基本可以判断这个维度稳定性有问题;若下一日回到 80 分以上,这次下跌更可能是题目抽签所致。现有数据既不足以得出“模型整体退化”的结论,倒能支持“材料约束一致性不足”这一观察。

工程判断和任务表达这两个侧榜维度的变化幅度都小于主榜核心维度,主榜跌幅主要由材料约束驱动这一点得到印证。企业选型时,如果材料忠实度是核心需求,建议至少等 3 日 Smoke 数据再定;若主要用来做代码生成,当前 96.80 分仍在可用区间。