豆包 Pro 主榜跌至 79.57 分,材料约束单日骤降 25.8 分
今日 Smoke 评测中,豆包 Pro 主榜从 87.60 跌至 79.57,代码执行升至 96.80 但材料约束暴跌 25.8 至 58.50。单日 2 题抽签导致的波动还是真实能力退化,需要基于数据判断是否值得持续关注。
今天的 Smoke 评测里,
豆包 Pro 主榜成绩由昨日 87.60 分落到 79.57 分,一天少了 8 分。拉低主榜的核心维度是材料约束,该维度从 84.30 分直落到 58.50 分。
数据事实拆解
其余维度的情况是:代码执行从 90.30 分涨到 96.80 分,工程判断由 69.50 分回落到 63.60 分,任务表达维持在 95.00 分没动,诚信评级仍为 pass。主榜的构成只有代码执行和材料约束两项加权,材料约束这一项掉了 25.8 分,整体因此被拖低 8 分。
成因分析:抽签波动还是真实退化
Smoke 评测每个维度一天只出 2 道题,单题分值占比很高。材料约束的这 2 题如果恰好都要求严格引用原文或者拒绝幻觉,模型只要出现一次大面积偏离,就可能丢掉 20 分以上。反过来看,代码执行涨了 6.5 分,说明代码路径上没有系统性毛病;工程判断回落 5.9 分,幅度比材料约束小得多。
更可能的情况是:材料约束维度这次抽到的题目,集中暴露了模型在忠实度控制上不够稳定,而不是整体能力下滑。
材料约束 58.50 分与昨日 84.30 分的差距,超出正常单日标准差范围,提示该维度当前一致性较低。
对使用者的具体含义
战略判断
法律合同审查、财务报表核对、技术文档对齐这类重度依赖材料约束的场景,人工复核的比例需要往上提。纯编程辅助任务仍可参考代码执行 96.80 分的成绩,但任务一旦同时要求“基于给定材料回答”,材料约束只有 58.50 分,输出偏差的风险会明显变大。开发者在 RAG 流程中调用豆包 Pro,建议加一层 grounding 校验。
接下来一期的 Smoke 评测,值得继续盯住豆包 Pro 材料约束这个维度。连续两日都低于 65 分,可以初步认为该维度存在稳定性问题;下一日若回到 80 分以上,这次下跌更可能是题目抽签所致。现有数据还撑不起“模型整体退化”的判断,但支持“材料约束一致性不足”这一观察。工程判断和任务表达这两个侧榜维度的变化幅度都小于主榜核心维度,说明主榜跌幅主要由材料约束带来。企业选型时,如果材料忠实度是核心需求,建议至少等 3 日 Smoke 数据出来再定;如果主要用来生成代码,当前 96.80 分仍在可用区间。