豆包 Pro 主榜跌至 79.57 分,材料约束单日骤降 25.8 分

资讯 AI 行业观察 全文 910 字 · 约 3 分钟读完 配图 1 张 分类豆包字节跳动

今日 Smoke 评测中,豆包 Pro 主榜从 87.60 跌至 79.57,代码执行升至 96.80 但材料约束暴跌 25.8 至 58.50。单日 2 题抽签导致的波动还是真实能力退化,需要基于数据判断是否值得持续关注。

所属频道 大厂动态国产大模型

今天的 Smoke 评测里,豆包 Pro 主榜成绩由昨日 87.60 分落到 79.57 分,一天少了 8 分。拉低主榜的核心维度是材料约束,该维度从 84.30 分直落到 58.50 分。

数据事实拆解

其余维度的情况是:代码执行从 90.30 分涨到 96.80 分,工程判断由 69.50 分回落到 63.60 分,任务表达维持在 95.00 分没动,诚信评级仍为 pass。主榜的构成只有代码执行和材料约束两项加权,材料约束这一项掉了 25.8 分,整体因此被拖低 8 分。

成因分析:抽签波动还是真实退化

Smoke 评测每个维度一天只出 2 道题,单题分值占比很高。材料约束的这 2 题如果恰好都要求严格引用原文或者拒绝幻觉,模型只要出现一次大面积偏离,就可能丢掉 20 分以上。反过来看,代码执行涨了 6.5 分,说明代码路径上没有系统性毛病;工程判断回落 5.9 分,幅度比材料约束小得多。

更可能的情况是:材料约束维度这次抽到的题目,集中暴露了模型在忠实度控制上不够稳定,而不是整体能力下滑。

材料约束 58.50 分与昨日 84.30 分的差距,超出正常单日标准差范围,提示该维度当前一致性较低。

对使用者的具体含义

战略判断

法律合同审查、财务报表核对、技术文档对齐这类重度依赖材料约束的场景,人工复核的比例需要往上提。纯编程辅助任务仍可参考代码执行 96.80 分的成绩,但任务一旦同时要求“基于给定材料回答”,材料约束只有 58.50 分,输出偏差的风险会明显变大。开发者在 RAG 流程中调用豆包 Pro,建议加一层 grounding 校验。

接下来一期的 Smoke 评测,值得继续盯住豆包 Pro 材料约束这个维度。连续两日都低于 65 分,可以初步认为该维度存在稳定性问题;下一日若回到 80 分以上,这次下跌更可能是题目抽签所致。现有数据还撑不起“模型整体退化”的判断,但支持“材料约束一致性不足”这一观察。工程判断和任务表达这两个侧榜维度的变化幅度都小于主榜核心维度,说明主榜跌幅主要由材料约束带来。企业选型时,如果材料忠实度是核心需求,建议至少等 3 日 Smoke 数据出来再定;如果主要用来生成代码,当前 96.80 分仍在可用区间。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 红果月活4.3亿反超豆包:字节为何总能押中下一个入口

    (本文作者为 摩根商研所,钛媒体经授权发布) 文 | 摩根商研所红果正式超过了豆包。最近,QuestMobile发布2026中国移动互联网秋季大报告,数据显示截至2026年9月,红果免费短剧去重用户量达到4.3亿,超过豆包的4.19亿,成为抖音集团内部用户规模第二大的应用,仅次于抖音。从最开始的鄙夷、到如今的全民皆刷,

    来源 腾讯网
  2. 博世工程师用豆包工作接手沟通:故障分析从大半天缩短到一周多上线

    头图来源:豆包工作客户在群里抛出一个问题,到工程师真正坐下来分析故障,中间隔着多少工作?在博世的某研发事业部,答案曾经是:找齐散落在各个群和私聊里的消息,按多个维度整理成完整描述,凭经验判断该找谁,接着再开会,再把结论写成报告。故障分析还没开始,大半天已经过去了。如今,这中间的一大段路,工程师交给了...

    来源 腾讯网
  3. ChatGPT大规模封号波及Pro用户,200美元订阅也未能幸免

    最近,ChatGPT用户圈突然出现一波账号停用风波,连每月花费200美元订阅Pro服务的用户也未能幸免。更让人意外的是,部分用户表示,账号在没有收到任何提前通知的情况下就突然无法登录,页面直接显示

    来源 TechWeb
  4. ChatGPT封号波及200美元Pro用户,OpenAI未公布受影响人数

    最近,ChatGPT用户圈突然出现一波账号停用风波,连每月花费200美元订阅Pro服务的用户也未能幸免。更让人意外的是,部分用户表示,账号在没有收到任何提前通知的情况下就突然无法登录,页面直接显示

    来源 TechWeb
  5. 抖音成功关键:内容生态与民间创作力崛起

    文/周在安 我们在几年前分析抖音的时候曾经提到过,抖音的成功固然有全屏幕手划交互方式的创新,但从内容生态上来看,是打开了全新的内容供给,释放了民间的创作生产力。 以早期流行的段子类内容为例,大量民间创作者的段子喜剧生产能力远超正规军,比如小杨哥等网红,而这背后是传统喜剧类节目的创造力不足。 所以说,网上段子类内容的崛起

    来源 AI 行业观察
  6. iPhone 18/18e共用模具:4430mAh电池能否让标准版续航反超Pro?

    近日,一组疑似iPhone 18标准版与iPhone 18e的X光内部结构图在网络流传,两款机型代号分别为Taycan(V67 K)和Nevera(V69),爆料来源为外媒NoteBook Check转载的百度高通吧用户“小tree_666”。这组图被标注为自动化X射线检测(AXI)图像,通常用于产线检查焊点与装配,能

    来源 TechWeb
  7. iPhone 18/18e X光图曝光:共用模具+4430mAh电池,标准版续航或反超Pro

    近日,一组疑似iPhone 18标准版与iPhone 18e的X光内部结构图在网络流传,两款机型代号分别为Taycan(V67 K)和Nevera(V69),爆料来源为外媒NoteBook Check转载的百度高通吧用户“小tree_666”。这组图被标注为自动化X射线检测(AXI)图像,通常用于产线检查焊点与装配,能

    来源 TechWeb
  8. 智能体互联公约签署背后:155款应用为何拒绝豆包手机助手

    (本文作者为 影子备忘录,钛媒体经授权发布)文 | 影子备忘录11月4日,乌镇。信通院牵头,华为、阿里、腾讯、小米、百度、火山引擎、蚂蚁、抖音等20家单位坐到同一张桌子前,签了一份《智能体发展自律公约》。八条自律措施写得规整:健全信任体系、建设互联基础设施、提升互操作水平、保护用户权益、推动技术普惠。场面话...

    来源 腾讯网
  9. 蔚来李斌再谈车重:1.2倍重量压坏路面2.07倍,小米汽车设国际业务部

    “IT早报”时间,大家好,现在是 2026 年 11 月 7 日星期六,今天的重要科技资讯有: 1. 蔚来李斌再次警告车重,汽车重量增两成、路面损耗增至 2 倍 李斌再度谈及整车重量问题。“有的车电池包堆 120 度,重量达七八百公斤,重对于车来说没什么,但大家算过对马路的影响吗?”李斌表示,“1.2 倍的重量,对马路

    来源 AI 行业观察
  10. 字节时间之争:超级平台的时间权力该由谁来划边界

    编者按:近期,“字节时间”之争引发关注。占据数亿人大量清醒时间的超级平台,在注意力分配的意义上,已经带有公共基础设施的属性。从数据口径之争到千千万万用户的真实体感,讨论持续升温。追问更深一层:支配时间权力的边界在哪里、监督如何落地、用户自主选择怎样切实保障?这是企业必须回答的问题,也是数字时代公共治...

    来源 腾讯网
  11. AI漫剧生意经:播放1万挣5块,多数从业者自嘲“牛马”

    (本文作者为 疯狂科技厅,钛媒体经授权发布)文 | 疯狂科技厅,作者 | 刘瑞祺,编辑 | 张猛AI漫剧这个市场今年相当热闹。DataEye研究院数据显示,2026年前5个月,国内AI剧漫剧市场规模达到220亿元,全年预计达到400亿元;仅上半年,抖音端原生新增AI剧及漫剧就达到22.19万部。资本市场也在追逐这股热潮

    来源 腾讯网
  12. GLM-4.6 Smoke实测36.25分:通信维度因API故障缺失

    GLM-4.6今日Smoke评测因API故障/超时导致communication维度缺失,代码执行25.00分、材料约束50.00分、工程判断25.00分,主榜36.25分未参与排名。单日10题快测波动正常,但本次数据不完整需关注是否为模型真实退化或临时故障。

    来源 AI 行业观察
  13. 网信办清理4.7万余条AI假冒名人信息,处置3961个账号

    网信部门通报近期针对 AI 假冒公众人物的集中整治结果:累计清理违法违规信息 4.7 万余条,处置账号 3961 个。通报点名的四类典型,几乎都奔着"变现"去:一是未经授权用 AI 仿名人肖像声音、甚至盗用其家属照片带货引流;二是盗肖像配 AI 特效编造"患病"等谣言误导公众;三是以第一人称冒充名人发表观点、情感话术诱

    来源 AI 开发者社区
  14. ChatGPT账号突现停用潮:200美元Pro订阅用户也中招

    据凤凰网科技消息,近期多名 ChatGPT 用户反映账号无预警被封,含 200 美元 / 月的 Pro 订阅用户,部分用户长期积累的聊天记录与工作资料无法访问。#ChatGPT# 官方尚未就此次集中封号事件给出统一解释,也未披露具体受影响人数。

    来源 IT之家
向下滚动自动加载更多