豆包 Pro 主榜暴跌8分:代码执行94.5→45.8,材料约束47.6→89.3

资讯 AI 行业观察 全文 1034 字 · 约 3 分钟读完 配图 1 张 分类豆包字节跳动

豆包 Pro 今日 Smoke 评测主榜从73.40降至65.38分,代码执行从94.50暴跌至45.80分,材料约束从47.60升至89.30分,工程判断升至95.50分。单日10题抽样导致极端波动,需持续观察。

所属频道 大厂动态国产大模型

今日 Smoke 评测里,豆包 Pro 的主榜成绩从前一天的73.40分滑到65.38分,少了8.02分。分维度看,代码执行由94.50分掉到45.80分,降了48.70分;材料约束从47.60分涨到89.30分,升了41.70分;工程判断由75.00分提高到95.50分,增加20.50分。任务表达仍是100.00分,没有变化;诚信评级保持pass。

数据事实拆解

主榜由代码执行和材料约束两项加权得出。今天代码执行的分数把主榜往下拽,材料约束同时上涨,只抵消掉一部分跌幅。工程判断和任务表达不计入主榜,但它们的变化说明模型在侧榜维度上走势不一。上述数值全部取自当日10题快测,每个维度2题。

成因分析:抽样波动还是真实退化

Smoke 评测每天每个维度只出2题,样本量很小,单题分数占的权重就高。代码执行从94.50分落到45.80分,最可能的原因是今天抽到的2道代码题正好撞上模型的薄弱处,单题丢分被放大。材料约束同期涨了41.70分,说明同一批题目里,模型对材料的忠实度反而表现更好。工程判断提高20.50分,同样指向抽题带来的随机性,而不是模型能力整体退步。任务表达连续两天满分,也进一步说明波动集中在个别维度上。

如果真是能力退化,一般会看到多个维度一起往下走,或者诚信评级发生变化。可今天诚信评级还是pass,材料约束和工程判断又都明显上升。所以眼下的数据更支持抽题波动的解释。

对使用者的具体含义

重度依赖代码执行的团队要留意:今天的45.80分说明,碰到某些编程任务,豆包 Pro 可能出大错。生产环境上线前,最好加一道本地代码测试,别直接信单次输出。材料约束拿到89.30分,则说明在需要严格照输入文档办事的场景里,比如合同审查、报告生成,这个模型表现更稳,这类任务可以优先选它。

工程判断95.50分,对需要模型帮忙做架构决策的开发者比较友好,但它属于侧榜指标,实际用起来还得人工复核。任务表达满分,意味着日常对话和需求表述环节风险不高。

战略判断

单日主榜波动8分,在小样本快测里算正常范围,可代码执行48.70分的极端跌幅,下一期还得接着验证。明天代码执行若能回到80分以上,基本可以判定是抽样偶然;要是连续两天低于60分,就得考虑模型在代码相关训练数据上是否存在潜在问题。材料约束和代码执行反向波动,也提示以后评测可以看看两个维度题目难度的相关性。

就现有数据看,豆包 Pro 主榜短期承压,主要来自代码执行抽题失利,不是整体能力下滑。选型企业该在代码重度场景多加冗余验证,在材料忠实场景则可以适当提高使用优先级。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 董宇辉自营蛋糕保质期9个月引争议,直播回应称冷冻存储

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 翟元元封面来源 | 豆包AI今年“双11”,“淘宝一哥”李佳琦直播间“半小时售2万亿Token”,“抖音一哥”董宇辉则上架了自己首款自营品牌。11月5日晚,董宇辉在直播间首发自有品牌“禾与春时”的第一款产品——一

    来源 腾讯网
  2. 中兴手机业务传闻与主体迁移:老牌厂商能否借豆包重回牌桌?

    十一月初,手机圈被一条消息搅得挺热闹。有报道称中兴通讯打算把手机业务打包,和一家互联网大厂以及地方国资共同成立合资公司,业务估值约 400 亿元,互联网大厂拟出资约 80 亿元。消息细节丰富,中兴通讯当晚就回应,说相关内容与事实严重不符,还保留追究法律责任的权利。第二天,另一个动作悄悄落地。中兴手机的微信公...

    来源 腾讯网
  3. 字节跳动4000亿美元估值回购60亿美元股份,IPO期限延至2030年底

    字节跳动计划以约4000亿美元的估值,从现有投资者手中回购不超过60亿美元的股份。 该公司最近在一封致投资者的信中通报了这一要约,回购价格定为每股241.35美元,对应的整体估值约合2.67万亿元人民币,比一年前上轮回购时的水平高出约20%。

    来源 TechWeb
  4. 黄仁勋辞职:周鸿祎谈创始人价值与美对华芯片分歧

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部封

    来源 AI 行业观察
  5. 双十一第18年:AI导购上线,品牌转拼经营质量

    从“晒”成交数据到聚焦供给、服务质量,今年“双十一”呈现不少新亮点:服务供给更丰富、AI助手更“聪明”、消费者选购逻辑加速转变……这场消费热潮,既见证居民消费需求持续升级,也彰显超大规模国内市场的韧性与活力。一系列新变化的背后,是服务消费持续升温的大趋势。国家统计局数据显示,今年上半年,我国服务零售额同比增长5.3%,

    来源 腾讯网
  6. 京东天猫抖音双11战报各晒各的:家电、日用品、中小商家

    (文/张志峰 编辑/吕栋)11月12日凌晨,京东、淘宝天猫的购物数据在大促收官节点密集传播。抖音电商则来得稍微一些,12日晚间也交出自己的成绩单。三家平台都在晒增长,但拿出的数字几乎没有正面相撞。京东大谈家电、AI、家庭服务和欧洲业务;天猫把苹果、猫粮、面膜和纸巾放在台前;抖音则集中展示中小商家、新商家和产业...

    来源 腾讯网
  7. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  8. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  9. 曹晓波谈短视频:AI生成不了生活,选题权重占80%

    11月14日,在“AI时代与媒体人转型2026公益盛典”上,前调查记者、阿里高级公关专家曹晓波,分享了自己从媒体人、公关转型做抖音人文纪实账号的心得体会。曹晓波主张:AI无法生成生活,实地走访与真实体验才是最真切的。曹晓波揭示了爆款的关键:选题权重占80%,拍摄占10%,剪辑占5%,好的选题即使简单拍摄也能获得高流量。

    来源 腾讯网
  10. 29岁曾妍一年连升两级:她如何推动字节2000亿参数视频模型

    作者丨晨阳编辑丨思奇、子钺图源丨AI生成字节跳动AI团队,一位29岁的女研究员正在走向舞台中央。她叫曾妍,1997年出生,2021年以校招生身份加入字节跳动。短短五年,她从一名算法工程师成长为Seedance视频大模型的核心研发负责人。2026年3月,她被曝在一年内连升两级,晋升至字节4-2职级。10月底,字节Seed

    来源 腾讯网
向下滚动自动加载更多