豆包 Pro 评测:代码执行跌 26.2 分,主榜仅涨 0.03 分?

资讯 AI 行业观察 全文 913 字 · 约 3 分钟读完 配图 1 张 分类豆包字节跳动

今日Smoke评测中,豆包 Pro代码执行从75.00分跌至48.80分,材料约束从67.90分升至100.00分,主榜仅从71.81分微升至71.84分。单日10题抽签导致的波动仍是主因,需持续观察。

所属频道 大厂动态国产大模型

今天的 Smoke 评测里,豆包 Pro 的代码执行得分从昨天 75.00 分掉到 48.80 分,少了 26.2 分;材料约束从 67.90 分升到 100.00 分,多了 32.1 分。主榜得分从 71.81 分升到 71.84 分,涨幅只有 0.03 分。

数据事实:维度得分剧烈反向变动

这轮 Smoke 评测一共 10 题,每个维度 2 题。代码执行占主榜 50% 权重,材料约束也占 50%。两个核心维度一个跌 26.2 分、一个涨 32.1 分,方向相反,主榜得分因此几乎没动。工程判断维度停在 75.00 分,任务表达从 95.00 分降到 85.00 分,诚信评级还是 pass。

成因分析:题目抽签波动概率更高

代码执行维度每天只由 2 题覆盖,单题分量很重。昨天 75.00 分、今天 48.80 分,最可能的原因是今天抽到的 2 题对代码执行要求更高,或者模型在某个语法、某个库调用上出了错。材料约束这边同时冲到满分,说明今天的题目或许更看重材料忠实度,而豆包 Pro 在这一维度上发挥稳定。主榜只多了 0.03 分,两个维度的反向变化正好相互抵消,并不是模型整体能力出了系统性退化。

要是真退化,通常会有好几个维度一起往下走。这次工程判断维度没变,任务表达只降了 10 分,幅度也比代码执行小。把现有得分摆在一起看,题目抽签带来的随机波动是更说得通的解释。

对使用者的含义

对高度依赖代码执行的团队来说,选豆包 Pro 时要多留几道验证,尤其是复杂算法或多文件项目。材料约束升到 100.00 分,说明在需要严格照着输入材料来的场景里(比如合同审查、代码注释生成),这个模型更靠得住。任务表达降到 85.00 分,对输出格式卡得严的开发者得再多检查一遍。

战略判断

对照今天的得分,主榜几乎没变,说明豆包 Pro 的整体能力没有明显下滑。代码执行单日跌 26.2 分,落在 Smoke 评测已知的正常波动区间内。下一期可以继续盯同一维度,如果代码执行连续两天低于 55 分,再考虑真实退化的可能。眼下不需要下调对豆包 Pro 的评估。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  2. 抖音生活服务换帅:浦燕子转任顾问,红果莫少君接棒

    眼看交易规模即将追平美团,抖音生服却换下了掌门人。据36氪报道,浦燕子不再担任抖音生活服务总裁,转任公司顾问,后续参与公益相关工作,职务由红果短剧负责人莫少君接任。对此,抖音回应字母榜称,此次调整属于正常的管理岗位轮换与交接,生活服务是公司长期发展方向之一,对该板块会持续投入、长期经营。浦燕子是2023年11月开始负责

    来源 腾讯网
  3. 火山引擎上线豆包实时音视频通话模型API服务

    36氪获悉,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime1.0)API服务,带来全模态交互的新体验。SeedRealtime将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。

    来源 AI 行业观察
  4. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  5. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  6. 豆包工作三月成绩单:DAU超800万,企业ARR破20亿

    11月18日,豆包宣布生产力AI产品“豆包工作”上线三个月,日活用户突破800万,企业客户年度经常性收入超20亿元,B端AI商业化增速强劲。该产品8月25日发布,深耕专业办公场景;11月16日上线“工作台”,首批覆盖金融、医疗、教育、创意设计等21个垂直专业领域,提供预配置行业功能。

    来源 AI 产业速递
  7. 豆包实时音视频通话模型1.0 API上线:可在连续多模态信息流实时交互

    11月19日,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API服务。该模型将声音、画面、时序与表达统一到端到端模型中,可在连续多模态信息流上实时交互,并降低传统级联系统的延迟叠加和信息损耗,适用于语音助手、智能硬件、陪伴式应用和实时客服等场景。

    来源 凤凰科技
  8. 字节、腾讯同时披露核心数据,AI办公进入实战期

    11月18日,字节跳动旗下豆包工作宣布,上线三个月以来,日活跃用户数(DAU)突破800万,企业客户年度经常性收入(ARR)突破20亿元。豆包工作是豆包面向生产力场景推出的AI产品及品牌。同日,腾讯控股(0700.HK)披露,截至11月初,WorkBuddy日活跃用户数已超过1000万,用户日均token(词元)调用量

    来源 腾讯网
  9. 陈林二次创业押注AI教育,“银河智学”能否跑通?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 翟元元封面来源 | 豆包AI创业两年之后,陈林正式公开创业项目。11月9日,字节跳动旗下今日头条前CEO、原大力教育CEO陈林发布长文《我为什么还要做教育?》,正式宣布已于2024年开启二次创业,方向为AI教育,

    来源 腾讯网
  10. 全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

    给你一张白纸,画13个鸡蛋,你需要多久?一分钟?画一个数一个,画完再点一遍,大概连橡皮都用不上。可这道题交给AI,它画了十几轮,一轮也没画对。11月18日,“让豆包画13个鸡蛋”就这么冲上了微博热搜,话题热度当天破了百万。从热搜里流传的截图看,经过是这样的。“让豆包画13个鸡蛋”,这是第一轮丨微博用户@一号哨位...

    来源 腾讯网
  11. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  12. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  13. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  14. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  15. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  16. 字节跳动洽谈微软5亿美元Azure:OpenAI为何不满?

    IT之家 11 月 19 日消息,据《The Information》今日报道,字节跳动正与微软进行深入谈判,计划额外采购约 5 亿美元(IT之家注:现汇率约合 33.4 亿元人民币)的 Azure 云服务,其中大部分支出将用于调用 OpenAI 的 AI 模型。知情人士称,这笔潜在交易引发了 OpenAI 对微软的不

    来源 AI 行业观察
  17. 一年卖了5000万,第一批明星AI产品还是下线了

    11月9日,腾讯元器停服。对一个做公众号的运营者来说,最直接的变化是,自己搭的自动回复机器人不回消息了。元器是腾讯2024年5月推出的零代码智能体平台,用户不用写代码,就能把公众号、知识库和插件拼成一个机器人。 更早之前的10月底,字节扣子发布《扣子企业版下线公告》:11月30日起,企业标准版、企业旗舰版暂停接受新客户

    来源 AI 行业观察
  18. 曾妍的新论文,就是字节 “10万亿”路线图

    95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

    来源 AI 行业观察
  19. 抖音重拳治理“代解封”黑灰产:一个月处置1878条违规内容,137个账号被禁言

    11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。

    来源 TechWeb
  20. 抖音整治代解封黑灰产:月内处置1878条违规内容,137个账号被禁言

    11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。

    来源 TechWeb
向下滚动自动加载更多