字节Seed大模型进展偏慢:赛马机制与重工业研发的错位

资讯 网易科技 作者:网易 全文 2891 字 · 约 8 分钟读完 配图 1 张 分类字节跳动大模型算力

sina qqZone renren ydCloud 0

所属频道 大厂动态模型发布算力与芯片

互联网的黄金十年里,字节跳动被不少人视作一台近乎神明的组织机器。“App工厂”模式、扁平化的敏捷开发,加上极度内卷的“赛马机制”,让它硬是在腾讯和阿里的夹击下跑出了抖音这样的全球级巨无霸。

可当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库杀入大模型时代,过去那些“神兵利器”反倒成了刺向自己最深的软肋。

X平台最近的一场讨论让字节Seed团队站到了聚光灯下,也把大模型热潮背后那层不愿被提起的组织问题摆上了台面。爆料人的说法很直接:Seed手里人才不差、算力也充足,可LLM(大语言模型)就是推不快;问题不在技术天花板,而卡在组织上——字节那套赛马机制,跟大模型研发根本对不上。

把此前公开报道里字节Seed团队训练“投毒”事件当事人的自述,和评论区关于“大模型重工业流水线”的说法放在一起看,一个挺荒唐的局面就露出来了:大模型算得上人类历史上最复杂的系统工程,而字节最得意的“赛马”,却跑不出通往AGI的那枚火箭。

字节Seed大模型进展偏慢:赛马机制与重工业研发的错位(配图 1)

图自推特

当“赛马”撞上“重工业”

不少大厂高管容易栽进同一个坑:把大模型当成又一个更复杂的App,觉得只要堆上足够多的团队,让他们彼此竞争、内部PK,最强的模型自然就能跑出来。

这是移动互联网时代留下的思想钢印。

评论区一位从业者的总结一针见血:“大模型预训练,本质上是类似精密重工业的流水线工程。从分词过滤、数据配比,到千卡/万卡拓扑的通信调优,每个环节必须严丝合缝、全局协同。”

这套重工业体系里,容不得半点各自为战。得有一个高度集权的指挥部,统一调度上万张GPU,统一清洗几十万亿的Token,统一对齐底层的Infra(基础设施)架构。哪怕只是一个细微的数据配比错误,或者千卡集群里一根网线松动,都可能让长达数月、耗资数千万的训练彻底崩溃。

而“赛马机制”的核心是什么?小步快跑、资源隔离、团队内卷、胜者为王。

把移动互联网的赛马机制强行套用到需要全局协同的超大集群研发上,直接结果就是:本该集中力量办大事的“超级算力池”,被拆碎成各自为战的“资源孤岛”。

爆料里提到,字节内部资源囤积成了常态。已经抢到算力的团队,就算算力闲置,也宁愿烂在手里,绝不肯共享给其他团队。大家都防着隔壁团队跑出比自己更好的成绩,信息不透明,沟通充满戒备,甚至互相藏匿关键的代码与数据。

这毛病并不只出在字节一家。爆料者还提到硅谷巨头身上也有类似情况:谷歌内部,做Gemini的团队抱怨缺卡,而赚钱的广告团队手里攥着大量GPU,外面根本不清楚这些算力被拿去干了什么。需要说明的是,关于谷歌内部算力分配的这一具体说法,目前只出现在爆料转述中,还没有独立信源交叉印证;不过它指向的部门墙与本位主义,在大模型时代确实是代价高昂的沉没成本。

洗了半年的数据,谁来背OKR?

大模型研发要的不只是“大”,还得有“静”。它不像写前端代码,敲完就能看到炫酷的UI反馈;更多时候,是大量枯燥的数据清洗和繁琐的通信调优。

而在大厂极度内卷的KPI/OKR体系下,这种“安静”是不被允许的。

爆料里写到了研发人员特别真实的痛点:做LLM,并不需要那么多灵光一闪的“天才时刻”。日常真正要干的,是把数据和环境稳稳当当地弄对,是死磕Infra的效率。可这批由顶级天才组成的研发人员,骨子里又偏偏渴望创新、渴望带项目。

“加上每几个月考核一次的OKR,我这半年全都在清洗脏数据,年底的OKR怎么写?”这是一个死结。

现有考核体系下,洗数据、排雷、调优通信这些真正决定大模型下限的“脏活累活”,没法转化成漂亮的汇报PPT和顶会论文。如果员工为了完成OKR,去做最出彩、最容易发论文的架构创新,那些脏活谁来干?

没人干,模型就会吃下有毒的数据,最终酿成灾难。

圈内此前被震动的那起字节Seed团队训练“投毒”事件,就是这种极端内卷加组织割裂结出的果子。前员工ShoufaChen是最直接的受害者,他回忆时非常痛苦地讲了那段持续数月的排查、对峙与质疑。那几个月里,团队每天面对的,是模型表现莫名其妙地崩掉,是彼此之间对工作失误的相互指责。

公开报道显示,这不是普通的技术Bug:一名前实习生在训练环境里做了系统性的破坏——改底层代码、随机掐断训练进程、埋后门,还把故障伪装成随机事故。团队之间为抢资源互相提防,研究员为保住自己的项目瞒下真实的数据故障,大模型这么个庞然大物,就会在不知不觉中滑向崩溃。大厂的OKR体系本意是激发人的潜能,结果却逼出了人性里最短视、最自私的那一面。

缺失的“Research Group”

更有意思的是另一条评论:“字节拥有最多的资源,但没有一个真正的Research group(研究团队)。”

过去几年,这家公司在技术博客上写了不少漂亮文章,发过很多出色的Infra框架和底层算法。可要是细看就会发现,技术产出跟实际投进去的算力之间,是一种极不匹配的非线性关系。几万张卡砸下去,换来的常是局部优化的“工程小胜利”,底层的“范式大突破”却迟迟不见。

问题出在哪?大厂的“研究院”很多时候还是业务部门的附庸。上头要他们“既要前沿,又要落地”:顶会论文得发,用来证明技术实力;成果又得马上接进抖音做广告推荐。这种“既要又要”的拧巴状态,让研究员没法在一个方向上长期聚焦。

可到了大模型时代,真正的Research,需要的是“不计成本的试错”和“长期主义的宽容”。

微软给OpenAI建了顶级超算中心,让他们折腾了好几年才憋出GPT-4;DeepSeek背靠幻方,算力冗余自由到极点,极客文化又极度扁平,几十个人的小团队就能为一个MoE架构的执念死磕到底。反观大厂,算力的自由分配权不解决,不盯着短期DAU的考核机制不建立,天才们只会沦为洗数据的高级流水线工人,或者变成为了抢卡内斗的办公室政客。

公开报道显示,字节此后推动了Seed团队组织收敛,还取消了Seed Edge项目的季度OKR和半年考核。这从侧面说明,旧有的“赛马+短周期考核”方式,确实已经难以为继。

结语:告别“App工厂”,重塑“大厂”

其实不只是字节。阿里、腾讯、谷歌,所有想用“App工厂”的旧瓶去装“大模型”这瓶新酒的传统巨头,都在经历痛苦的阵痛。

大模型这摊事,靠写几行前端代码根本别想上线。它要做的,是把人类知识压到极致,工程量极大,也极其残酷,还得所有人拧成一股绳,堪比搞核聚变。落到企业身上,硬件底层的调度能力得有,长时间出不了成果的阶段得扛得住,比短期财报更长的那股信念也少不了。

大厂们要是还抱着“内部赛马”、“用OKR逼产出”、“各扫门前雪”的互联网旧思维,那空有上万张算力卡,最终也只能搭出一个比上不足、比下吃力的“资源孤岛”。

未来的赢家未必是显卡最多的公司,但一定是那个敢砸碎旧部门墙、把所有算力捏成一个拳头、还能让天才心甘情愿去洗一年数据的组织。说到底,算力花钱就能买到,可要建立一套适配硅基生命进化逻辑的“科研工业体系”,需要的是一次伤筋动骨的自我革命。操作系统不换,大厂就注定跨不进AGI的窄门。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 字节Seed团队被指组织失配:算力最多,大模型进展反而不快

    在互联网的黄金十年里,字节跳动是被奉为神明的组织机器。凭借“App工厂”模式、扁平化的敏捷开发以及极度内卷的“赛马机制”,它硬生生在腾讯和阿里的夹击下,跑出了抖音这样的全球级巨无霸。 但当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库,杀入大模型时代时,过去的“神兵利器”,却成了刺向自己最深的软肋。 近日,X平

    来源 AI 行业观察
  2. 字节大模型:算力最丰沛,为何进展最迟缓?

    (本文作者为 Tech商业,钛媒体经授权发布)文 | Tech商业在互联网的黄金十年里,字节跳动是被奉为神明的组织机器。凭借“App工厂”模式、扁平化的敏捷开发以及极度内卷的“赛马机制”,它硬生生在腾讯和阿里的夹击下,跑出了抖音这样的全球级巨无霸。但当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库,杀入大...

    来源 腾讯网
  3. 腾讯字节阿里百度押注AI办公:免费、买量、生态捆绑能跑通吗?

    当下,腾讯、字节、阿里和百度,在AI原生应用端的争夺主要聚焦在生产力场景。 年初集体押注的通用ChatBot这条路,似乎已经走入死胡同。大模型推理天然消耗高昂算力成本,规模越大负担越重,只有真正帮用户提高生产效率、增大产出,不论To C还是To B,才有可能付费。 AI办公由此成为大厂今年以来集体重注的方向。WorkB

    来源 AI 行业观察
  4. 周畅被传离职创业,接近字节人士称其并未离职

    近日,有传闻称字节Seed AI研发核心负责人之一周畅已提出离职。据澎湃新闻消息,消息人士透露,周畅或将开启创业,方向可能与具身智能相关,并已获多家知名基金、大厂战投及头部大模型独角兽企业的积极接触。

    来源 TechWeb
  5. DeepSeek长文本为何抽风?字节Seed团队解析AI性能波动

    字节跳动旗下 Seed 团队在最新的研究论文中,揭示了大语言模型在处理超长文本时出现性能波动的技术原因。研究团队指出,这一现象主要源于分块 KV 缓存压缩技术所带来的“相位敏感性”。 关键机制引发检索偏差 该技术为了降低长上下文推理时的内存消耗,会通过固定步幅将连续标记窗口压缩为更少的条目。然而,这种压缩机制引入了一个

    来源 AI 开发者社区
  6. 豆包刘星回应横店合作传言:15万群演数据喂大模型不实

    IT之家 10 月 28 日消息,豆包公关负责人刘星今日发文称,“横店与字节合作,将 15 万名群演的肖像和声音喂给字节大模型”的传言严重失实。 他表示,横店影视 AI 服务平台项目,其实是希望建设一套公共数字基础设施,把影视基地实景等资产做成高质量数据集,帮助剧组更高效地选景、筹备和拍摄,也降低中小影视企业使用 AI

    来源 AI 行业观察
  7. 豆包刘星否认横店群演数据喂大模型:传言严重失实

    刘星表示,横店影视 AI 服务平台项目旨在建设公共数字基础设施,将影视基地实景等资产做成高质量数据集,帮助剧组高效选景筹备,降低中小影视企业使用 AI 门槛。项目数据归横店或授权方所有,涉及肖像声音使用需本人授权,不会用于训练字节大模型。##豆包回应群演数据传言## ##横店影视AI平台##

    来源 IT之家
  8. 亿铸科技3D DRAM存算一体:大模型推理TCO最高降约88%

    在大模型参数规模持续膨胀、Agent任务链条不断拉长的背景下,AI算力竞争的重心正在从单一峰值指标转向真实业务场景下的有效算力与综合成本。亿铸科技技术实力的核心,恰好落在这一转变的关键节点上——以3D DRAM为存储基础,以全数字存算一体为架构路径,围绕数据中心、云计算与大模型推理场景,构建一套兼顾能效、精度与通用性的

    来源 AI 行业观察
  9. DeepSeek产品部,交给了一个量化交易员

    (本文作者为 超聚焦,钛媒体经授权发布)文 | 超聚焦DeepSeek补票Agent时,曾经的候选人郭达雅已换乘字节。10月16日,DeepSeek成立产品部,将Harness、Web、App、Platform四个团队整合到一起,由拿下过六枚ACM亚洲区域赛金牌但出身量化崔添翼负责,统筹产品、设计和研发。这家曾经以模型

    来源 腾讯网
  10. AI账号低价共享暗藏风险:监管、平台与厂商如何合力整治

    据媒体近日报道,在一些二手交易平台上,有不少卖家做起了AI大模型付费服务的“灰色生意”,打着“破解版”“低价共享”等旗号,兜售各类AI大模型使用权益。有开发团队对此回应称,在二手平台出租、售卖相关账号非官方服务,也未获授权,此类行为违反用户协议,将坚决打击。 从表面看,低价共享AI账号降低了用户使用门槛,颇具吸引力,但

    来源 AI 行业观察
向下滚动自动加载更多