字节Seed团队被指组织失配:算力最多,大模型进展反而不快
在互联网的黄金十年里,字节跳动是被奉为神明的组织机器。凭借“App工厂”模式、扁平化的敏捷开发以及极度内卷的“赛马机制”,它硬生生在腾讯和阿里的夹击下,跑出了抖音这样的全球级巨无霸。 但当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库,杀入大模型时代时,过去的“神兵利器”,却成了刺向自己最深的软肋。 近日,X平
互联网的黄金十年里,字节跳动常被看作一台被奉为神明的组织机器。靠着“App工厂”模式、扁平化的敏捷开发,还有极度内卷的“赛马机制”,它在腾讯和阿里的夹击下硬是跑出了抖音这样的全球级巨无霸。
可当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库杀进大模型时代,过去那套“神兵利器”反倒成了刺向自己最深的软肋。
近日X平台上围绕字节Seed团队的一场讨论,把大模型狂欢背后那层组织的遮羞布扯了下来。爆料者说得很直接:Seed的人才很好、算力也很多,但LLM(大语言模型)的进展不够快;问题不在技术限制,而在组织——字节的赛马机制根本不匹配大模型的研发。
再配合此前公开报道中字节Seed团队训练“投毒”事件当事人的自述,以及评论区关于“大模型重工业流水线”的讨论,一个相当荒诞的现实浮出水面:在大模型这个人类历史上最复杂的系统工程面前,字节引以为傲的“赛马”,跑不出通向AGI的火箭。
当“赛马”撞上“重工业”
大厂高管往往有一个致命的路径依赖:以为大模型只是另一个更复杂的App,只要投入足够多的团队,让他们互相竞争、内部PK,就能跑出最强的模型。
这是移动互联网时代留下的思想钢印。
评论区一位从业者的总结一针见血:“大模型预训练,本质上是类似精密重工业的流水线工程。从分词过滤、数据配比,到千卡/万卡拓扑的通信调优,每个环节必须严丝合缝、全局协同。”
这套重工业体系里容不得半点各自为战。得有一个高度集权的指挥部,统一调度上万张GPU,统一清洗几十万亿的Token,统一对齐底层的Infra(基础设施)架构。一个细微的数据配比错误,或者千卡集群里一根网线松动,都可能让长达数月、耗资数千万的训练彻底崩溃。
而“赛马机制”的核心是什么?小步快跑、资源隔离、团队内卷、胜者为王。
把移动互联网的赛马机制强行套到需要全局协同的超大集群研发上,直接结果就是把本该集中力量办大事的“超级算力池”,拆碎成各自为战的“资源孤岛”。
爆料里提到,字节内部资源囤积成了常态。已经抢到算力的团队,哪怕算力闲置,也宁愿烂在手里,绝不肯共享给其他团队。大家都防着隔壁团队跑出比自己更好的成绩,信息不透明,沟通充满戒备,关键的代码与数据甚至互相藏匿。
碰上这事的也不止字节。爆料者还顺带提到,硅谷巨头身上同样存在这类毛病:谷歌内部做Gemini的团队喊缺卡,反倒是赚钱的广告团队手里攥着一大把GPU,这些算力究竟被拿去干什么,外界根本不清楚。不过要说明一点,关于谷歌内部算力怎么分,这套具体说法眼下只出现在爆料转述里,还没有独立信源交叉印证;可它指向的部门墙与本位主义,确实是大模型时代一笔昂贵的沉没成本。
洗了半年的数据,谁来背OKR?
大模型的研发不光要“大”,更要“静”。它不像写前端代码那样能立刻看到炫酷的UI反馈,需要的是大量枯燥的数据清洗和繁琐的通信调优。
而在大厂极度内卷的KPI/OKR体系下,这种“安静”是不被允许的。
爆料里写到的痛点,研发人员看了大概都会点头:搞LLM,并不需要那么多灵光一闪的“天才时刻”。日常真正要干的,是把数据和环境稳稳当当地弄对,是死磕Infra的效率。可这帮由顶级天才组成的研发人员,骨子里又渴望创新、渴望带项目。
“加上每几个月考核一次的OKR,我这半年全都在清洗脏数据,年底的OKR怎么写?”这是一个死结。
在现有考核体系下,洗数据、排雷、调优通信这些真正决定大模型下限的“脏活累活”,没法转化成漂亮的汇报PPT和顶会论文。如果员工为了完成OKR,跑去做最出彩、最容易发论文的架构创新,那些脏活谁来干?
没人干,模型就会吃下有毒的数据,最终酿成灾难。
之前在圈内引发震动的字节Seed团队训练“投毒”事件,就是这种极端内卷和组织割裂结出的果子。前员工ShoufaChen是最直接的受害者,他在回忆里极其痛苦地讲了那段长达数月的排查、对峙与质疑。那几个月,团队每天面对的,是模型表现莫名其妙地崩溃,是彼此之间对工作失误的相互指责。
公开报道显示,这事不是简单的技术Bug,而是一名前实习生在训练环境里搞的系统性破坏:改底层代码、随机终止训练进程、埋后门,再把故障伪装成随机事故。团队之间为抢资源互相防着,研究员为保住自己的项目把真实的数据故障瞒下来,大模型这个庞然大物就会在不知不觉中走向崩溃。大厂的OKR体系本意是激发人的潜能,结果却逼出了人性里最短视、最自私的那一面。
缺失的“Research Group”
更有意思的是另一条评论:“字节拥有最多的资源,但没有一个真正的Research group(研究团队)。”
这家公司前几年在技术博客上写得相当漂亮,Infra 框架、底层算法出了一批又一批。可要是把技术产出和实际砸下去的算力摆在一起看,两者的关系明显不成正比,甚至有点拧巴。几万张卡投进去,换回来的常常只是局部优化那点“工程小胜利”,底层的“范式大突破”却迟迟没影。
问题出在哪?大厂的研究院,多数时候还是业务部门的附庸。上头要的是“既要前沿,又要落地”:顶会论文得发,用来证明技术实力;抖音广告推荐那边也得马上接得上。这种两头都要的状态,让研究员没法在一个方向上长期扎下去。可大模型时代的真研究,恰恰需要不计成本的试错,需要对长期主义有那份宽容。
微软给 OpenAI 建了顶级超算中心,让他们折腾好几年才憋出 GPT-4;DeepSeek 背靠幻方,算力冗余大到极点,极客文化又极度扁平,几十个人的小团队就能为一个 MoE 架构的执念死磕到底。反观大厂,算力的自由分配权不解决,不盯着短期 DAU 的考核机制不建起来,天才们要么沦为洗数据的高级流水线工人,要么变成抢卡的办公室政客。
公开报道显示,字节后来推动了 Seed 团队组织收敛,还取消了 Seed Edge 项目的季度 OKR 和半年考核。旧那套“赛马+短周期考核”的方式撑不下去,这一点从侧面也能看出来。
结语:告别“App工厂”,重塑“大厂”
其实不只字节一家。阿里、腾讯、谷歌,凡是拿“App 工厂”的旧瓶去装大模型这瓶新酒的传统巨头,眼下都在经历痛苦的阵痛。
大模型不是写几行前端代码就能上线的小程序。它要把人类知识压缩到极致,是一场极其宏大、残酷、又要求极度团结的核聚变。企业得有底层硬件级的调度能力,得容忍长期“无产出”的阶段,更得有一种超越短期财报的信仰。
大厂要是还抱着“内部赛马”“用 OKR 逼产出”“各扫门前雪”那套互联网旧思维,手里就算攥着上万张算力卡,最后搭出来的也不过是个比上不足、比下吃力的“资源孤岛”。
未来赢的,未必是显卡最多的那家公司。但一定是敢砸碎旧部门墙、把全部算力捏成一个拳头、还能让天才心甘情愿去洗一年数据的组织。说到底,算力花钱就能买到,可一套适配硅基生命进化逻辑的“科研工业体系”,得靠一次伤筋动骨的自我革命才建得起来。操作系统不换,大厂就注定跨不进 AGI 的窄门。