曾妍带队论文指向字节10万亿参数路线:Cola2把视频生成搬进语言建模
周畅离职,曾妍上位:字节这场路线之争,嫡系赢了空降兵
95后曾妍的晋升速度,在字节内部相当扎眼。
她生于1997年,2021年通过校招进入字节,之后出任Seedance预训练负责人。字母AI在《字节的“罗福莉”,撑起了Seedance的半边天》一文中,曾对她做过详细报道。
眼下有传闻说,曾妍的头衔已经变成Seedance核心负责人。今年3月她的职级还停在3-2,到11月已升至4-2,一年连跳两级。另外,原Seed核心负责人周畅手上的工作,正有越来越多转到她这里。
字节Seed团队里人才密度极高,能跑出这样的节奏并不常见。
原因或许在于,她选的路线跟张一鸣的想法更对得上。她作为项目负责人带队发表的那篇论文,就是最直接的证据。
论文题目是《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重在11月上半旬开放于Hugging Face。
文中给出的方法,是让模型用生成视频的路子来处理文字。论文披露,这么做既省算力,生成效果也更好。
这篇论文同时也可以当成一份路线图来看。
曾妍从扩散模型起步,押的是规模效应这条线。这与外媒爆料中张一鸣亲自带队超大参数模型的理念相合,也对应张一鸣在字节内部会上讲过的长期主义。
算力吃紧的当下,字节很难同时铺开多条线。于是部门被合并,多线赛马改成集中押注:先在某个模态上打赢,再让赢家带着方法去打其他模态。
曾妍的路线,正是这场押注的落点。
Cola2讲了什么
要讲清Cola2这篇论文,得先补一个背景。
现在主流的大语言模型,例如DeepSeek、Qwen、豆包,走的都是同一条路,叫“自回归”。像玩成语接龙,看着前面已经写出的内容去猜下一个token,猜完一个再猜下一个,从左往右一个个往外冒。
这套做法很管用,可它有个天生的短板:没法像人写文章那样先列个提纲。
人动笔之前,通常先想清楚这一段要说什么,再去组织语言。自回归模型却是边写边想,写到哪算哪,而且只能排队,前一个字没出来,后一个字就写不了。
Cola2的解法,是把写字拆成两层来做。
第一层在一个叫“连续隐空间”的地方,先把“要说什么”想明白;第二层再把想好的意思,落成一个个具体的字。
说白了,第一层是列提纲,第二层是照提纲写出正文。
“隐空间”这词听着有点科幻,可用AI生成视频的人其实天天在打交道。
一段视频的原始数据体量很大,直接拿去训练算力扛不住。所以视频生成模型的普遍做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里运算,最后再解压成一帧一帧的画面。
压缩包里要完成的工序叫“扩散”。这跟从前洗照片一个道理:底片起初满是雪花点,模型一点点把噪点抹掉,画面才逐渐显形。
Cola2的思路,是拿“生成文字”当“生成视频”来办。
这个思路在第一代Cola DLM上已经出现,可Cola DLM存在弱项。按Cola2论文的说法,Cola DLM在生成类任务上表现偏弱,症结在负责“写正文”的那个解码器。Cola2要做的,正是补上这块短板,它比上一代多做了三件事。
头一件,是学会按意思切。
要想像压缩视频那样压缩文字,先得定下来究竟怎么切块。
旧办法是按长度硬切,比如每两个token切一块,这么一来“北京烤鸭”可能被切成“北京”和“烤鸭”,也可能切出“京烤”这种让人摸不着头脑的东西。
Cola2改为按意思动态切分,平均两个token压成一个“提纲点”,哪几个token归到一处,由内容说了算。
压多少,靠的是一套类似空调恒温器的负反馈机制。压得过狠,比如“北”、“京”、“烤”、“鸭”各自成块,它就自动放松一点;压得过松,比如“北京烤鸭好吃”整句挤在一起,它就自动收紧一点,始终维持在目标附近。
实验显示,按意思切比按固定长度切,准确率高8.2%。更有意思的是,设置合适时,压缩后的成绩(29.4%)反而比完全不压缩(28.7%)略高一些。可见压掉的主要是“水分”。
第二件,是让写正文的那一方既能照着念,也能自己编。
解码器如果只会照提纲念,提纲一旦出错,整篇文章自然跟着全错。为此Cola2训练解码器时,有意喂给它三种提纲:一种清清楚楚,一种加了噪点、看不太清,还有一种压根不给提纲。
这就像训练一个演员,提词器时而清楚,时而花屏,时而干脆黑掉,他都得接着往下演。
最终定下的比例是,仅两成情况提供清楚提纲,其余八成要么模糊要么没有。即便如此,解码器照着清楚提纲还原原文的准确率,仍保持在99.5%以上。
真正动笔写东西时,再用 CFG 这个旋钮,调节“听提纲的”与“自己发挥的”各占多少。
第三件,是让提纲和正文一块儿训练。副标题里的Co-Adaptive(协同适应),说的就是这件事。
以往的做法,通常先把“压缩器”训练好、冻住,再拿去练写正文的。
提纲模板一旦定死,写文章时就算发现提纲有问题,提纲那边也全然不管。Cola2索性让两边一起练,写正文的觉得哪里不够用,信号就传回去,逼着提纲那边调整。
实验结果里,把压缩器完全定死、不许改动,成绩是47.6%;两边一起练,涨到53.5%;再加一个允许压缩器学会“预判后文”的训练目标,成绩提升到58.2%。
这里还藏着一个反直觉的设计:负责列提纲的 DiT,只准学,不准反过来改压缩器。
Cola2训练用了约3460亿个token,模型尚未收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。
算力方面,论文称,由于平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上它主要的计算量会降到原来的一半,注意力部分降到四分之一。
论文在结尾处提到,模型还“远未收敛”,DiT 尤其明显;训练规模则“受限于可用资源”。想探到这条路线能走多远,模型得更大、训练得更久,数据和算力也得跟上。
论文还提到,连续隐空间有可能成为文字与图像、视频之间的共享接口,通向“理解与生成的统一”。
“理解与生成的统一”,正是周畅在字节讲了一年多、却一直没讲通的那件事。
曾妍走的那条路,跟张一鸣的想法更合拍。
11月12日澎湃新闻有报道,张一鸣近期在面向AI团队的一次全员会上谈到,字节具备跟OpenAI、Anthropic掰手腕的能力,可要说真正赶上最前沿,“最早也要到2029年或2030年”。
他提到,对比海外头部公司,Seed模型在预训练数据规模上“仍然少了”,这是当下最该盯紧的事。就在同一时间,有外媒称Seed正在预训练一款参数最高能到10万亿的模型。
数据不够就补、模型往大了做、长期主义不能丢——这套思路明显更靠向曾妍。周畅那边的方向,跟它并不是一回事。
2025年7月,原先管视觉生成的杨建朝离职,图像生成、视频生成这两块交到了周畅手上。此后他在字节内部推起一个新提法:“多模态理解与生成统一”。
周畅的设想是拿理解当起点,把生成也装进去,让同一个模型既能看懂又能画出来。
可惜这套说法没能立住。
周畅接手之后,最能代表这种统一思路的产物,是今年2月跟Seedance 2.0同期亮相的图像模型Seedream 5.0 Lite。
字节内部给5.0 Lite的评语是“a relatively small model”(一个相对较小的模型),结构稳定性、写实度、审美这几项“仍有改进空间”。社区那边的看法比较一致:周畅理解这块在行,生成却不算熟。
一位阿里Qwen的研究员说,“理解、生成统一”眼下几乎没有已知的行之有效的方案,谁也还没做到。这种节骨眼上猛加参数,不一定能加出结果来。
今年8月Seed做了一轮组织调整,周畅起家的VLM被塞进大语言模型体系,从独立部门降成一个数据子部门。一位Seed内部人士的说法是:“他(周畅)丢了龙兴之地,基本就没有核心地盘了。”
说起来曾妍也是理解出身。2021年入职才两个月,她就以第一作者身份发出X-VLM,研究的是让AI把图里的东西和文字对应起来。
打个比方,你说“穿红衣服的小女孩在骑自行车”,模型得在图中准确锁定那个小女孩。
2023年转到Seed以后,她开始朝生成方向走。2024年她参与的PixelDance,攻的就是视频里人物一动就变形这个毛病,它如今是字节视频生成的核心技术底座,Seedance这个名字也由它而来。
Seedance 2.0做成,跟“理解生成统一”其实没有直接关联。它的做法是把视频和音频塞进同一个DiT里一起生成,画面和声音天然对得上。Seedance 2.0的本事,主要来自曾妍拿手的“连续”。
所以有Seed人士说,Seedance真正的leader是曾妍,技术和决策都落在她这一层。
理解和生成,训练目标不同,数据的形态不同,算的方式也不同。硬把它们塞进一个模型,两边很容易互相拖累。
这就像《射雕》里周伯通的左右互搏术,左手画圆不难,右手画方也不难,两边同时来就难上加难。
在这个问题上,周畅和曾妍选的是相反的两头。
周畅从语言模型起步,曾妍从扩散模型起步。
更要紧的一点是,曾妍比周畅更信规模。
2025年底,Seedance团队聚过一次餐,聊下一代模型怎么训。曾妍主张训个更大的,参数至少200B,也就是2000亿。队里有人嫌冒进,觉得先训100B稳一点,她坚持一步到位。后来Seed的正式评审会上,吴永辉和周畅都站了她这边。
外网此前有过爆料,说张一鸣正带着字节做一个10万亿参数的大模型,这位中国首富还亲自下场参与。这么看,曾妍的路数跟张一鸣想干的事更对得上。
还有一层,是出身。
周畅是字节以八位数年薪招揽过来的,入职时还带来十多名阿里旧部,阿里为此发起了竞业仲裁。在字节的两年间,他至少两次被传要离开。
Seed一位内部人士透露:“周畅总是玩乌龙,他每次想走,过两周又留下来。”
曾妍不一样,她是字节自己招的校招生,五年升到4-2,始终在Seedance这条线上。对字节而言,周畅和曾妍的亲疏关系并不一样。
字节正从多线赛马变成集中押注
字节进入新领域时,往往不会只搭一个团队。张一鸣更倾向同时铺开几支队伍并行摸索,谁跑出来就押谁。抖音就是这样跑出来的。
大模型这条线也照此办理。
过去两年,Seed招揽了国内规模最大的一批顶尖研究员,分布在文本、代码、视觉、语音、推理等方向。据晚点报道,曾有人向他们承诺,在这里能靠自己的创新站上“潮头”。
一位曾在Seed工作的研究员说:“每个人都想成就一番事业。”
可两年下来,“潮头”太多,反倒拖住了字节在AI上的脚步。
最突出的问题是算力。
大参数模型对算力的消耗最大,而算力恰恰是最稀缺、最金贵的资源。
晚点的说法是,字节虽然在AI上投入最坚决,可眼下的算力储备已经撑不起多线并行的研发方式,把资源收拢到少数核心项目上,是更现实的路。
家里孩子多,以前家底又厚,每个孩子都能报好几个兴趣班。如今想让一个孩子去上顶尖名校、考出好成绩出人头地,其他表现平平的孩子就得上少点兴趣班。
前文提到的字节8月组织调整,走的正是这个思路。
Seed的基础模型团队新设四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人直接向吴永辉汇报。
公告中的说法是:“合并相似工作、减少overlap(重合),内聚在一起。”
此前Seed按模态划分团队,文本、代码、视觉、推理各设自己的数据团队和后训练团队。
早期这样做有利于快速补齐各项能力,可方向一多,团队业务开始重叠,有的方向重复投入,跨团队沟通成本也水涨船高。
模型变大不是简单加参数,它是一项系统工程。
参数增加后,需要更多、更好的数据同步跟上,不然多出来的参数只是在重复学已经学过的内容。结果就是,再往里砸钱,收益也很难出来。
到了5万亿、10万亿参数的规模,每个模态各养一套数据团队、各搞一套后训练,已经容不下。
另外,字节想让下一代模型直接走向Omni(全模态),语言、代码、视觉、语音都装进同一个底座。
也正因此,各类数据放多少、在什么阶段放、怎么保持平衡,都会左右最终的能力表现。
一位从业者对晚点表示:“Omni是行业的趋势。”
腾讯在7月把多模态模型部门划归姚顺雨掌管的大语言模型部门;阿里从Qwen3.5起将视觉能力直接并入主线模型,通用视觉理解模型不再单独发布。DeepSeekV4.1 Flash同样把视觉理解做成了原生能力。
Seedance已经说明一件事:模型能力领先后,用户增长和API收入能很快跟上。
不过字节看的不只是眼前的收入。
张一鸣在Seed的一次内部会上讲过,模型在一段时间内落后可以接受,团队更该盯住的是智能上限。
他还说,做模型要讲长期主义、要能延迟满足,拿别人的输出去换一时的榜单排名并不可取。
11月初的报道显示,Seedance海外收入占比已达50%,过去半年海外收入涨了近5倍。
可到了最要紧的基础模型战场,Seed还在追赶。编程和Agent能力上,它明显落后于月之暗面、智谱这些创业公司。
张一鸣的判断是,字节要追上前沿模型,“最早也要到2029年或2030年”。
这样一来,字节选曾妍,实际上押的是一条路子:先在一个模态上打赢,再让打赢的人带着赢下来的方法,往别的模态扩。
字节当年起家也是这个打法。先在今日头条把推荐算法跑通,再把这套打法搬到抖音上。