曾妍带队论文指向字节10万亿参数路线:Cola2把视频生成搬进语言建模

资讯 36氪 全文 5519 字 · 约 14 分钟读完 分类字节跳动人事变动学术研究

周畅离职,曾妍上位:字节这场路线之争,嫡系赢了空降兵

所属频道 大厂动态人物与组织前沿研究

95后曾妍的晋升速度,在字节内部相当扎眼。

她生于1997年,2021年通过校招进入字节,之后出任Seedance预训练负责人。字母AI在《字节的“罗福莉”,撑起了Seedance的半边天》一文中,曾对她做过详细报道。

眼下有传闻说,曾妍的头衔已经变成Seedance核心负责人。今年3月她的职级还停在3-2,到11月已升至4-2,一年连跳两级。另外,原Seed核心负责人周畅手上的工作,正有越来越多转到她这里。

字节Seed团队里人才密度极高,能跑出这样的节奏并不常见。

原因或许在于,她选的路线跟张一鸣的想法更对得上。她作为项目负责人带队发表的那篇论文,就是最直接的证据。

论文题目是《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,权重在11月上半旬开放于Hugging Face。

文中给出的方法,是让模型用生成视频的路子来处理文字。论文披露,这么做既省算力,生成效果也更好。

这篇论文同时也可以当成一份路线图来看。

曾妍从扩散模型起步,押的是规模效应这条线。这与外媒爆料中张一鸣亲自带队超大参数模型的理念相合,也对应张一鸣在字节内部会上讲过的长期主义。

算力吃紧的当下,字节很难同时铺开多条线。于是部门被合并,多线赛马改成集中押注:先在某个模态上打赢,再让赢家带着方法去打其他模态。

曾妍的路线,正是这场押注的落点。

Cola2讲了什么

要讲清Cola2这篇论文,得先补一个背景。

现在主流的大语言模型,例如DeepSeek、Qwen、豆包,走的都是同一条路,叫“自回归”。像玩成语接龙,看着前面已经写出的内容去猜下一个token,猜完一个再猜下一个,从左往右一个个往外冒。

这套做法很管用,可它有个天生的短板:没法像人写文章那样先列个提纲。

人动笔之前,通常先想清楚这一段要说什么,再去组织语言。自回归模型却是边写边想,写到哪算哪,而且只能排队,前一个字没出来,后一个字就写不了。

Cola2的解法,是把写字拆成两层来做。

第一层在一个叫“连续隐空间”的地方,先把“要说什么”想明白;第二层再把想好的意思,落成一个个具体的字。

说白了,第一层是列提纲,第二层是照提纲写出正文。

“隐空间”这词听着有点科幻,可用AI生成视频的人其实天天在打交道。

一段视频的原始数据体量很大,直接拿去训练算力扛不住。所以视频生成模型的普遍做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里运算,最后再解压成一帧一帧的画面。

压缩包里要完成的工序叫“扩散”。这跟从前洗照片一个道理:底片起初满是雪花点,模型一点点把噪点抹掉,画面才逐渐显形。

Cola2的思路,是拿“生成文字”当“生成视频”来办。

这个思路在第一代Cola DLM上已经出现,可Cola DLM存在弱项。按Cola2论文的说法,Cola DLM在生成类任务上表现偏弱,症结在负责“写正文”的那个解码器。Cola2要做的,正是补上这块短板,它比上一代多做了三件事。

头一件,是学会按意思切。

要想像压缩视频那样压缩文字,先得定下来究竟怎么切块。

旧办法是按长度硬切,比如每两个token切一块,这么一来“北京烤鸭”可能被切成“北京”和“烤鸭”,也可能切出“京烤”这种让人摸不着头脑的东西。

Cola2改为按意思动态切分,平均两个token压成一个“提纲点”,哪几个token归到一处,由内容说了算。

压多少,靠的是一套类似空调恒温器的负反馈机制。压得过狠,比如“北”、“京”、“烤”、“鸭”各自成块,它就自动放松一点;压得过松,比如“北京烤鸭好吃”整句挤在一起,它就自动收紧一点,始终维持在目标附近。

实验显示,按意思切比按固定长度切,准确率高8.2%。更有意思的是,设置合适时,压缩后的成绩(29.4%)反而比完全不压缩(28.7%)略高一些。可见压掉的主要是“水分”。

第二件,是让写正文的那一方既能照着念,也能自己编。

解码器如果只会照提纲念,提纲一旦出错,整篇文章自然跟着全错。为此Cola2训练解码器时,有意喂给它三种提纲:一种清清楚楚,一种加了噪点、看不太清,还有一种压根不给提纲。

这就像训练一个演员,提词器时而清楚,时而花屏,时而干脆黑掉,他都得接着往下演。

最终定下的比例是,仅两成情况提供清楚提纲,其余八成要么模糊要么没有。即便如此,解码器照着清楚提纲还原原文的准确率,仍保持在99.5%以上。

真正动笔写东西时,再用 CFG 这个旋钮,调节“听提纲的”与“自己发挥的”各占多少。

第三件,是让提纲和正文一块儿训练。副标题里的Co-Adaptive(协同适应),说的就是这件事。

以往的做法,通常先把“压缩器”训练好、冻住,再拿去练写正文的。

提纲模板一旦定死,写文章时就算发现提纲有问题,提纲那边也全然不管。Cola2索性让两边一起练,写正文的觉得哪里不够用,信号就传回去,逼着提纲那边调整。

实验结果里,把压缩器完全定死、不许改动,成绩是47.6%;两边一起练,涨到53.5%;再加一个允许压缩器学会“预判后文”的训练目标,成绩提升到58.2%。

这里还藏着一个反直觉的设计:负责列提纲的 DiT,只准学,不准反过来改压缩器。

Cola2训练用了约3460亿个token,模型尚未收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。

算力方面,论文称,由于平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上它主要的计算量会降到原来的一半,注意力部分降到四分之一。

论文在结尾处提到,模型还“远未收敛”,DiT 尤其明显;训练规模则“受限于可用资源”。想探到这条路线能走多远,模型得更大、训练得更久,数据和算力也得跟上。

论文还提到,连续隐空间有可能成为文字与图像、视频之间的共享接口,通向“理解与生成的统一”。

“理解与生成的统一”,正是周畅在字节讲了一年多、却一直没讲通的那件事。

曾妍走的那条路,跟张一鸣的想法更合拍。

11月12日澎湃新闻有报道,张一鸣近期在面向AI团队的一次全员会上谈到,字节具备跟OpenAI、Anthropic掰手腕的能力,可要说真正赶上最前沿,“最早也要到2029年或2030年”。

他提到,对比海外头部公司,Seed模型在预训练数据规模上“仍然少了”,这是当下最该盯紧的事。就在同一时间,有外媒称Seed正在预训练一款参数最高能到10万亿的模型。

数据不够就补、模型往大了做、长期主义不能丢——这套思路明显更靠向曾妍。周畅那边的方向,跟它并不是一回事。

2025年7月,原先管视觉生成的杨建朝离职,图像生成、视频生成这两块交到了周畅手上。此后他在字节内部推起一个新提法:“多模态理解与生成统一”。

周畅的设想是拿理解当起点,把生成也装进去,让同一个模型既能看懂又能画出来。

可惜这套说法没能立住。

周畅接手之后,最能代表这种统一思路的产物,是今年2月跟Seedance 2.0同期亮相的图像模型Seedream 5.0 Lite。

字节内部给5.0 Lite的评语是“a relatively small model”(一个相对较小的模型),结构稳定性、写实度、审美这几项“仍有改进空间”。社区那边的看法比较一致:周畅理解这块在行,生成却不算熟。

一位阿里Qwen的研究员说,“理解、生成统一”眼下几乎没有已知的行之有效的方案,谁也还没做到。这种节骨眼上猛加参数,不一定能加出结果来。

今年8月Seed做了一轮组织调整,周畅起家的VLM被塞进大语言模型体系,从独立部门降成一个数据子部门。一位Seed内部人士的说法是:“他(周畅)丢了龙兴之地,基本就没有核心地盘了。”

说起来曾妍也是理解出身。2021年入职才两个月,她就以第一作者身份发出X-VLM,研究的是让AI把图里的东西和文字对应起来。

打个比方,你说“穿红衣服的小女孩在骑自行车”,模型得在图中准确锁定那个小女孩。

2023年转到Seed以后,她开始朝生成方向走。2024年她参与的PixelDance,攻的就是视频里人物一动就变形这个毛病,它如今是字节视频生成的核心技术底座,Seedance这个名字也由它而来。

Seedance 2.0做成,跟“理解生成统一”其实没有直接关联。它的做法是把视频和音频塞进同一个DiT里一起生成,画面和声音天然对得上。Seedance 2.0的本事,主要来自曾妍拿手的“连续”。

所以有Seed人士说,Seedance真正的leader是曾妍,技术和决策都落在她这一层。

理解和生成,训练目标不同,数据的形态不同,算的方式也不同。硬把它们塞进一个模型,两边很容易互相拖累。

这就像《射雕》里周伯通的左右互搏术,左手画圆不难,右手画方也不难,两边同时来就难上加难。

在这个问题上,周畅和曾妍选的是相反的两头。

周畅从语言模型起步,曾妍从扩散模型起步。

更要紧的一点是,曾妍比周畅更信规模。

2025年底,Seedance团队聚过一次餐,聊下一代模型怎么训。曾妍主张训个更大的,参数至少200B,也就是2000亿。队里有人嫌冒进,觉得先训100B稳一点,她坚持一步到位。后来Seed的正式评审会上,吴永辉和周畅都站了她这边。

外网此前有过爆料,说张一鸣正带着字节做一个10万亿参数的大模型,这位中国首富还亲自下场参与。这么看,曾妍的路数跟张一鸣想干的事更对得上。

还有一层,是出身。

周畅是字节以八位数年薪招揽过来的,入职时还带来十多名阿里旧部,阿里为此发起了竞业仲裁。在字节的两年间,他至少两次被传要离开。

Seed一位内部人士透露:“周畅总是玩乌龙,他每次想走,过两周又留下来。”

曾妍不一样,她是字节自己招的校招生,五年升到4-2,始终在Seedance这条线上。对字节而言,周畅和曾妍的亲疏关系并不一样。

字节正从多线赛马变成集中押注

字节进入新领域时,往往不会只搭一个团队。张一鸣更倾向同时铺开几支队伍并行摸索,谁跑出来就押谁。抖音就是这样跑出来的。

大模型这条线也照此办理。

过去两年,Seed招揽了国内规模最大的一批顶尖研究员,分布在文本、代码、视觉、语音、推理等方向。据晚点报道,曾有人向他们承诺,在这里能靠自己的创新站上“潮头”。

一位曾在Seed工作的研究员说:“每个人都想成就一番事业。”

可两年下来,“潮头”太多,反倒拖住了字节在AI上的脚步。

最突出的问题是算力。

大参数模型对算力的消耗最大,而算力恰恰是最稀缺、最金贵的资源。

晚点的说法是,字节虽然在AI上投入最坚决,可眼下的算力储备已经撑不起多线并行的研发方式,把资源收拢到少数核心项目上,是更现实的路。

家里孩子多,以前家底又厚,每个孩子都能报好几个兴趣班。如今想让一个孩子去上顶尖名校、考出好成绩出人头地,其他表现平平的孩子就得上少点兴趣班。

前文提到的字节8月组织调整,走的正是这个思路。

Seed的基础模型团队新设四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人直接向吴永辉汇报。

公告中的说法是:“合并相似工作、减少overlap(重合),内聚在一起。”

此前Seed按模态划分团队,文本、代码、视觉、推理各设自己的数据团队和后训练团队。

早期这样做有利于快速补齐各项能力,可方向一多,团队业务开始重叠,有的方向重复投入,跨团队沟通成本也水涨船高。

模型变大不是简单加参数,它是一项系统工程。

参数增加后,需要更多、更好的数据同步跟上,不然多出来的参数只是在重复学已经学过的内容。结果就是,再往里砸钱,收益也很难出来。

到了5万亿、10万亿参数的规模,每个模态各养一套数据团队、各搞一套后训练,已经容不下。

另外,字节想让下一代模型直接走向Omni(全模态),语言、代码、视觉、语音都装进同一个底座。

也正因此,各类数据放多少、在什么阶段放、怎么保持平衡,都会左右最终的能力表现。

一位从业者对晚点表示:“Omni是行业的趋势。”

腾讯在7月把多模态模型部门划归姚顺雨掌管的大语言模型部门;阿里从Qwen3.5起将视觉能力直接并入主线模型,通用视觉理解模型不再单独发布。DeepSeekV4.1 Flash同样把视觉理解做成了原生能力。

Seedance已经说明一件事:模型能力领先后,用户增长和API收入能很快跟上。

不过字节看的不只是眼前的收入。

张一鸣在Seed的一次内部会上讲过,模型在一段时间内落后可以接受,团队更该盯住的是智能上限。

他还说,做模型要讲长期主义、要能延迟满足,拿别人的输出去换一时的榜单排名并不可取。

11月初的报道显示,Seedance海外收入占比已达50%,过去半年海外收入涨了近5倍。

可到了最要紧的基础模型战场,Seed还在追赶。编程和Agent能力上,它明显落后于月之暗面、智谱这些创业公司。

张一鸣的判断是,字节要追上前沿模型,“最早也要到2029年或2030年”。

这样一来,字节选曾妍,实际上押的是一条路子:先在一个模态上打赢,再让打赢的人带着赢下来的方法,往别的模态扩。

字节当年起家也是这个打法。先在今日头条把推荐算法跑通,再把这套打法搬到抖音上。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 抖音生活服务换帅:莫少君接棒,字节用红果打法攻美团腹地

    11月17日,抖音生活服务换帅。浦燕子因个人及家庭原因卸任总裁、转任公司顾问,接棒的是红果短剧负责人莫少君。抖音集团对外口径一如既往地克制:“正常的管理岗位轮换与交接”,并重申生活服务是长期发展方向,会持续投入、长期经营。一纸公告看不出太多波澜,真正耐人寻味的是两任掌舵者的履历温差。浦燕子2013年加入字节,是今日头条

    来源 腾讯网
  2. 曾妍的新论文,就是字节 “10万亿”路线图

    95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

    来源 AI 行业观察
  3. 抖音生活服务换帅,莫少君接棒浦燕子

    执掌抖音生活服务三年后,浦燕子将这一业务交给了红果短剧负责人莫少君。11月17日消息,浦燕子因个人及家庭生活安排卸任抖音生活服务总裁,转任公司顾问,后续将参与公益等工作。抖音集团回应称,此次调整属于正常的管理岗位轮换与交接,公司将继续投入生活服务业务。两任负责人的履历各有侧重。浦燕子是抖音集团早期员工,...

    来源 腾讯网
  4. 抖音生活服务换帅:浦燕子转任顾问,“红果操盘手”莫少君接棒

    (文/刘媛媛 编辑/吕栋)11月17日,据多家媒体消息,因个人及家庭生活安排,浦燕子将不再担任抖音生活服务总裁,转任公司顾问,后续将参与公司公益等相关工作。该职务由红果短剧负责人莫少君接任。对此,抖音集团方面回应观察者网称,此次调整属于正常的管理岗位轮换与交接,生活服务是公司长期发展方向之一,对该板块会持...

    来源 腾讯网
  5. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  6. 浑水盯上英伟达:建空头仓位,焦点落在公司治理

    浑水此次做空的理由与传统的财务造假质疑有所不同,核心焦点在于英伟达公司治理层面。在浑水宣布做空前,英伟达股价已因CEO黄仁勋12日宣布离职等动荡而处于剧烈波动之中。在财报发布前,黄仁勋在社交平台发布辞职后的首次公开声明,表示如果董事会邀请,他愿意重返英伟达担任CEO。黄仁勋试图重返英伟达的努力,在董事会那里没有得到回应

    来源 TechWeb
  7. 浑水建英伟达空头头寸:押注公司治理,不盯财务造假

    浑水此次做空的理由与传统的财务造假质疑有所不同,核心焦点在于英伟达公司治理层面。在浑水宣布做空前,英伟达股价已因CEO黄仁勋12日宣布离职等动荡而处于剧烈波动之中。在财报发布前,黄仁勋在社交平台发布辞职后的首次公开声明,表示如果董事会邀请,他愿意重返英伟达担任CEO。黄仁勋试图重返英伟达的努力,在董事会那里没有得到回应

    来源 TechWeb
  8. 黄仁勋愿回归英伟达任CEO,董事会主席明确说不

    黄仁勋在社交平台发布辞职后的首次公开声明,表示自离职以来,收到了来自英伟达员工、投资者、商业伙伴及客户的强烈呼声,要求他回归。“如果董事会认为我的回归符合股东、员工、公司及美国的最佳利益,我将很荣幸回应这些呼吁并重新担任CEO。”

    来源 TechWeb
  9. 黄仁勋表态愿回英伟达任CEO,董事会主席明确说不

    黄仁勋在社交平台发布辞职后的首次公开声明,表示自离职以来,收到了来自英伟达员工、投资者、商业伙伴及客户的强烈呼声,要求他回归。“如果董事会认为我的回归符合股东、员工、公司及美国的最佳利益,我将很荣幸回应这些呼吁并重新担任CEO。”

    来源 TechWeb
  10. 李沐加盟的Aimotion,是一家什么AI公司?

    最新消息,这位前AWS AI资深首席科学家、Apache MXNet创始人之一、卡内基梅隆计算机博士,已经正式出任硅谷AI公司Aimotion的联合创始人兼CTO,亲自带队搭建其下一代产业级AI技术体系。

    来源 量子位
  11. 李沐出任Aimotion联合创始人兼CTO,这家AI公司做什么的?

    AI大神李沐,悄悄多了一个新身份。 最新消息,这位前AWS AI资深首席科学家、Apache MXNet创始人之一、卡内基梅隆计算机博士,已经正式出任硅谷AI公司Aimotion的联合创始人兼CTO,亲自带队搭建其下一代产业级AI技术体系。 这家公司来头不小,Aimotion主要面向汽车等高价值、长决策周期行业,提供A

    来源 AI 行业观察
  12. 英伟达Q3营收1158.44亿美元:黄仁勋愿回归任CEO

    英伟达新任临时CEO科莱特·克雷斯。图片经由AI处理 文丨苏扬编辑丨徐青阳 英伟达在黄仁勋离职后交出了第一份成绩单。美国当地时间11月17日,英伟达公布截至2026年10月25日的2027财年第三季度财报。财报显示,英伟达当季营收1158.44亿美元,同比增长103%,环比增长20%;净利润652.87亿美元,同比增长

    来源 腾讯网
  13. 英伟达安抚机器人初创:黄仁勋离任后投资照常,已投超35家

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。 这一动作发生在临时 CEO

    来源 AI 行业观察
  14. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  15. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  16. 知乎推出Paper开源计划:论文与讨论打通,科研作者可绑定身份

    知乎把论文阅读与社区讨论连接了起来。近日,2026知乎科学季收官。除了邀请科研人员参与线下交流,知乎还在科学季期间推出“Paper开源计划”,将论文关联、讨论入口和研究者身份绑定纳入社区功能。基于这项计划。用户阅读论文时,可以通过插件查看知乎上的相关讨论;社区问题可以关联论文卡片,方便读者查阅原始研究;科研...

    来源 腾讯网
  17. 一年卖了5000万,第一批明星AI产品还是下线了

    2026年11月,字节扣子企业版停止接受新客户,腾讯元器于11月9日停服。按IDC统计,2025年中国智能体开发平台公有云市场约2.5亿元,扣子以19.3%排第一、测算约4800万元。文章认为独立AI工具市场太小,正被收回主干。

    来源 凤凰科技
  18. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
  19. Jason Wei离职Meta:天价挖来的思维链作者为何一年就走?

    亏贼!小扎去年掷出上亿美金天价年包,好不容易从OpenAI撬来的“思维链”作者Jason Wei—— 入职Meta刚满一年出头,竟然直接提桶跑路了! 而且,跑路的下家不是什么巨头,而是一家刚刚起步的数据初创公司…… 就在刚刚,Jason Wei在X上发帖官宣: 自己将离开Meta的TBD实验室,加入创业公司Mercor

    来源 AI 行业观察
  20. 英伟达临时CEO首秀:开源AI战略与Hugging Face收购不变

    英伟达创始人兼CEO黄仁勋突然离职后,公司临时CEO首次公开表态,重申开源AI战略保持完整,并确认仍计划收购AI模型托管平台Hugging Face。分析认为,作为“卖铲人”的英伟达与开源生态利益高度绑定;不过,黄仁勋离场带来的战略连续性问题,以及收购可能面临的反垄断审查,仍是外界关注的焦点。

    来源 AI 科技快讯
  21. 黄仁勋离职后英伟达营收仍看涨:AI算力狂热能否撑起增长故事?

    据TechCrunch报道,尽管创始人兼CEO黄仁勋因丑闻离职令英伟达陷入动荡,公司仍预计创纪录的营收势头不会中断。这份乐观指引背后,是AI算力需求的持续狂热,也是客户集中、竞争加剧与治理重建的多重考验。市场正在追问:没有了“皮衣教主”的英伟达,还能把增长故事讲多久?

    来源 AI 科技快讯
向下滚动自动加载更多