曾妍的新论文,就是字节 “10万亿”路线图

资讯 AI 行业观察 作者:字母AI 全文 5514 字 · 约 14 分钟读完 分类字节跳动学术研究Seedance

95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

所属频道 大厂动态前沿研究

95后的曾妍,正在快速晋升。

曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。

如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾妍从原Seed核心负责人周畅手中,接过了越来越多的工作。

在人才密度极高的字节Seed团队,这样的速度并不多见。

究其原因,或许是因为曾妍的路线更贴合张一鸣的想法。曾妍作为项目负责人,带队发表的论文就是最好的例证。

这篇论文名为《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,其权重于11月上半旬开放在Hugging Face上。

论文提出了一种方法,让模型通过生成视频的方法来处理文字。根据论文披露,这种方法不仅更节省算力,而且还让生成的效果更好。

这篇论文同时也是一份路线图。

曾妍从扩散模型出发,相信规模效应的路线,与外媒爆料中,张一鸣亲自带队的超大参数模型理念一致,也契合张一鸣在字节内部会上提出的长期主义。

在算力饥渴的当下,字节很难支撑多线并行的策略。于是字节将部门合并,多线赛马转向了集中押注。先在一个模态上打赢,再让赢的人带着方法走向其他模态。

曾妍的路线,就是这场押注。

Cola2讲了什么

在解释Cola2这篇论文之前,得先科普一个事。

当下主流的大语言模型,比如DeepSeek、Qwen、豆包,它们用的都是同一种办法,叫“自回归”。如同成语接龙一样,根据前面已经写出来的内容,猜下一个 token是什么,猜完一个再猜下一个,从左到右,一个一个往外蹦。

这套办法很成功,但它有个天生的毛病,就是没法像我们写文章一样,提前写个提纲出来。

人写文章的时候,往往是先想好这段要讲什么,再去组织语言。自回归模型是边写边想,写到哪算哪,而且必须排队,只要前一个字没写,那这辈子也别想写后一个字。

Cola2的思路,是把写字这件事拆成两层。

第一层,先在一个叫“连续隐空间”的地方,把“要说什么”想清楚;第二层,再把想好的意思,落成一个个具体的字。

相当于第一层是列提纲,第二层是照着提纲把正文写出来。

虽然“隐空间”这个词带点科幻色彩,不过其实用AI生成视频的人天天都在用。

一段视频的原始数据是很大的,如果直接拿来训练,那会导致算力不够。所以视频生成模型的通行做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里干活,最后再解压成一帧一帧的画面。

在压缩包里干的活叫做“扩散”。这跟过去冲洗照片一样,一开始是一张全是雪花点的底片,模型一步步把噪点擦掉,画面就慢慢浮现出来。

Cola2的逻辑,就是把“生成文字”当成“生成视频”来处理。

这个逻辑早在第一代的Cola DLM上就已经有了,但Cola DLM有短板。Cola2的论文表示,Cola DLM在生成类任务上偏弱,问题出在负责“写正文”的那个解码器上。于是Cola2的主要作用,就是来弥补这个短板,它比上一代多做了三件事。

第一件,是学会按意思切。

想要像压缩视频一样压缩文字,就先要决定好到底去怎么切块。

老办法是死板地按长度切,比如每两个token一块,结果“北京烤鸭”就有可能被切成“北京”和“烤鸭”,也可能被切成“京烤”这种不知所云的东西。

Cola2改成按意思动态切,平均每两个token压成一个“提纲点”,具体哪几个放在一起,由内容来决定。

压缩多少,靠的是一个类似空调恒温器的负反馈机制。压得太狠,比如“北”、“京”、“烤”、“鸭”就自动松一点。压得太松,比如“北京烤鸭好吃”,就自动紧一点,始终稳在目标附近。

实验里,按意思切比按固定长度切,准确率高8.2%。更有意思的是,在合适的设置下,压缩之后的成绩(29.4%)比完全不压缩(28.7%)还略好一点。说明压掉的主要是“水分”。

第二件,是让写正文的人既能照着念,也能自己编。

如果解码器只会照着提纲念,那提纲一出错,整篇文章自然就全错了。所以Cola2训练解码器时,故意给它三种提纲:一种清清楚楚,一种被加了噪点、看不太清,还有一种干脆不给提纲。

就像训练一个演员,提词器有时候清楚,有时候花屏,有时候直接黑了,他都得能往下演。

最后选定的比例是,只有两成情况给清楚的提纲,剩下八成都是模糊的或者没有的。即便这样,解码器照着清楚提纲还原原文的准确率,仍然保持在99.5%以上。

到了真正写东西的时候,再用 CFG 这个旋钮,调节“听提纲的”和“自己发挥的”各占多少。

第三件,是让提纲和正文一起训练。这也是副标题里Co-Adaptive(协同适应)所指的事情。

以前的做法往往是先把“压缩器”训练好、冻住,再去练写正文的。

如果提纲模板定死了,那在写文章的时候,即便发现提纲有问题,提纲那边也是全然不管。Cola2干脆让两边一起练,写正文的觉得哪里不够用,信号就会传回去,逼着提纲那边调整。

实验结果里,如果把压缩器完全定死不允许修改,成绩是47.6%。两边一起练,涨到53.5%。再加上一个允许压缩器学会“预判后文”的训练目标,成绩就会提升到58.2%。

这里还有个反直觉的设计。负责列提纲的 DiT,只准学,不准反过来改压缩器。

Cola2在训练上用了约3460亿个token,模型还没收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过了Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。

而在算力方面,按照论文的说法,因为平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上,它主要的计算量会降到原来的一半,注意力部分降到四分之一。

论文最后一部分写到:模型“远未收敛”,尤其是 DiT。训练规模“受限于可用资源”。要摸到这条路的上限,需要更大的模型、更长的训练、更多的数据和算力。

此外,论文还表示,连续隐空间可能成为文字和图像、视频之间的共享接口,通向“理解与生成的统一”。

“理解与生成的统一”,正是周畅在字节讲了一年多,但没讲通的故事。

曾妍的路线更符合张一鸣

11月12日,澎湃新闻报道,张一鸣最近在一次面向AI团队的全员会上说,字节有能力和OpenAI、Anthropic竞争,但真正追平前沿,“最早也要到2029年或2030年”。

张一鸣表示,和海外顶尖公司比,Seed模型的预训练数据规模“仍然少了”,这是眼下最需要关注的问题。同一时间,外媒报道称,Seed正在预训练一款参数最高可达10万亿的模型。

数据不够、模型要往大做、要坚持长期主义。这显然更偏向于曾妍的路线。周畅的路线,则和这个方向不太一样。

2025年7月,原本负责视觉生成的杨建朝离开,图像生成、视频生成这条线划给了周畅。从那以后,他在字节内部开始推一套新的说法,叫“多模态理解与生成统一”。

周畅的想法,是从理解这一头出发,把生成也收进来,让一个模型既能看又能画。

但这个故事没讲成。

周畅接手后,最能体现这套统一思路的成果,是今年2月和Seedance 2.0同期发布的图像模型Seedream 5.0 Lite。

字节内部对5.0 Lite的评价是“a relatively small model”(一个相对较小的模型),在结构稳定性、写实度、审美上“仍有改进空间”。社区的普遍看法是,周畅懂理解,但对生成没那么熟。

一位阿里Qwen的研究员表示,“理解、生成统一”基本没有已知很有效的方案,目前没谁能做到。这种时候往里堆参数,未必能堆出结果。

今年8月,Seed做了一轮组织调整,周畅起家的VLM被并进了大语言模型体系,从一个独立部门,变成了一个数据子部门。一位Seed内部人士说:“他(周畅)丢了龙兴之地,基本就没有核心地盘了。”

其实曾妍也是做理解出身的。2021年入职才两个月,她就以第一作者身份发了X-VLM,研究的是怎么让AI把图片里的东西和文字对上号。

比如你说“穿红衣服的小女孩在骑自行车”,模型得在图里准确找到那个小女孩。

2023年转入Seed之后,她开始往生成这条道上走。2024年曾妍参与的PixelDance,解决的就是视频里人物一动就变形的问题,它是现在字节视频生成的核心技术底座,也是后面Seedance这个名字的由来。

Seedance 2.0的成功,和“理解生成统一”并没有直接关系。它是把视频和音频放进同一个DiT里一起生成,画面和声音天生对得上。Seedance 2.0的能力,主要来自于曾妍所擅长的“连续”。

因此有Seed人士表示,曾妍才是Seedance的实际leader,技术和决策都在她这一层。

理解和生成的训练目标不一样,数据的样子不一样,计算方式也不一样。如果硬塞进一个模型里,两边容易互相拖后腿。

就跟《射雕》里面周伯通的左右互搏术一样,左手画圆很简单,右手画方也很简单,可是两边一起就是难上加难。

在这个问题上,周畅和曾妍走的是相反的方向。

周畅是从语言模型出发,曾妍是从扩散模型出发。

更关键的是,曾妍比周畅更相信规模。

2025年底,Seedance团队曾经有过一次聚餐,讨论下一代模型的训练方案。曾妍提出要训一个更大的模型,参数至少200B,也就是2000亿。团队里有人觉得太冒进,先训100B更稳妥,曾妍坚持一步到位。后来在Seed的正式评审会上,吴永辉和周畅都支持了她的方案。

此前,外网曾有爆料,称张一鸣正在领导字节做一个10万亿参数的大模型,并且身为中国首富的他亲自参与项目。显然,曾妍的路线,和张一鸣想要做的事情更贴合一些。

最后还有一层,是出身。

周畅是字节用八位数年薪挖来的,来的时候带了十几个阿里旧部,还因此引出了阿里的竞业仲裁。他在字节两年,至少两次传出离职。

一位Seed内部人士说:“周畅总是玩乌龙,他每次想走,过两周又留下来。”

曾妍则是字节自己的校招生,五年做到4-2,一路都在Seedance这条线上。对于字节来说,周畅和曾妍是亲疏有别。

字节正从多线赛马变成集中押注

每当字节踏进一个新领域,通常会不止成立一个团队,张一鸣更愿意同时铺好几支队伍并行探索,谁跑出来就押谁。抖音就是这么跑出来的。

做大模型也是一样。

过去两年,Seed招了国内最多的一批顶尖研究员,分散在文本、代码、视觉、语音、推理等各个方向。据晚点报道,曾有人向他们许诺,在这里可以靠自己的创新引领“潮头”。

一位曾在Seed的研究员说:“每个人都想成就一番事业。”

但两年过去,“潮头”太多,反而成了字节在AI上前进的阻力。

算力是最大的问题。

大参数模型最吃的就是算力,而算力也是最稀缺、最珍贵的资源。

根据晚点的说法,尽管字节曾是在AI上投入最坚决的一家公司,但眼下的算力储备也难再支撑多线并行的研发模式,集中资源推进少数核心项目,成了更现实的选择。

家里孩子多,再加上以前家底厚,每个孩子都能报好几个兴趣班。现在想让一个孩子去上顶尖名校,然后考出好成绩出人头地,那其他表现一般的孩子就得少上点兴趣班了。

前面提到的字节8月组织调整,就是这个逻辑。

Seed的基础模型团队新设了四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人都直接向吴永辉汇报。

公告里写到:“合并相似工作、减少overlap(重合),内聚在一起。”

以前Seed是按模态分团队的,文本、代码、视觉、推理各自有自己的数据团队、后训练团队。

这在早期有利于快速补齐各项能力,但方向一多,团队的业务就开始重合,有的方向重复投入,跨团队沟通的成本也越来越高。

模型变大不是简单地加参数,它是一个系统工程。

参数多了,需要更多、更好的数据同步跟上,否则多出来的参数只是在重复学已经学过的东西。这也就导致,即便再往里砸钱,也很难有什么收益。

5万亿、10万亿参数的规模,容不下每个模态各养一套数据团队、各搞一套后训练。

另外,字节希望下一代模型直接走向Omni(全模态),也就是语言、代码、视觉、语音都进同一个底座。

正因如此,各类数据放多少、什么阶段放、怎么保持平衡,都会影响最终能力。

一位从业者对晚点说:“Omni是行业的趋势。”

腾讯今年7月把多模态模型部门并给了姚顺雨负责的大语言模型部门,阿里从Qwen3.5开始,把视觉能力直接融进主线模型,没有再单独发通用的视觉理解模型,DeepSeek V4.1 Flash也原生集成了视觉理解。

Seedance已经证明,领先的模型能力可以迅速换来用户增长和API收入。

当然,字节也不是只看眼前收入。

张一鸣在Seed的一次内部会上说过,可以接受模型在一段时间内落后,希望团队把追求智能上限当作更重要的目标。

他还表示,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。

11月初的报道显示,Seedance的海外收入占比已经达到50%,过去半年海外收入涨了近5倍。

但在最重要的基础模型战场上,Seed仍处于追赶状态。尤其是编程和Agent能力,明显落后于月之暗面、智谱这些创业公司。

张一鸣认为,字节追上前沿模型的时间,“最早也要到2029年或2030年”。

所以字节选择曾妍,本质上是在押注一条路径:先在一个模态上打赢,再让打赢的人,带着赢下来的方法,往别的模态扩。

当年字节也是这么起家的。先在今日头条上把推荐算法跑通,再把这套打法搬到抖音上。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  2. 抖音生活服务换帅:莫少君接棒,字节用红果打法攻美团腹地

    11月17日,抖音生活服务换帅。浦燕子因个人及家庭原因卸任总裁、转任公司顾问,接棒的是红果短剧负责人莫少君。抖音集团对外口径一如既往地克制:“正常的管理岗位轮换与交接”,并重申生活服务是长期发展方向,会持续投入、长期经营。一纸公告看不出太多波澜,真正耐人寻味的是两任掌舵者的履历温差。浦燕子2013年加入字节,是今日头条

    来源 腾讯网
  3. 郑渊洁复更发声:用AI自制童话动画短片,免费开放观看

    IT之家 11 月 18 日消息,中国当代知名童话作家、“童话大王”郑渊洁 11 月 17 日发声,恢复停更两年的自媒体,表示最近自己遇到了一件特别振奋和不可思议的事: 对动画制作绝对是门外汉可以说一窍不通的我,居然斗胆使用 AI 将我自己的童话作品制作成了动画短片!我授权抖音账号“郑渊洁童话世界”(抖音号 83425

    来源 AI 行业观察
  4. 知乎推出Paper开源计划:论文与讨论打通,科研作者可绑定身份

    知乎把论文阅读与社区讨论连接了起来。近日,2026知乎科学季收官。除了邀请科研人员参与线下交流,知乎还在科学季期间推出“Paper开源计划”,将论文关联、讨论入口和研究者身份绑定纳入社区功能。基于这项计划。用户阅读论文时,可以通过插件查看知乎上的相关讨论;社区问题可以关联论文卡片,方便读者查阅原始研究;科研...

    来源 腾讯网
  5. 哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?

    单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。 在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Di

    来源 AI 行业观察
  6. 抖音电商“双11”:超3万新商家成交破百万,330个产业带成交过亿

    10月,河北清河的“大静羊绒”制衣厂进入忙季。今年“双11”第一周,工厂已发出价值近1000万元的羊绒服饰,一些工艺复杂的新品仍然断货。“机器都快‘干冒烟了’。”主理人大静形容道。大静家里原本做的是羊绒外贸代工。2021年,她开始通过抖音直播销售自家品牌的羊绒服饰,为工厂开拓了直接面向消费者的销售渠道。今年“双...

    来源 腾讯网
  7. DeepSeek限制长对话使用:用户反求付费,官方未给时间表

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。” 随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。 但与一般产品限流引发

    来源 AI 行业观察
  8. 郑渊洁停更两年复出:零动画基础用AI做短片,劝同行换付费AI再试

    11 月 17 日,停更自媒体整整两年的“童话大王”郑渊洁突然回归,带来的不是新作连载,而是一桩让他自己都觉得不可思议的事——对动画制作一窍不通的他,用 AI 把自己的童话作品搓成了动画短片。他已授权抖音账号“郑渊洁童话世界”(抖音号 83425404836)发布这些短片,供读者免费 观看;目前账号

    来源 AI 开发者社区
  9. 郑渊洁停更两年复出:用AI做动画短片免费放,劝同行换付费AI试试

    11月17日,停更自媒体两年的“童话大王”郑渊洁回归,并非带来新作,而是用AI将自己的童话作品制成动画短片,且他自称对动画制作一窍不通。短片已授权抖音账号“郑渊洁童话世界”(抖音号83425404836)免费发布,供读者观看。目前已上线几段,主要改编自其十二生肖童话和儿童科普内容。

    来源 AI 产业速递
  10. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  11. 清华与港中文团队提出缓存工程:推理成本降27.7%

    用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已

    来源 腾讯网
  12. 亚马逊CEO首度回应英伟达黄仁勋风波:合作关系不会动摇

    【TechWeb】11月18日消息,当地时间11月17日,亚马逊总裁兼首席执行官安迪·贾西(Andy Jassy)做客一档访谈节目。在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。 贾西表示:“我对黄仁勋怀有深深的敬意,也对英伟达怀有深深的敬意。长期以来,他们一

    来源 AI 行业观察
  13. 消息称三星电子计划在 CES 2027 发布 2 款人形机器人

    IT之家 11 月 18 日消息,韩媒《韩民族日报》当地时间昨日报道称,三星电子计划在明年 1 月举行的 CES 2027 消费电子展上发布 2 款人形机器人。 这两款产品的名称分别为 HR (Human Reference) 和 HE (Humanoid Extreme),分别为入门和高端型号,其中 HE 具备更多的

    来源 AI 行业观察
向下滚动自动加载更多