周畅庞天宇相继离职,大厂对多模态生成态度生变
多模态生成退潮,大厂转向Agent主线
梁文锋有过一句表态:“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”
放在当时,这话与行业风向正好拧着。2026年上半年,多模态生成还是AI大厂的主线,部门独立、产品线独立、负责人也独立。
腾讯那边,大语言模型部与多模态模型部平级并存,图像、视频与3D生成由后者单独管;字节的视觉生成业务,包括多模态交互、世界模型、Seedream与Seedance,再加上机器人团队,统一向周畅汇报;阿里则在4月发布了基于原生多模态架构的世界模型。
那阵子,多模态生成被看成“AI企业资金的共识出口”,大厂们纷纷把它当作新的AI叙事。
可最近一周之内,两条消息接连传出来。
10月31日,据Z Finance报道,字节Seed核心负责人周畅已经离职创业,方向是Physical AI,并拿到头部美元基金支持。11月2日,多家信源称,腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职不足9个月。
人才流失的背后,是大厂对多模态生成的态度在变。Agent等方向跑得快,算力和预算就被挪到了这些看得见增长的业务上。
按现在的叙事,多模态生成更像“期权型业务”:大厂掏点小钱,赢了上不封顶,输了立刻撤退,把本金收回来。

多模态生成是期权型业务?
多模态这行当,烧token烧得厉害。
单说图片,模型要理解它,先得把图切成一块块小图像块。
一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上,单图就上千;长视频则是帧数乘上每帧的块数,量级一路往上翻。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本立刻抬高。
视觉理解和扩散式生成(VLM+DiT)这类架构要同时跑自回归和扩散,token消耗只会更多。
最典型的是OpenAI的Sora。App上线到OpenAI宣布关停,前后仅半年左右。外媒称,Sora每天算力成本100万美元,用户数量还在下滑。成本明显高过收入,公司最终选择止损。
推理端更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型做不到,它得每几毫秒生成一次环境状态、实时流式往外送,每个用户相当于独占一条GPU管道。
另一个难题是评分。模型生成的内容需要大量评价人员来打分,Seedance背后的数据评价团队高达上千人。
LLM能用相对统一的基准打分,推理、代码、数学都算,版本之间可以直接比较,团队KPI也容易对齐。
与多模态生成的情况正好相反。MMMG 基准的作者指出,模型本身在往前跑,多模态生成的可复现评测却没跟上。人工评测被当成金标准,可它做不了大规模,主观性又强,想靠它系统找出模型弱点并不容易。

字节之所以找上千人的评测团队给Seedance做评测,核心就是堆人数,压低主观性对模型性能的影响。
一旦评价要靠美学、时序连贯、人类偏好,你就很难用分数判断模型好坏,也难判断这个模型团队还值不值得继续投资源。
比起“这个视频好看吗”这种明摆着主观的讨论,大家还是觉得“这个版本在基准上提升了几个点”更有讨论价值。
字节在Seedance上收入不错,但最关键的技术拐点其实是AGI,它就相当于行权价。
AGI真要非多模态生成不可,那就等于兑现;一旦发现AGI并不需要多模态生成,全部权利金就归零。
而大厂每个月烧掉的token,就是滚动支付的权利金。
眼下,持“AGI跟多模态生成没关系”这种看法的人正在变多。
GLM-5.2到5.3、DeepSeek V4 Flash到Pro,这两组模型都没往视觉方向扩,仅靠后训练就把性能拉了上去。K3的消融实验里,研究员的说法是:“多模态数据每多一点,文本理解、Coding或者数学可能就会变差”。
杨立昆那边则补上了更重的一击。H-JEPA论文走红之后,他所主张的JEPA路线正被更多人接受。
JEPA的思路是在抽象表征空间里对世界做预测,一个像素都不生成。按它的说法,物理世界塞满了没法预判的随机细节,逐像素重建既费劲又容易出错。这实际上给“AGI用不着像素级生成”递上了一份技术论证。
业务部门随之收缩也就难以避免。腾讯二季度财报电话会开完之后,资源往WorkBuddy倾斜,其他新AI产品的优先级则在往下调。
多模态生成究竟出了什么问题?
7月24日,腾讯TEG发了一份内部通知:大语言模型部、多模态模型部一并撤销,改设基础模型部,首席AI科学家姚顺雨兼任负责人,汇报对象是TEG总裁卢山。
腾讯当时给出的说法是“提升模型研发和协同效率,探索全模态模型的智能上限”。
这两个被撤的部门,是2025年4月才拆出来的。一条线管文本推理,另一条线管图像、视频与3D生成,级别相同,各自独立推进,腾讯内部叫“双轨研发”。
更早的3月20日,腾讯已经把办了近十年的AI Lab撤掉,一部分人进了大语言模型部,一部分转去产学研合作中心,计算机视觉、语音这些原先单独设的能力,统一收进混元体系。
外界的普遍判断是,合并的真正症结在于大语言模型和多模态模型的训练标准对不上,技术没法互通,算力还会互相消耗。
过了一个月,轮到字节。8月的组织调整中,周畅起家的视觉语言模型VLM被收进大模型LLM体系,降为LLM下面的一个数据子部门。一位Seed人士对36氪说,“他丢了龙兴之地,基本就没有核心地盘了”。
之所以如此,是因为那阵子要让大模型“看见”东西,得靠一种“胶水科技”。
做法是拿一个训好的纯文本LLM,前面挂视觉编码器,把图片切小块转成向量,中间再训一层投影,将这些向量译进语言模型的词表空间,最后和文字拼到一块喂进去。LLaVA、Qwen2-VL、DeepSeek-VL2当时都走这条路。
它最突出的优点是省钱。
视觉编码器有开源的可以拿来用,语言模型是自家现成的,中间那层只消一层胶水把两头粘住。
独立的多模态部门,基本上就是围绕这层胶水搭起来的:有人负责视觉编码器,有人负责对齐数据,有人负责图文指令微调,还有人负责评测。胶水还在,部门就有存在的理由。

可如今这层胶水已经没了,大厂纷纷转向原生多模态——从预训练第一层起,就把图像、文本、音频、视频的token混进同一条主干。
今年2月,阿里从Qwen3.5起将视觉能力以早期融合的方式放进主线模型,此后没再发布新的通用VL理解模型。
目前大厂的多模态大致分两条路。一条是梁文锋的理解路线,让模型看懂图片、视频,回答的是怎么感知世界,这条路确实跑通了。
另一条,是把视觉理解和扩散式生成装进同一套架构,让模型在理解世界之余还能产出内容。
2025年GPT-4o问世后,谷歌、阿里、字节都试过这条路,结果谁也没跑通。
图像和视频生成靠的是扩散模型,在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都对不上,硬塞进一个模型,单是防着任务之间彼此拖累就够让人头疼。
腾讯混元一位多模态研究员对36氪表示,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员也说,“理解、生成统一”基本没有已知很有效的方案。评测同样没跟上,一张图画得好不好、一段视频合不合意图,判断起来比一道数学题算没算对难得多。
周畅在字节主推的那套说法,叫「多模态理解与生成统一」,走的是第二条路。
搁到期权里,这叫虚值;公司把部门收掉,等于不再行权。
落差
业务部门一收缩,原来带这个部门的人,级别自然跟着往下走。
周畅2024年8月从阿里跳来字节,职级4-2。有报道说他的年包是八位数,跟他一道过来的还有十余名阿里旧部,两边一度打过竞业限制的劳动仲裁。
在阿里时他做过通义大模型的核心技术负责人,走之前发的Qwen2在Hugging Face开源榜排到第一,压过当时的Llama 3-70B。到了Seed,他管多模态交互与世界模型,汇报对象是吴永辉。

此后两年,他手上的盘子越铺越大。2025年7月,豆包视觉多模态生成负责人杨建朝对外说「暂时休息」,36氪引述Seed内部人士的说法是,组织上要求杨建朝改向周畅汇报,杨建朝随后走人,Seedream、Seedance两条视觉生成线归到周畅名下。
2026年6月2日,晚点报道字节内部动了架构。李航原来负责的Seed Robotics团队已经向周畅汇报了一个多月,字节还在找一位职级L8、对标阿里P10-P11的具身智能技术负责人,也是向他汇报。
按这篇报道的说法,周畅管得更宽,理由是机器人能和多模态交互、世界模型在数据和技术上互相打通。四条线攥在一个人手里,媒体当时称他是Seed里管理边界最宽的技术负责人之一。
6月刚扩完权,8月VLM就并进LLM、变成数据下面的子部门。
庞天宇入场时的声势,比周畅还要响一些。
他落脚的地方是混元多模态部Exploration Center,职责一栏写的是「强化学习前沿算法探索」。
1月29日,他在小红书贴出招聘启事,顺手把加入的事也官宣了;2月4日正式到岗;6月带队开源UniRL框架,把扩散模型、自回归模型和生成理解统一模型的强化学习后训练装进同一套流程;10月框架更新到v0.2.0,核心署名作者里还有他。
可到了11月2日,媒体报出消息:混元从分散走向集权,他在这一轮收拢里「失去了他在组织版图上最初被许诺的那个位置」。
1月26日的员工大会上,Pony提到「姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队」,还说内部要加快Co-design、让混元和元宝多协同。
1月28日混元开源图像3.0图生图版本,接进了元宝。当时给出的数据是,混元图像、视频衍生模型累计3000个,视频模型社区下载超500万,混元3D系列超300万。那阵子多模态模型部还是和大语言模型部平级的一级部门。
后来7月24日两个部门合并,9月前OpenAI研究员田永龙出任混元多模态负责人。
没有人被降职,头衔没动,代码没动,成果也没动。
可有人起,就总有人落。从别人向他汇报、自己单挑一条线,变成他向别人汇报、只负责主线里的一块,以高姿态进来再经历这种转折,心里难免有落差。
期权这东西,对大厂来说就是掏点小钱赌一把。真正被卷进去的人,日子就不好过了。