周畅庞天宇接连离职,多模态生成在大厂沦为期权型业务?
从“AI企业资金的共识出口”到“期权型业务”。
梁文锋说过一句话:“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”
放到当时的环境里看,这话跟主流做法正好相反。2026年上半年,多模态生成还是AI大厂的主线,部门独立、产品线独立、负责人也独立。
腾讯那边,大语言模型部和多模态模型部平级并存,图像、视频、3D生成归后者单独管;字节的视觉生成盘子更大,多模态交互、世界模型、Seedream、Seedance,加上机器人团队,统一向周畅汇报;阿里则在4月发布了基于原生多模态架构的世界模型。
那阵子,多模态生成被看作“AI企业资金的共识出口”,大厂几乎都把它当成新的AI叙事。
但最近一周之内,两条消息接连出来。
10月31日,据Z Finance报道,字节Seed核心负责人周畅已经离职创业,方向是Physical AI,拿到头部美元基金支持。11月2日,多家信源称,腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职不到9个月。
人才流失的背后,是大厂对多模态生成的态度变了。Agent等方向跑得快,算力和预算自然往这些看得见增长的业务上倾斜。
按现在的叙事,多模态生成更像一种“期权型业务”:大厂花点小钱,赢了上不封顶,输了立刻撤退,把本金收回来。
多模态生成是期权型业务?
多模态这门生意,token消耗极大。
先说图片。模型要理解一张图,第一步就是把图切成若干小图像块。
一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上走,单图就上千;长视频则是帧数乘每帧的块数,数量级地往上涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本立刻上去。
视觉理解加扩散式生成(VLM+DiT)这类架构要同时跑自回归和扩散,token消耗只会更多。
OpenAI的Sora是最典型的例子。App上线到OpenAI宣布关停,前后只有半年左右。外媒称,Sora每天算力成本100万美元,用户数量还在下滑。成本明显高过收入,公司最后选择止损。
推理环节更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型做不到,它得每几毫秒生成一次环境状态、实时流式往外送,每个用户相当于独占一条GPU管道。
多模态生成还有个大问题:评分难,得靠大量评价人员给模型生成的内容打分。Seedance背后的数据评价团队高达上千人。
LLM不一样,推理、代码、数学都有相对统一的基准,版本之间能直接比较,团队KPI也容易对齐。
多模态生成正相反。MMMG基准的作者表示,多模态生成的可复现评测落后于模型本身的发展。人工评测被视为金标准,却没法大规模做,主观性又强,难以系统定位模型弱点。
所以字节才要找上千人的评测团队给Seedance做评测,核心思路就是堆人数,压低主观性对模型性能的影响。
一旦评价要靠美学、时序连贯、人类偏好,你就很难用分数判断模型好坏,也很难判断这个模型团队还值不值得继续投资源。
比起“这个视频好看吗”这种明摆着主观的讨论,大家还是觉得“这个版本在基准上提升了几个点”更有讨论价值。
字节在Seedance上收入不错,但最关键的技术拐点其实是AGI,它就相当于行权价。
AGI如果真的非多模态生成不可,那就等于兑现了;如果发现AGI并不需要多模态生成,那就是全部权利金归零。
而大厂每个月烧掉的token,就是滚动支付的权利金。
眼下有一种判断正在扩散:AGI跟多模态生成,关系没那么大。
GLM-5.2升到5.3以及DeepSeekV4 Flash迭代到Pro,两组模型都没有往视觉方向扩,光靠后训练就把性能拉了上去。K3的消融实验里,研究员给出的说法是"多模态数据每多一点,文本理解、Coding或者数学可能就会变差"。
杨立昆那篇爆火的H-JEPA论文,又往这个方向添了一把力。他所主张的JEPA路线,正让越来越多人点头。
这条路线要在抽象表征空间里预测世界,一个像素都不生成。理由也直白:物理世界塞满了不可预测的随机细节,逐像素重建既费劲又容易出错。说到底,这是从技术上给"AGI用不着像素级生成"找了依据。
业务层面的收缩也跟着来了。腾讯二季度财报电话会之后,钱往哪儿走已经清楚——WorkBuddy拿到了优先的资源倾斜,其余新AI产品的优先级则在往下调。
多模态生成到底怎么了?
7月24日,腾讯TEG发了一份内部通知:大语言模型部、多模态模型部一并撤销,改设基础模型部,首席AI科学家姚顺雨兼任该部门负责人,汇报对象是TEG总裁卢山。
腾讯当时给出的说法是"提升模型研发和协同效率,探索全模态模型的智能上限"。
这两个被撤的部门,2025年4月才拆出来。语言那条线负责文本推理,多模态那条线负责图像、视频与3D生成,级别相同,各干各的,腾讯管这叫"双轨研发"。
再往前,3月20日腾讯已经关掉了办了近十年的AI Lab:一部分人进了大语言模型部,一部分转去产学研合作中心,计算机视觉、语音这些原先独立的能力,统一收进混元体系。
外界当时的普遍看法是,合并的根子在于大语言模型和多模态模型的训练标准对不上,技术因此打不通,算力也跟着内耗。
一个月后,轮到字节。8月的组织调整中,周畅起家的视觉语言模型VLM被塞进大模型LLM体系,变成LLM下面一个管数据的子部门。一位Seed人士对36氪说,"他丢了龙兴之地,基本就没有核心地盘了"。
之所以要这么拼,是因为那会儿想让大模型"看见"东西,得靠一种"胶水科技"。
做法是拿一个训好的纯文本LLM,前面挂视觉编码器,图片被切成小块转成向量,中间再训一层投影,把向量译进语言模型的词表空间,最后和文字拼到一块儿喂进去。LLaVA、Qwen2-VL、DeepSeek-VL2,走的都是这条路。
它最讨巧的地方是省钱。
视觉编码器有开源的可以拿来用,语言模型自家就有现成的,中间那层不过是一层胶水,把两头粘上就行。
独立的多模态部门,基本上是围着这层胶水搭起来的:视觉编码器有人管,对齐数据有人管,图文指令微调有人管,评测也有人管。胶水还在,部门就立得住。
问题是这层胶水如今没了,大厂开始往原生多模态转——从预训练第一层起,就把图像、文本、音频、视频的token混进同一条主干里。
从今年2月阿里推出Qwen3.5起,视觉能力就被用早期融合的方式并进了主线模型,此后阿里再没发布新的通用VL理解模型。
眼下大厂做多模态基本走两条路。一条是梁文锋那条理解路线,让模型看懂图片和视频,解决的是怎么感知世界,这条路已经走通了。
另一条路,是把视觉理解和扩散式生成装进同一套架构,模型不光要理解世界,还得能生成内容。
2025年GPT-4o问世后,谷歌、阿里、字节都试过这条路,结果谁也没跑通。
难点在于图像和视频生成靠的是扩散模型,要在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都对不上,硬凑进一个模型,光是不让任务之间互相拖累就够让人头疼。
腾讯混元一位多模态研究员对36氪表示,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员也说,“理解、生成统一”基本没有已知很有效的方案。评测这关同样没立起来,一张图画得好不好、一段视频合不合意图,判断起来比一道数学题算没算对难得多。
周畅在字节主推的叙事叫“多模态理解与生成统一”,走的正是第二条路。
放到期权里,这叫虚值;企业收缩部门,等于放弃行权。
落差
业务部门一收缩,原先管这块的负责人,降级几乎是自然的事。
周畅2024年8月从阿里到字节,职级4-2。报道称他的年包为八位数,随他一起来的还有十余名阿里旧部,双方一度卷入竞业限制劳动仲裁。
在阿里时他当过通义大模型核心技术负责人,离职前发布的Qwen2在Hugging Face开源榜登顶,压过当时的Llama 3-70B。进入Seed后,他负责多模态交互与世界模型,向吴永辉汇报。

此后两年,他的管辖范围持续扩大。2025年7月,豆包视觉多模态生成负责人杨建朝宣布“暂时休息”。据36氪援引Seed内部人士消息,组织上要求杨建朝改向周畅汇报,杨建朝随即离开,Seedream、Seedance两条视觉生成线归到周畅名下。
2026年6月2日,据晚点报道,字节内部又调整了架构。原本由李航负责的Seed Robotics团队已向周畅汇报一个多月,字节还在招一位职级L8、对标阿里P10-P11的具身智能技术负责人,同样向周畅汇报。
报道给出的理由是,机器人能和多人模态交互、世界模型在数据与技术层面互相咬合。四条线压在一人身上,媒体称他是当时Seed里管理边界最宽的技术负责人之一。
6月刚扩完地盘,8月VLM就并入了LLM,降成数据子部门。
庞天宇进场时的动静,比周畅还要大一些。
他落脚在混元多模态部Exploration Center,职责一栏写的是“强化学习前沿算法探索”。
1月29日,他在小红书发了一则招聘启事,顺便官宣加入;2月4日正式入职;6月带队开源UniRL框架,把扩散模型、自回归模型和生成理解统一模型的强化学习后训练放进同一套流程;10月这套框架更新到v0.2.0,他仍在核心署名作者之列。
可到了11月2日,媒体报道称,在混元由分散走向集权的收拢过程中,他“失去了他在组织版图上最初被许诺的那个位置”。
1月26日的员工大会上,Pony说“姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队”,还提到内部要加快Co-design、强化混元与元宝的协同。
1月28日混元开源图像3.0图生图版本,接入元宝。当时公布的数据是,混元图像、视频衍生模型总数3000个,视频模型社区下载超500万,混元3D系列超300万。那会儿多模态模型部还是和大语言模型部平级的一级部门。
之后7月24日两个部门合并,9月前OpenAI研究员田永龙出任混元多模态负责人。
没有人被降职,头衔还在,代码还在,成果也还在。
有人起,就总得有人落。原先别人向他汇报,他单独管一条线;如今变成他向别人汇报,只管主线里的一个组件。以高姿态入场,再经历这种转换,心里难免有落差。
对大厂而言,期权说白了就是花点小钱赌一把。可那些被卷进来的人,日子就不好过了。