周畅、庞天宇接连离职,多模态生成在大厂沦为“期权型业务”?
从“AI企业资金的共识出口”到“期权型业务”。
梁文锋此前有过一句判断:“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”
可这话放到当时的环境里,几乎站不住脚。2026年上半年,多模态生成正是AI大厂的主线,部门、产品线、负责人各自独立。腾讯的大语言模型部与多模态模型部平级设置,后者单独管图像、视频和3D生成;字节这边,多模态交互、世界模型、Seedream与Seedance等视觉生成业务,加上机器人团队,都向周畅汇报;阿里则在4月拿出了基于原生多模态架构的世界模型。
那阵子,多模态生成被看作“AI企业资金的共识出口”,大厂无一不把它当成新的AI叙事。
变化来得很快,最近一周内先后冒出两条消息。10月31日,据Z Finance报道,字节Seed核心负责人周畅已经离职创业,方向是Physical AI,拿到头部美元基金支持。11月2日,多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职时间不足9个月。
人才走了,背后是大厂对多模态生成的态度在变。Agent等方向跑得快,算力和预算自然被挪到这些看得见增长的业务上。
于是多模态生成在新叙事里更像“期权型业务”:大厂投一点小钱,赢了收益上不封顶,输了马上撤,本金收回来。
多模态生成是期权型业务?
多模态本身就是个很吃token的业务。以图片为例,模型要先看懂图,就得把图拆成若干小图像块。
一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上,单图就上千;长视频则是帧数乘每帧的块数,数量级地涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本立刻上去。
视觉理解加扩散式生成(VLM+DiT)这类架构要同时跑自回归和扩散,token消耗只会更多。
OpenAI的Sora最典型。从App上线到OpenAI宣布关停,前后仅半年左右。外媒称,Sora每天算力成本100万美元,用户数量还在下滑。成本明显高过收入,公司最后选择止损。
推理端更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型做不到,它每隔几毫秒就要生成一次环境状态、实时流式送出,每个用户等于独占一条GPU管道。
评分难是多模态生成的另一道坎,得靠大量评价人员给生成内容打分,Seedance背后的数据评价团队多达上千人。LLM不一样,推理、代码、数学都有相对统一的基准,版本之间能直接比,团队KPI也好对齐。
多模态生成恰好相反。MMMG基准的作者说,多模态生成的可复现评测落后于模型本身的发展。人工评测被当成金标准,却没法大规模做,主观性又强,很难系统定位模型弱点。
字节找上千人的评测团队给Seedance做评测,原因就在这里:靠人数堆叠,压低主观性对模型性能判断的影响。
一旦评价依赖美学、时序连贯和人类偏好,用分数判断模型好坏就变得很难,判断这个模型团队还值不值得继续投资源,同样很难。
相比“这个视频好看吗”这种明显主观的讨论,大家还是觉得“这个版本在基准上提升了几个点”更有讨论价值。
字节在Seedance上收入不错,可最关键的技术拐点其实是AGI,它就相当于行权价。AGI真非多模态生成不可,那就算兑现;一旦发现AGI并不需要多模态生成,权利金就全部归零。
大厂每个月烧掉的token,就是滚动支付的权利金。
眼下,认为AGI与多模态生成没有关系的人正变得越来越多。
这种判断有具体的模型变化作支撑。GLM-5.2升到5.3、DeepSeek V4 Flash升到Pro,两组模型都没有做视觉扩展,仅靠后训练就把性能提了上去。K3的消融实验里,研究员给出的说法是“多模态数据每多一点,文本理解、Coding或者数学可能就会变差”。
杨立昆的表态被视作更重的一击。H-JEPA论文走红之后,他所主张的JEPA路线得到了更多人认同。
JEPA的思路是在抽象表征空间里预测世界,整个过程不生成任何一个像素。它的依据是物理世界到处是不可预测的随机细节,逐像素重建既浪费也不准确。这实际上为“AGI不需要像素级生成”提供了一套技术论证。
业务部门随之收缩也就在所难免。腾讯二季度财报电话会之后,资金分配上WorkBuddy拿到了优先资源倾斜,其他新AI产品的优先级则在往下调。
多模态生成到底出了什么问题?
7月24日,腾讯TEG发出内部通知:大语言模型部、多模态模型部一并撤销,改设基础模型部,首席AI科学家姚顺雨兼任该部门负责人,向TEG总裁卢山汇报。
腾讯当时给出的说法是“提升模型研发和协同效率,探索全模态模型的智能上限”。
这两个被撤掉的部门,是2025年4月才拆分出来的。语言一条线负责文本推理,多模态一条线负责图像、视频与3D生成,两条线平级,各自独立运转,腾讯把它叫作“双轨研发”。
更早的3月20日,腾讯已经撤掉成立近十年的AI Lab,一部分人员并入大语言模型部,另一部分去了产学研合作中心,计算机视觉、语音这些原本独立的能力也一并归入混元体系。
当时外界的普遍看法是,合并的真正原因在于大语言模型和多模态模型的训练标准不一致,技术之间无法互通,算力资源还会互相消耗。
一个月后,轮到了字节。8月的组织调整中,周畅起家的视觉语言模型VLM被并进大模型LLM体系,降为LLM下面的一个数据子部门。一位Seed人士对36氪说,“他丢了龙兴之地,基本就没有核心地盘了”。
之所以曾经需要独立的多模态部门,是因为那时要让大模型看见东西,得靠一种“胶水科技”。
具体做法是:拿一个已经训好的纯文本LLM,在前面接上视觉编码器,把图片切成小块转成向量,中间再训练一层投影,将这些向量翻译进语言模型的词表空间,最后和文字拼到一起喂进去。LLaVA、Qwen2-VL、DeepSeek-VL2当时走的都是这条路子。
这套方案最大的优势是便宜。
视觉编码器有开源成果可以参考,语言模型用自家现成的,中间那层只需要用一层胶水把两头粘住。
独立的多模态部门,基本就是围绕这层胶水搭建起来的:有人负责视觉编码器,有人负责对齐数据,有人负责图文指令微调,还有人负责评测。胶水还在,部门就有存在的理由。
可现在这层胶水已经不存在了。大厂开始转向原生多模态,从预训练第一层起,就把图像、文本、音频、视频的token混进同一条主干。
今年2月,阿里从Qwen3.5开始,通过早期融合把视觉能力放进主线模型,此后没有再发布新的通用VL理解模型。
目前大厂在多模态上主要走两条路线。一条是梁文锋的理解路线,让模型看懂图片、视频,回答的是怎么感知世界,这条路已经跑通了。
另一条是把视觉理解和扩散式生成塞进同一套架构,让模型在理解世界之外还能生成内容。
2025年GPT-4o出来以后,谷歌、阿里、字节都尝试过这条路线,但都没能跑通。
图像和视频生成要靠扩散模型,在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都不一样,硬塞进同一个模型,单是防止任务之间互相拖后腿就够让人头疼。
腾讯混元一位多模态研究员对36氪表示,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员也说,“理解、生成统一”基本没有已知很有效的方案。评测体系同样没建立起来,一张图画得好不好、一段视频合不合意图,比一道数学题有没有算对要难判断得多。
周畅在字节力推的那套说法,是“多模态理解与生成统一”,走的正是第二条路。
这个位置放在期权里,就是虚值;公司砍掉部门,等于不行权了。
落差
业务部门一收缩,原先管这块的人往下掉,几乎是顺理成章的事。
周畅是2024年8月从阿里到的字节,职级4-2。有报道写他的年包是八位数,随他一同过来的还有十多名阿里旧部,两边还一度打起了竞业限制的劳动仲裁。
在阿里那阵子,他做过通义大模型的核心技术负责人,走之前发布的Qwen2在Hugging Face开源榜上排到第一,盖过了当时的Llama 3-70B。到了Seed,他负责多模态交互和世界模型,汇报对象是吴永辉。
之后两年,他手上的盘子越铺越大。2025年7月,豆包视觉多模态生成负责人杨建朝说自己要“暂时休息”,36氪引Seed内部人士的说法是,组织上要杨建朝改向周畅汇报,杨建朝随后就走了,Seedream、Seedance两条视觉生成线归到周畅名下。
2026年6月2日,晚点报道字节内部调了架构:原本李航带的Seed Robotics团队,已经向周畅汇报了一个多月;字节还在物色一位职级L8、对标阿里P10-P11的具身智能技术负责人,也是向他汇报。
按报道的解释,周畅管辖范围能再扩一圈,是因为机器人这一块能和多模态交互、世界模型在数据和技术上互相接上。四条线都归一个人,有媒体说他是那时候Seed里管理边界最宽的技术负责人之一。
6月地盘刚加完,8月VLM就并进LLM,降成了数据子部门。
庞天宇登场时的声势,比周畅还要大一些。
他落脚的地方是混元多模态部的Exploration Center,写的职责是“强化学习前沿算法探索”。
1月29日,他在小红书贴出招聘启事,顺便把加入的事说了;2月4日正式入职;6月带团队开源UniRL框架,把扩散模型、自回归模型、生成理解统一模型的强化学习后训练装进同一套流程;到10月,这套框架更新到v0.2.0,核心署名作者里仍然有他。
可到了11月2日,有媒体报道说,混元从分散收向集权,他“失去了他在组织版图上最初被许诺的那个位置”。
1月26日的员工大会上,Pony讲“姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队”,也提到内部要加快Co-design,让混元和元宝多协同。
1月28日,混元开源图像3.0的图生图版本,接进了元宝。当时给出的数字是:混元图像、视频衍生模型总共3000个,视频模型在社区下载超过500万,混元3D系列超过300万。那阵子,多模态模型部还是和大语言模型部平级的一级部门。
再往后,7月24日两个部门合并,9月前OpenAI研究员田永龙出任混元多模态负责人。
谁也没被降职,头衔还挂着,代码还在跑,成果也还摆在那儿。
可有人上去,就总有人下来:从别人向他汇报、自己单管一条线,变成他向别人汇报、只负责主线的某个组件。进场时姿态那么高,走到这一步,心里难免有落差。
对大厂而言,期权就是掏点小钱赌一把。真正被卷进去的人,日子就不好过了。