周畅、庞天宇接连离职,多模态生成在大厂沦为“期权型业务”?

资讯 钛媒体 全文 4117 字 · 约 11 分钟读完 分类人事变动多模态

从“AI企业资金的共识出口”到“期权型业务”。

所属频道 模型发布人物与组织

梁文锋此前有过一句判断:“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”

可这话放到当时的环境里,几乎站不住脚。2026年上半年,多模态生成正是AI大厂的主线,部门、产品线、负责人各自独立。腾讯的大语言模型部与多模态模型部平级设置,后者单独管图像、视频和3D生成;字节这边,多模态交互、世界模型、Seedream与Seedance等视觉生成业务,加上机器人团队,都向周畅汇报;阿里则在4月拿出了基于原生多模态架构的世界模型。

那阵子,多模态生成被看作“AI企业资金的共识出口”,大厂无一不把它当成新的AI叙事。

变化来得很快,最近一周内先后冒出两条消息。10月31日,据Z Finance报道,字节Seed核心负责人周畅已经离职创业,方向是Physical AI,拿到头部美元基金支持。11月2日,多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职时间不足9个月。

人才走了,背后是大厂对多模态生成的态度在变。Agent等方向跑得快,算力和预算自然被挪到这些看得见增长的业务上。

于是多模态生成在新叙事里更像“期权型业务”:大厂投一点小钱,赢了收益上不封顶,输了马上撤,本金收回来。

多模态生成是期权型业务?

多模态本身就是个很吃token的业务。以图片为例,模型要先看懂图,就得把图拆成若干小图像块。

一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上,单图就上千;长视频则是帧数乘每帧的块数,数量级地涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本立刻上去。

视觉理解加扩散式生成(VLM+DiT)这类架构要同时跑自回归和扩散,token消耗只会更多。

OpenAI的Sora最典型。从App上线到OpenAI宣布关停,前后仅半年左右。外媒称,Sora每天算力成本100万美元,用户数量还在下滑。成本明显高过收入,公司最后选择止损。

推理端更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型做不到,它每隔几毫秒就要生成一次环境状态、实时流式送出,每个用户等于独占一条GPU管道。

评分难是多模态生成的另一道坎,得靠大量评价人员给生成内容打分,Seedance背后的数据评价团队多达上千人。LLM不一样,推理、代码、数学都有相对统一的基准,版本之间能直接比,团队KPI也好对齐。

多模态生成恰好相反。MMMG基准的作者说,多模态生成的可复现评测落后于模型本身的发展。人工评测被当成金标准,却没法大规模做,主观性又强,很难系统定位模型弱点。

字节找上千人的评测团队给Seedance做评测,原因就在这里:靠人数堆叠,压低主观性对模型性能判断的影响。

一旦评价依赖美学、时序连贯和人类偏好,用分数判断模型好坏就变得很难,判断这个模型团队还值不值得继续投资源,同样很难。

相比“这个视频好看吗”这种明显主观的讨论,大家还是觉得“这个版本在基准上提升了几个点”更有讨论价值。

字节在Seedance上收入不错,可最关键的技术拐点其实是AGI,它就相当于行权价。AGI真非多模态生成不可,那就算兑现;一旦发现AGI并不需要多模态生成,权利金就全部归零。

大厂每个月烧掉的token,就是滚动支付的权利金。

眼下,认为AGI与多模态生成没有关系的人正变得越来越多。

这种判断有具体的模型变化作支撑。GLM-5.2升到5.3、DeepSeek V4 Flash升到Pro,两组模型都没有做视觉扩展,仅靠后训练就把性能提了上去。K3的消融实验里,研究员给出的说法是“多模态数据每多一点,文本理解、Coding或者数学可能就会变差”。

杨立昆的表态被视作更重的一击。H-JEPA论文走红之后,他所主张的JEPA路线得到了更多人认同。

JEPA的思路是在抽象表征空间里预测世界,整个过程不生成任何一个像素。它的依据是物理世界到处是不可预测的随机细节,逐像素重建既浪费也不准确。这实际上为“AGI不需要像素级生成”提供了一套技术论证。

业务部门随之收缩也就在所难免。腾讯二季度财报电话会之后,资金分配上WorkBuddy拿到了优先资源倾斜,其他新AI产品的优先级则在往下调。

多模态生成到底出了什么问题?

7月24日,腾讯TEG发出内部通知:大语言模型部、多模态模型部一并撤销,改设基础模型部,首席AI科学家姚顺雨兼任该部门负责人,向TEG总裁卢山汇报。

腾讯当时给出的说法是“提升模型研发和协同效率,探索全模态模型的智能上限”。

这两个被撤掉的部门,是2025年4月才拆分出来的。语言一条线负责文本推理,多模态一条线负责图像、视频与3D生成,两条线平级,各自独立运转,腾讯把它叫作“双轨研发”。

更早的3月20日,腾讯已经撤掉成立近十年的AI Lab,一部分人员并入大语言模型部,另一部分去了产学研合作中心,计算机视觉、语音这些原本独立的能力也一并归入混元体系。

当时外界的普遍看法是,合并的真正原因在于大语言模型和多模态模型的训练标准不一致,技术之间无法互通,算力资源还会互相消耗。

一个月后,轮到了字节。8月的组织调整中,周畅起家的视觉语言模型VLM被并进大模型LLM体系,降为LLM下面的一个数据子部门。一位Seed人士对36氪说,“他丢了龙兴之地,基本就没有核心地盘了”。

之所以曾经需要独立的多模态部门,是因为那时要让大模型看见东西,得靠一种“胶水科技”。

具体做法是:拿一个已经训好的纯文本LLM,在前面接上视觉编码器,把图片切成小块转成向量,中间再训练一层投影,将这些向量翻译进语言模型的词表空间,最后和文字拼到一起喂进去。LLaVA、Qwen2-VL、DeepSeek-VL2当时走的都是这条路子。

这套方案最大的优势是便宜。

视觉编码器有开源成果可以参考,语言模型用自家现成的,中间那层只需要用一层胶水把两头粘住。

独立的多模态部门,基本就是围绕这层胶水搭建起来的:有人负责视觉编码器,有人负责对齐数据,有人负责图文指令微调,还有人负责评测。胶水还在,部门就有存在的理由。

可现在这层胶水已经不存在了。大厂开始转向原生多模态,从预训练第一层起,就把图像、文本、音频、视频的token混进同一条主干。

今年2月,阿里从Qwen3.5开始,通过早期融合把视觉能力放进主线模型,此后没有再发布新的通用VL理解模型。

目前大厂在多模态上主要走两条路线。一条是梁文锋的理解路线,让模型看懂图片、视频,回答的是怎么感知世界,这条路已经跑通了。

另一条是把视觉理解和扩散式生成塞进同一套架构,让模型在理解世界之外还能生成内容。

2025年GPT-4o出来以后,谷歌、阿里、字节都尝试过这条路线,但都没能跑通。

图像和视频生成要靠扩散模型,在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都不一样,硬塞进同一个模型,单是防止任务之间互相拖后腿就够让人头疼。

腾讯混元一位多模态研究员对36氪表示,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员也说,“理解、生成统一”基本没有已知很有效的方案。评测体系同样没建立起来,一张图画得好不好、一段视频合不合意图,比一道数学题有没有算对要难判断得多。

周畅在字节力推的那套说法,是“多模态理解与生成统一”,走的正是第二条路。

这个位置放在期权里,就是虚值;公司砍掉部门,等于不行权了。

落差

业务部门一收缩,原先管这块的人往下掉,几乎是顺理成章的事。

周畅是2024年8月从阿里到的字节,职级4-2。有报道写他的年包是八位数,随他一同过来的还有十多名阿里旧部,两边还一度打起了竞业限制的劳动仲裁。

在阿里那阵子,他做过通义大模型的核心技术负责人,走之前发布的Qwen2在Hugging Face开源榜上排到第一,盖过了当时的Llama 3-70B。到了Seed,他负责多模态交互和世界模型,汇报对象是吴永辉。

之后两年,他手上的盘子越铺越大。2025年7月,豆包视觉多模态生成负责人杨建朝说自己要“暂时休息”,36氪引Seed内部人士的说法是,组织上要杨建朝改向周畅汇报,杨建朝随后就走了,Seedream、Seedance两条视觉生成线归到周畅名下。

2026年6月2日,晚点报道字节内部调了架构:原本李航带的Seed Robotics团队,已经向周畅汇报了一个多月;字节还在物色一位职级L8、对标阿里P10-P11的具身智能技术负责人,也是向他汇报。

按报道的解释,周畅管辖范围能再扩一圈,是因为机器人这一块能和多模态交互、世界模型在数据和技术上互相接上。四条线都归一个人,有媒体说他是那时候Seed里管理边界最宽的技术负责人之一。

6月地盘刚加完,8月VLM就并进LLM,降成了数据子部门。

庞天宇登场时的声势,比周畅还要大一些。

他落脚的地方是混元多模态部的Exploration Center,写的职责是“强化学习前沿算法探索”。

1月29日,他在小红书贴出招聘启事,顺便把加入的事说了;2月4日正式入职;6月带团队开源UniRL框架,把扩散模型、自回归模型、生成理解统一模型的强化学习后训练装进同一套流程;到10月,这套框架更新到v0.2.0,核心署名作者里仍然有他。

可到了11月2日,有媒体报道说,混元从分散收向集权,他“失去了他在组织版图上最初被许诺的那个位置”。

1月26日的员工大会上,Pony讲“姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队”,也提到内部要加快Co-design,让混元和元宝多协同。

1月28日,混元开源图像3.0的图生图版本,接进了元宝。当时给出的数字是:混元图像、视频衍生模型总共3000个,视频模型在社区下载超过500万,混元3D系列超过300万。那阵子,多模态模型部还是和大语言模型部平级的一级部门。

再往后,7月24日两个部门合并,9月前OpenAI研究员田永龙出任混元多模态负责人。

谁也没被降职,头衔还挂着,代码还在跑,成果也还摆在那儿。

可有人上去,就总有人下来:从别人向他汇报、自己单管一条线,变成他向别人汇报、只负责主线的某个组件。进场时姿态那么高,走到这一步,心里难免有落差。

对大厂而言,期权就是掏点小钱赌一把。真正被卷进去的人,日子就不好过了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai 达闼RobotGPT多模态大模型 达闼RobotGPT多模态大模型是一个创新的AI工具,它通过整合多模态数据处理能力,为机器人在多样化的应用场… 大模型与开发平台 · dataarobotics.com Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai Seko Seko是商汤科技(SenseTime)推出的行业首发创编一体的AI短视频创作Agent。Seko可以根据用… AI 智能体 · sensetime.com 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 蛙蛙写作 蛙蛙写作是由杭州引力智航科技有限公司开发的一款AI智能写作工具。产品定位为帮助不同类型的作者,提供个性化的写… AI 写作 · wawawriter.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 继微软后,谷歌在五国扩大“自愿离职”,硅谷换了一种减法

    【TechWeb】11月5日消息,据外媒援引谷歌发言人的话确认,谷歌已将带有补偿的自愿离职计划扩大至加拿大、法国、德国、日本和瑞士五个国家的部分员工。该计划实际上早在今年6月就已启动,只是近期才被外界广泛关注。在瑞士苏黎世工程中心,补偿标准为每工作满一年支付一个月薪水,上限12个月工资,选择该方案的员工已于8月起...

    来源 腾讯网
  2. Meta上线Muse头像视频通话,还要推电子宠物式可穿戴设备

    Meta宣布,美国用户现在可以通过视频通话与旗下AI助手Muse的可定制动画头像实时互动。这标志着Meta的AI代理从纯文本对话迈向拟人化的多模态交互。更值得关注的是,Meta还计划推出一款类似电子宠物Tamagotchi的可穿戴设备,试图把Muse从屏幕带入现实生活。此举被视为社交巨头在AI陪伴赛道与AI硬件浪潮中的

    来源 AI 科技快讯
  3. 蚂蚁Ling-3.2-flash上线:560B MoE只激活25B,1M上下文

    蚂蚁百灵今日推出原生多模态模型 Ling-3.2-flash,560B 总参数每次仅激活 25B,配 1M 上下文、走 MoE 路线——前向只调部分参数,留知识容量、压单步开销。这"大骨架、小激活",正是平衡能力的核心。 四项能力同步上桌 模型架构层原生打通视觉与语言,图文视频通吃。官方强化四块:复杂视觉理解做图像视频

    来源 AI 开发者社区
  4. 豆包汽车核心人物苏杰离职,荣威家越07已上市

    今日汽车产业的“最受关注”人事变动,有些特别—— 苏杰,来自豆包智能座舱与AI解决方案研发业务,已从字节离职。 他之前曾以“火山引擎座舱总经理”的身份参加公开活动,也曾出现在以字节为作者单位的重要论文中。 之所以受关注,是因为有消息把苏杰称为“豆包汽车”研发一号位。但据“申妈的朋友圈”,另有接近火山引擎的消息表示,苏杰

    来源 AI 行业观察
  5. Claude Code前产品负责人Cat Wu加盟OpenAI,将主导核心产品管理

    Claude Code前产品负责人Cat Wu在宣布离开Anthropic仅一天后,确认加入OpenAI并领导其核心产品团队的产品管理。她将与Nick Turley合作开发企业产品、与Ashley Alexander推进消费者产品业务,向Tibo Sottiaux汇报。此次变动正值OpenAI与Anthropic争夺A

    来源 凤凰科技
  6. 百度文心后训练负责人刘璟离职:T10 架构师出走,下家未定

    文心又走了一个人。 11月4日,据多家媒体爆料,百度文心基础大模型后训练负责人、杰出架构师(Distinguished Architect)T10 级刘璟已从百度离职。消息在 AI 圈传开时,距百度副总裁吴甜确认离开,不过一周。 公开履历显示,刘璟本科毕业于西安电子科技大学,在哈尔滨工业大学拿到硕博学位。加入百度之前,

    来源 AI 行业观察
  7. 蚂蚁百灵Ling-3.2-flash发布:560B参数,API前两周免费

    IT之家 11 月 6 日消息,蚂蚁百灵官方团队今日宣布推出原生多模态模型 Ling-3.2-flash,拥有 560B 总参数、25B 激活参数、1M 上下文窗口。该模型从架构层面原生融合视觉与语言能力,支持图像、文本与视频输入,重点强化复杂视觉理解、多模态长程 Agent、3D 理解与交互、医疗多模态四大能力。在蚂

    来源 腾讯网
  8. 华中科大与地平线提出Multimodal Flow:语言视觉同处连续空间

    走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。目前,主流的解法主要有两条。一条是全离散路线(如 Chameleon、

    来源 腾讯网
  9. 谷歌启动多国自愿离职:补偿最高12个月工资,AI投入逼近2000亿美元

    一家季度营收超过 1200 亿美元、云业务收入同比翻倍的科技巨头,为什么还要花钱让员工离开? 这个看似矛盾的场景,正在谷歌上演。 11 月 4 日,据路透社独家报道,Alphabet 旗下谷歌今年已将自愿离职计划扩大至加拿大、法国、德国、日本和瑞士等多个国家。部分符合条件的员工可以主动申请离职,并获得相应的经济补偿。其

    来源 AI 行业观察
  10. 王兴兴:物理AI卡在模型与物理世界对齐,1至2年有望解决

    11月5日,宇树科技创始人王兴兴在虹桥国际经济论坛分论坛上表示,物理AI当前最大瓶颈是模型与物理世界的对齐,该问题未来1至2年有望解决。他解释,多模态大模型在真实机器人上运行存在输入输出偏差,抓取、装配等接触类任务易因“最后几厘米”误差失败。

    来源 凤凰科技
  11. 对话Vitalik:捐出数亿美元后,如何开始反思EA?

    怎样用有限的钱帮助更多人?有效利他主义(Effective Altruism,简称“EA”)就是从这个朴素的问题出发,推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。 SBF与FTX的崩塌,曾让这场运动陷入信誉危机。最近,AI研究员辞职、安全评估机构和捐赠网络引发的争议,又让EA受

    来源 AI 行业观察
  12. 尹希离开OpenAI:入职仅半年,下一站成谜

    哈佛最年轻华人正教授尹希在加入OpenAI仅半年后宣布离职。作为首位进入企业界的基础科学家,他曾直言AI让编码效率提升百倍,并反对菲尔兹奖得主对AI的保守看法。目前其下一站未定,学界猜测可能流向Jeff Dean的新创公司或回归学术。

    来源 AI 应用前沿
  13. AI Coding 增量风险管控:Skill 门禁与 Harness 落地实践|AICon北京

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  14. 世界建模能否跨任务复用?Northwestern、CMU等用2k样本提升22项基准

    以多模态大模型为基座模型的系统,正在被要求跨领域、跨任务干活:看懂空间关系,规划具身动作,理解视频里的时序,判断一个物体会不会掉下来,等等。这些任务分属不同领域,研究也各管一摊,各有基准,各提方法,而一个领域里奏效的方法很少能搬到另一个领域去。然而,这些任务都涉及到世界会怎样随动作变化,也就是人人都在谈的 “世界建模”

    来源 腾讯网
  15. Claude Code产品负责人跳槽OpenAI,Anthropic两周走了3名核心成员

    整理 | 郑丽媛出品 | CSDN(ID:CSDNnews)如果一家公司的明星产品负责人,刚刚离职就跑去竞争对手那里上班,会是什么场面?Anthropic 最近就遇上了这件事。短短两周,Claude Code 团队接连走了 3 名核心成员:负责产品的 Cat Wu、参与编程助手开发的工程师 Thariq Shihipa

    来源 腾讯网
  16. 米哈游退出零唯一思,交大菡源资产数百万元接手

    文|胡香赟 编辑|海若镜 10月底,米哈游已退出上海零唯一思科技有限公司(下称“零唯一思”)股东行列。36氪获悉,近日,这家由上海交通大学教授吕宝粮创办的脑机接口公司,正式完成重组,并获得来自交大菡源资产数百万元的独家投资。该资金将用于团队组建与脑电基础模型研发。 零唯一思成立于2021年底,最早从情感脑机接口切入,探

    来源 AI 行业观察
  17. 软银收购ABB机器人业务遇阻:中国监管机构禁购

    据媒体报道,ABB机器人业务在全球工业机器人市场位居第二,与发那科、安川电机、库卡并称“四大家族”。中国是ABB全球最大的机器人交付市场,约占其机器人业务30%的份额。ABB在中国设有约30家企业,业务覆盖近130个城市。这笔交易最初于2025年10月宣布,软银计划以53.75亿美元的企业价值收购ABB的机器人业务,原

    来源 TechWeb
向下滚动自动加载更多