周畅庞天宇接连离职,多模态生成在大厂沦为期权型业务?

资讯 36氪 全文 4115 字 · 约 11 分钟读完 配图 1 张 分类人事变动多模态

从“AI企业资金的共识出口”到“期权型业务”。

所属频道 模型发布人物与组织

梁文锋说过一句话:“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”

放到当时的环境里看,这话跟主流做法正好相反。2026年上半年,多模态生成还是AI大厂的主线,部门独立、产品线独立、负责人也独立。

腾讯那边,大语言模型部和多模态模型部平级并存,图像、视频、3D生成归后者单独管;字节的视觉生成盘子更大,多模态交互、世界模型、Seedream、Seedance,加上机器人团队,统一向周畅汇报;阿里则在4月发布了基于原生多模态架构的世界模型。

那阵子,多模态生成被看作“AI企业资金的共识出口”,大厂几乎都把它当成新的AI叙事。

但最近一周之内,两条消息接连出来。

10月31日,据Z Finance报道,字节Seed核心负责人周畅已经离职创业,方向是Physical AI,拿到头部美元基金支持。11月2日,多家信源称,腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职不到9个月。

人才流失的背后,是大厂对多模态生成的态度变了。Agent等方向跑得快,算力和预算自然往这些看得见增长的业务上倾斜。

按现在的叙事,多模态生成更像一种“期权型业务”:大厂花点小钱,赢了上不封顶,输了立刻撤退,把本金收回来。

多模态生成是期权型业务?

多模态这门生意,token消耗极大。

先说图片。模型要理解一张图,第一步就是把图切成若干小图像块。

一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上走,单图就上千;长视频则是帧数乘每帧的块数,数量级地往上涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本立刻上去。

视觉理解加扩散式生成(VLM+DiT)这类架构要同时跑自回归和扩散,token消耗只会更多。

OpenAI的Sora是最典型的例子。App上线到OpenAI宣布关停,前后只有半年左右。外媒称,Sora每天算力成本100万美元,用户数量还在下滑。成本明显高过收入,公司最后选择止损。

推理环节更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型做不到,它得每几毫秒生成一次环境状态、实时流式往外送,每个用户相当于独占一条GPU管道。

多模态生成还有个大问题:评分难,得靠大量评价人员给模型生成的内容打分。Seedance背后的数据评价团队高达上千人。

LLM不一样,推理、代码、数学都有相对统一的基准,版本之间能直接比较,团队KPI也容易对齐。

多模态生成正相反。MMMG基准的作者表示,多模态生成的可复现评测落后于模型本身的发展。人工评测被视为金标准,却没法大规模做,主观性又强,难以系统定位模型弱点。

所以字节才要找上千人的评测团队给Seedance做评测,核心思路就是堆人数,压低主观性对模型性能的影响。

一旦评价要靠美学、时序连贯、人类偏好,你就很难用分数判断模型好坏,也很难判断这个模型团队还值不值得继续投资源。

比起“这个视频好看吗”这种明摆着主观的讨论,大家还是觉得“这个版本在基准上提升了几个点”更有讨论价值。

字节在Seedance上收入不错,但最关键的技术拐点其实是AGI,它就相当于行权价。

AGI如果真的非多模态生成不可,那就等于兑现了;如果发现AGI并不需要多模态生成,那就是全部权利金归零。

而大厂每个月烧掉的token,就是滚动支付的权利金。

眼下有一种判断正在扩散:AGI跟多模态生成,关系没那么大。

GLM-5.2升到5.3以及DeepSeekV4 Flash迭代到Pro,两组模型都没有往视觉方向扩,光靠后训练就把性能拉了上去。K3的消融实验里,研究员给出的说法是"多模态数据每多一点,文本理解、Coding或者数学可能就会变差"。

杨立昆那篇爆火的H-JEPA论文,又往这个方向添了一把力。他所主张的JEPA路线,正让越来越多人点头。

这条路线要在抽象表征空间里预测世界,一个像素都不生成。理由也直白:物理世界塞满了不可预测的随机细节,逐像素重建既费劲又容易出错。说到底,这是从技术上给"AGI用不着像素级生成"找了依据。

业务层面的收缩也跟着来了。腾讯二季度财报电话会之后,钱往哪儿走已经清楚——WorkBuddy拿到了优先的资源倾斜,其余新AI产品的优先级则在往下调。

多模态生成到底怎么了?

7月24日,腾讯TEG发了一份内部通知:大语言模型部、多模态模型部一并撤销,改设基础模型部,首席AI科学家姚顺雨兼任该部门负责人,汇报对象是TEG总裁卢山。

腾讯当时给出的说法是"提升模型研发和协同效率,探索全模态模型的智能上限"。

这两个被撤的部门,2025年4月才拆出来。语言那条线负责文本推理,多模态那条线负责图像、视频与3D生成,级别相同,各干各的,腾讯管这叫"双轨研发"。

再往前,3月20日腾讯已经关掉了办了近十年的AI Lab:一部分人进了大语言模型部,一部分转去产学研合作中心,计算机视觉、语音这些原先独立的能力,统一收进混元体系。

外界当时的普遍看法是,合并的根子在于大语言模型和多模态模型的训练标准对不上,技术因此打不通,算力也跟着内耗。

一个月后,轮到字节。8月的组织调整中,周畅起家的视觉语言模型VLM被塞进大模型LLM体系,变成LLM下面一个管数据的子部门。一位Seed人士对36氪说,"他丢了龙兴之地,基本就没有核心地盘了"。

之所以要这么拼,是因为那会儿想让大模型"看见"东西,得靠一种"胶水科技"。

做法是拿一个训好的纯文本LLM,前面挂视觉编码器,图片被切成小块转成向量,中间再训一层投影,把向量译进语言模型的词表空间,最后和文字拼到一块儿喂进去。LLaVA、Qwen2-VL、DeepSeek-VL2,走的都是这条路。

它最讨巧的地方是省钱。

视觉编码器有开源的可以拿来用,语言模型自家就有现成的,中间那层不过是一层胶水,把两头粘上就行。

独立的多模态部门,基本上是围着这层胶水搭起来的:视觉编码器有人管,对齐数据有人管,图文指令微调有人管,评测也有人管。胶水还在,部门就立得住。

问题是这层胶水如今没了,大厂开始往原生多模态转——从预训练第一层起,就把图像、文本、音频、视频的token混进同一条主干里。

从今年2月阿里推出Qwen3.5起,视觉能力就被用早期融合的方式并进了主线模型,此后阿里再没发布新的通用VL理解模型。

眼下大厂做多模态基本走两条路。一条是梁文锋那条理解路线,让模型看懂图片和视频,解决的是怎么感知世界,这条路已经走通了。

另一条路,是把视觉理解和扩散式生成装进同一套架构,模型不光要理解世界,还得能生成内容。

2025年GPT-4o问世后,谷歌、阿里、字节都试过这条路,结果谁也没跑通。

难点在于图像和视频生成靠的是扩散模型,要在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都对不上,硬凑进一个模型,光是不让任务之间互相拖累就够让人头疼。

腾讯混元一位多模态研究员对36氪表示,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员也说,“理解、生成统一”基本没有已知很有效的方案。评测这关同样没立起来,一张图画得好不好、一段视频合不合意图,判断起来比一道数学题算没算对难得多。

周畅在字节主推的叙事叫“多模态理解与生成统一”,走的正是第二条路。

放到期权里,这叫虚值;企业收缩部门,等于放弃行权。

落差

业务部门一收缩,原先管这块的负责人,降级几乎是自然的事。

周畅2024年8月从阿里到字节,职级4-2。报道称他的年包为八位数,随他一起来的还有十余名阿里旧部,双方一度卷入竞业限制劳动仲裁。

在阿里时他当过通义大模型核心技术负责人,离职前发布的Qwen2在Hugging Face开源榜登顶,压过当时的Llama 3-70B。进入Seed后,他负责多模态交互与世界模型,向吴永辉汇报。

周畅庞天宇接连离职,多模态生成在大厂沦为期权型业务?(配图 1)

此后两年,他的管辖范围持续扩大。2025年7月,豆包视觉多模态生成负责人杨建朝宣布“暂时休息”。据36氪援引Seed内部人士消息,组织上要求杨建朝改向周畅汇报,杨建朝随即离开,Seedream、Seedance两条视觉生成线归到周畅名下。

2026年6月2日,据晚点报道,字节内部又调整了架构。原本由李航负责的Seed Robotics团队已向周畅汇报一个多月,字节还在招一位职级L8、对标阿里P10-P11的具身智能技术负责人,同样向周畅汇报。

报道给出的理由是,机器人能和多人模态交互、世界模型在数据与技术层面互相咬合。四条线压在一人身上,媒体称他是当时Seed里管理边界最宽的技术负责人之一。

6月刚扩完地盘,8月VLM就并入了LLM,降成数据子部门。

庞天宇进场时的动静,比周畅还要大一些。

他落脚在混元多模态部Exploration Center,职责一栏写的是“强化学习前沿算法探索”。

1月29日,他在小红书发了一则招聘启事,顺便官宣加入;2月4日正式入职;6月带队开源UniRL框架,把扩散模型、自回归模型和生成理解统一模型的强化学习后训练放进同一套流程;10月这套框架更新到v0.2.0,他仍在核心署名作者之列。

可到了11月2日,媒体报道称,在混元由分散走向集权的收拢过程中,他“失去了他在组织版图上最初被许诺的那个位置”。

1月26日的员工大会上,Pony说“姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队”,还提到内部要加快Co-design、强化混元与元宝的协同。

1月28日混元开源图像3.0图生图版本,接入元宝。当时公布的数据是,混元图像、视频衍生模型总数3000个,视频模型社区下载超500万,混元3D系列超300万。那会儿多模态模型部还是和大语言模型部平级的一级部门。

之后7月24日两个部门合并,9月前OpenAI研究员田永龙出任混元多模态负责人。

没有人被降职,头衔还在,代码还在,成果也还在。

有人起,就总得有人落。原先别人向他汇报,他单独管一条线;如今变成他向别人汇报,只管主线里的一个组件。以高姿态入场,再经历这种转换,心里难免有落差。

对大厂而言,期权说白了就是花点小钱赌一把。可那些被卷进来的人,日子就不好过了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai 达闼RobotGPT多模态大模型 达闼RobotGPT多模态大模型是一个创新的AI工具,它通过整合多模态数据处理能力,为机器人在多样化的应用场… 大模型与开发平台 · dataarobotics.com Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai Seko Seko是商汤科技(SenseTime)推出的行业首发创编一体的AI短视频创作Agent。Seko可以根据用… AI 智能体 · sensetime.com 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 蛙蛙写作 蛙蛙写作是由杭州引力智航科技有限公司开发的一款AI智能写作工具。产品定位为帮助不同类型的作者,提供个性化的写… AI 写作 · wawawriter.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苏杰离开火山引擎汽车业务,豆包座舱交付不受影响

    11月6日消息,近日,火山引擎汽车业务 研发负责人苏杰离职的消息引发外界关注。界面新闻援引接近火山引擎的人士透露,苏杰离职前数月已转为个人贡献者,不再带团队,也并非相关业务研发负责人。截至目前,其离职去向仍不清楚,但该岗位调整及人员变动不会影响火山引擎汽车业务相关产品的正常上线。这两款车型的技术方案均被指由苏杰确定。

    来源 TechWeb
  2. 谷歌Omni 1.2 Flash上线:视频时长增至15秒,API降价约30%

    人工智能视频生成与编辑领域迎来重要更新。Google DeepMind 正式发布了全新的多模态视频生成模型——Gemini Omni1.2Flash。该模型在生成时长、画面一致性、多轮对话修改以及 API 价格上均带来了全方位的重大升级。 核心性能升级:时长翻倍、一致性优化与多轮对话编辑 在核心功能方面,Gemini

    来源 AI 开发者社区
  3. Meta在美国上线Muse视频聊天,AI虚拟形象能打实时通话了

    Meta近日正式宣布面向美国用户推出其消费者人工智能代理Muse的Muse Voice与视频聊天功能,标志着其在多模态AI交互与消费级虚拟形象落地方面迈出重要一步。该功能采用全新的AI模型、Muse Realtime Avatar及Muse Realtime Voice技术,为用户提供可定制的动画数字虚拟形象进行实时通

    来源 AI 开发者社区
  4. Airbnb宣布将于2027年上半年推出定制化AI旅行代理

    Airbnb 于近日正式宣布,计划在2027年上半年推出专为旅游场景定制的人工智能旅行代理(AI Travel Agent),标志着其在垂直领域多模态交互应用上的重要战略布局。在同步发布的第三季度财报中,公司交出了强劲的业绩答卷,总营收同比增长19%达48.7亿美元,超出华尔街预期,并宣布将2026年全年营收增长预期上

    来源 AI 开发者社区
  5. Claude Code创始产品经理Cat Wu跳槽OpenAI,Anthropic连续失血

    AI圈顶级人才,开始扎堆跳槽了! 11月5日,硅谷爆出一则重磅人事变动:前一天刚宣布告别Anthropic的王牌产品掌门人Cat Wu(Catherine Wu),转头就官宣加盟OpenAI,负责核心产品团队的产品管理。从宣布离职到入职新东家,几乎无缝衔接。

    来源 AI 行业观察
  6. Meta上线Muse头像视频通话,还要推电子宠物式可穿戴设备

    Meta宣布,美国用户现在可以通过视频通话与旗下AI助手Muse的可定制动画头像实时互动。这标志着Meta的AI代理从纯文本对话迈向拟人化的多模态交互。更值得关注的是,Meta还计划推出一款类似电子宠物Tamagotchi的可穿戴设备,试图把Muse从屏幕带入现实生活。此举被视为社交巨头在AI陪伴赛道与AI硬件浪潮中的

    来源 AI 科技快讯
  7. 豆包汽车核心人物苏杰离职,荣威家越07已上市

    今日汽车产业的“最受关注”人事变动,有些特别—— 苏杰,来自豆包智能座舱与AI解决方案研发业务,已从字节离职。 他之前曾以“火山引擎座舱总经理”的身份参加公开活动,也曾出现在以字节为作者单位的重要论文中。 之所以受关注,是因为有消息把苏杰称为“豆包汽车”研发一号位。但据“申妈的朋友圈”,另有接近火山引擎的消息表示,苏杰

    来源 AI 行业观察
  8. Thinking Machines推Inkling 2 Small:定制训练开放,估值冲2600亿

    智东西(公众号:zhidxcom)作者 | 孙小雯编辑 | 程茜智东西11月6日消息,今日,前OpenAI首席技术官米拉·穆拉蒂创办的美国AI创企Thinking Machines Lab发布通用多模态模型Inkling 2 Small,并将于下周开放权重。该模型重点改善定制训练表现,支持开发者用自己的数据进一步训练,

    来源 腾讯网
  9. 蚂蚁百灵Ling-3.2-flash发布:560B参数,API前两周免费

    IT之家 11 月 6 日消息,蚂蚁百灵官方团队今日宣布推出原生多模态模型 Ling-3.2-flash,拥有 560B 总参数、25B 激活参数、1M 上下文窗口。该模型从架构层面原生融合视觉与语言能力,支持图像、文本与视频输入,重点强化复杂视觉理解、多模态长程 Agent、3D 理解与交互、医疗多模态四大能力。在蚂

    来源 腾讯网
  10. Cat Wu离开Anthropic即入OpenAI:Claude Code创始PM为何留不住

    (本文作者为 新质动能,钛媒体经授权发布)文 | 新质动能AI圈顶级人才,开始扎堆跳槽了!11月5日,硅谷爆出一则重磅人事变动:前一天刚宣布告别Anthropic的王牌产品掌门人Cat Wu(Catherine Wu),转头就官宣加盟OpenAI,负责核心产品团队的产品管理。从宣布离职到入职新东家,几乎无缝衔接。Cat

    来源 腾讯网
  11. 米哈游退出零唯一思,交大菡源资产数百万元接手

    文|胡香赟 编辑|海若镜 10月底,米哈游已退出上海零唯一思科技有限公司(下称“零唯一思”)股东行列。36氪获悉,近日,这家由上海交通大学教授吕宝粮创办的脑机接口公司,正式完成重组,并获得来自交大菡源资产数百万元的独家投资。该资金将用于团队组建与脑电基础模型研发。 零唯一思成立于2021年底,最早从情感脑机接口切入,探

    来源 AI 行业观察
  12. 王兴兴:物理AI卡在模型与物理世界对齐,1至2年有望解决

    11月5日,宇树科技创始人王兴兴在虹桥国际经济论坛分论坛上表示,物理AI当前最大瓶颈是模型与物理世界的对齐,该问题未来1至2年有望解决。他解释,多模态大模型在真实机器人上运行存在输入输出偏差,抓取、装配等接触类任务易因“最后几厘米”误差失败。

    来源 凤凰科技
  13. 对话Vitalik:捐出数亿美元后,如何开始反思EA?

    怎样用有限的钱帮助更多人?有效利他主义(Effective Altruism,简称“EA”)就是从这个朴素的问题出发,推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。 SBF与FTX的崩塌,曾让这场运动陷入信誉危机。最近,AI研究员辞职、安全评估机构和捐赠网络引发的争议,又让EA受

    来源 AI 行业观察
向下滚动自动加载更多