多模态基座模型第三条路：Token化与双系统之外怎么走？
不做Token化，也不搞双系统！多模态模型有了第三条路
构建能真正把语言与视觉统一起来的多模态基座模型，被看作迈向物理 AI 时代的关键一步。问题是，语言本身就是有序的 Token 序列，视觉却是连续的高维像素分布，两者的信息结构天然对不上。怎么在同一个模型里把这两种截然不同的分布统一起来，争论一直没有停过。
现有主流解法大致分两条。全离散路线以 Chameleon、Emu3 为代表，做法是把图像也量化成离散 Token，再和语言拼到一起做自回归建模；可它受制于视觉 Tokenizer，图像的高频细节在量化时很容易丢掉。另一条是混合离散-连续路线，Transfusion、JanusFlow 走的就是这条路：文本做离散预测，图像做连续扩散。量化瓶颈是绕开了，可一个模型里要同时维护两套完全不同的目标函数和采样流程，工程实现复杂，联合优化也不好做。
两条路都得做妥协，那还有没有第三种解法？
华中科技大学王兴刚团队与地平线机器人等机构合作，近日提出 Multimodal Flow，给出的第三条路线是全连续。语言和视觉在这个架构里各自留在原有的连续嵌入空间中，共享的却是同一个 Flow Matching 目标。模型因此不必硬把视觉翻译成语言，也不用维护割裂的两套系统，仅靠一个 Flow 模型就能统一建模两者的联合分布。实验显示，Multimodal Flow 的多模态泛化能力很强，混合预训练阶段学到的知识也能高效迁移到下游任务；在同等数据与参数预算的受控对比中，它的表现全面超过了混合式和全离散架构。
-
论文标题：MULTIMODAL FLOW: UNIFIED FLOW MODELING OF LANGUAGE AND VISION IN EMBEDDING SPACES
-
论文地址：https://arxiv.org/pdf/2609.40362
-
开源代码：https://github.com/hustvl/Multimodal-Flow
-
项目主页：https://hustvl.github.io/Multimodal-Flow
先看实打实的数据。团队搭出了主模型 MF-1，参数量只有 1.6B，从头做预训练，消耗的 Token 仅 150B。眼下不少大模型动辄用上万亿 Token，这个量算是相当克制，可跑出来的成绩并不含糊。
文本生图这一侧，MF-1 的 GenEval 综合得分是 0.821，DPG-Bench 长提示词对齐拿到 83.44。GenEval 的 Counting（计数）维度上，它跑出 0.73，同等规模的统一模型里领先幅度不小。多模态理解方面，VQAv2 得分 72.6，MMBench 得分 67.2，POPE 得分 86.1，三项平均 75.3，一些用预训练 LLM 初始化的同体量模型也被它压过。
更能说明问题的是受控对比：数据一样、参数预算一样、优化配置也一样，Multimodal Flow 在 GenEval、GQA、VQAv2、MMBench 等指标上全都超过了 Transfusion 式混合架构和 Chameleon 式全离散架构。全连续架构不是为了标新立异，它确实能打。
语言和视觉要怎么装进同一个“流”里？
成绩摆在那儿，这套全连续架构靠什么跑起来？关键在团队提出的超块（Hyperchunk）设计。
语言和视觉的结构本来就不一样，团队索性让两者各留各的原生形态。文本每 8 个 Token 切成一块，送进冻结的 T5-small 编码器，变成连续的文本超块；图像走冻结的 SigLIP2 编码器，抽出 16×16 的空间网格特征，形成视觉超块。超块按任务设定的顺序排成一条多模态序列，直接喂给共享的 Chunk-Causal Flow 骨干网络。
骨干网络的设计有讲究。注意力上用 Chunk-Causal 掩码：模型预测第 k 个超块时，前面所有超块完全可见，当前超块内部的位置做联合建模，未来超块则被遮住。因果性保住了，块内信息也能充分交互。计算时网络走的是“联合注意力 + 模态特定 FFN”的路子：注意力层共享，让语言和视觉跨模态交互；FFN 层各自独立，原因是两种模态的表示统计差异太大，硬要共享会适得其反，论文里的消融实验也印证了这一点。
训练和推理这块，新架构的效率表现同样突出。训练阶段，模型能并行预测多个目标超块，各超块分别独立采样 Flow 时间步；到了推理阶段，则改为按顺序逐块生成，已经生成完毕的超块的 KV 缓存会直接复用，生成速度因此明显提升。
这套设计还带来一个相当巧妙的收益：只要调整超块的排列顺序和目标方向，同一组网络参数就能直接切换任务，不需要额外改动。纯文本生成、文生图、图生文以及 VQA，统统可以写成“超块序列的条件生成”。任务定义与生成建模由此被彻底分开。
混合预训练：全连续架构的基座价值
团队既然选了从零开始预训练，就要实际检验多模态混合预训练到底有多少价值。先看规模扩展（Scaling）：他们按相同的混合预训练协议，训练了 0.6B、1.2B 和 1.6B 三个尺寸的模型，观察各自的演进轨迹（Figure 4）。结果呈现出健康的初步扩展态势——模型变大、训练步数增多，Flow Matching 的目标损失和语言建模的困惑度（PPL）都稳定走低，文生图的 GenEval 与图生文的 CLIPScore 则稳步走高。其中 1.6B 模型在训练后期综合表现最强。
迁移能力方面，他们拿“随机初始化后直接做下游微调”和“先混合预训练再微调”两个模型作了对比。差距很明显：GenEval 由 0.527 升到 0.821，SEED-Bench 从 31.6 跳到 62.4，MMBench 则从 36.0 提高到 67.2。
这些数据说明，在统一的 Flow Matching 目标下，模型于混合预训练阶段学到的文本、图像、图文对联合表示，能高效迁移到下游任务。Multimodal Flow 不只是个多模态生成器，它还显露出成为优秀多模态预训练底座的潜力。
消融实验中有两项发现被团队特别提及。
为了验证设计是否站得住，团队做了一批细致的消融实验。
先说视觉表示的选择。团队把 SigLIP2、DINOv2 这类语义特征，与 FLUX.2 VAE、SD-VAE 潜变量以及原始像素放在一起对比。同样的训练预算下，SigLIP2 和 DINOv2 在生成和描述任务上整体更占优，面向重建的 VAE 潜变量反倒处于下风。这给未来的多模态生成留下一个提示：对统一生成模型来说，富含语义的特征常常比单纯的像素重建保真度更关键。
再说 CFG。Classifier-Free Guidance 过去基本只在视觉生成里用，而 Multimodal Flow 借助统一的 Flow Matching 目标，让同一个 CFG 机制同时作用于文本和图像。实验给出的结果是：图生文任务的最佳 Guidance Scale 在 3 左右，文生图任务在 5 左右。一套机制管两个方向，全连续共享生成过程的简洁和通用又一次得到印证。
更简单的模态，更长远的未来
在 Multimodal Flow 和 MF-1 身上能看到一条新路径：视觉不必被硬翻成语言，也不用维护两套彼此割裂的生成目标。语言和视觉可以在连续的嵌入空间里用同一套动力学系统建模，各自的结构特性仍然保留。
眼下的 1.6B 模型和 150B Tokens 只是开头。作者在结论里提到，后续会把框架推向更长的交错图文序列、视频以及别的结构化模态。连续统一多模态模型能走多远，大概才刚刚开始显露。
