InstantFusion：复旦与上海AI实验室让不同AI画师接力作画

市面上SD3、FLUX.1、Qwen-Image这些AI图像生成模型，各自出图效果都不差。可有个问题一直没人细想：它们能不能凑到一块儿"合作"？

设想一下，一个模型先起个草稿，另一个模型接手精修，两个"画师"接力把一幅画完成。

想法不错，做起来却难。这些模型内部使用的"语言"压根不是一套，隐藏空间有128维的，也有256维的，参数化方式更是各式各样。硬让它们对话，好比一个只讲四川话的人跟一个只讲粤语的人当面聊，名义上都是"中文"，落到实际就是鸡同鸭讲。

以往的做法无非两条路：要么放弃，让每个模型各自为政；要么针对每一对模型单独训一个翻译器。可市面上若有十个模型，两两配对就得训45个翻译器，这活儿根本干不完。

复旦大学和上海人工智能实验室的一篇论文盯上的就是"翻译器爆炸"这个难题。他们提出的方案名为InstantFusion，思路是建一个公共广场：所有模型先把自己的"方言"译成普通话，再从普通话译回对方的"方言"。模型数量再多，需要的翻译器也只是N个，而非N²个。

研究里还有个意外发现：这些AI模型其实长得挺像。

这个观察出现在方法介绍之前，却是整项研究的起点。

研究者把Qwen-Image、SD3、FLUX.1这几个各自独立训练出来的模型摆在一起比对，发现了怪事：它们的隐藏表示维度并不相同（Qwen-Image是[1,16,1,128,128]，SD3和FLUX.1是[1,16,128,128]），可把隐藏状态的空间自相似性画成图来看，图案却相当接近。

潜在空间也叫latent space，是AI模型生成图像时用来表示"半成品图像"的压缩编码。它并非人眼能直接看懂的图片，而是一堆数字矩阵。

这就像几个素未谋面、各用各的语言写日记的人，日记里情感起伏的曲线却高度相似。彼此没打过招呼，只因为记录的都是"人类生活"，内在节奏本就相通。

研究者还试了个更大胆的实验：让SD3画到一半突然停住，把半成品直接硬塞给SD3.5或FLUX.1，由后者接着画完。同系列之间（SD3到SD3.5）交接顺畅，画面看不出违和；跨系列（SD3到FLUX.1）则冒出局部噪点和瑕疵，但图片中间那只杯子的主体轮廓和大致布局，居然完整保留了下来。

要是没做这次草率的"直接硬塞"，研究者恐怕不会意识到跨模型的语义结构存在部分共享。正因为半成品直接移交没有彻底崩坏，团队才确信这条路走得通，值得投入去搭一个正式的翻译接口。

整篇论文的研究方向就此被点燃：粗糙结构既然能幸存，就该有办法把这种"部分兼容"做精细，变成真正可用的工具。

核心组件LAE，相当于给每个模型配一名随身翻译官。

InstantFusion的关键部件叫LAE（Latent AutoEncoder，潜在自编码器）。

每个生成模型都配一个专属的轻量级编码解码器，任务是把该模型的中间状态"翻译"成共享空间里的通用表示，再从共享表示"翻译"回该模型能理解的格式。

不妨把LAE想成联合国会议上坐在每位代表身边的同声传译员。各国代表（生成模型）只管说自己的母语，传译员把话译成中立的"会议通用语"（共享潜在空间），其他国家的传译员再把这句通用语译成自家代表听得懂的语言。

没有这套同声传译会怎样？那就只能让懂四国语言的人亲自上阵，一对一互相翻，也就是前面说的"翻译器爆炸"。现在每位代表只需配一名翻译员，新来一位代表，也就再添一名翻译员，已有的翻译员既不用全换掉，也不用重新培训。

这套系统想训成，光靠"对齐"不够。论文点出一个关键的坑：如果只要求不同模型翻译出的表示在数值上接近，模型完全可以偷懒，把所有输入都译成同一个无意义的常数，"对齐"目标轻松达成，信息却全丢了。

为防这个坑，研究者加了重建损失：翻译过去再翻译回来的结果，必须和原始输入基本一致。这等于要求翻译员不仅让两边代表的发言"听起来差不多"，还得保证经过一轮翻译的内容翻回原文时不走样。只有"互相能懂"和"不丢失信息"两个条件同时满足，这套翻译系统才真正可用。

另外还设了一个归一化正则项，用来让不同模型翻译出的表示在"音量大小"上也差不多，免得有的模型声音震耳欲聋、有的细若蚊蝇，合并进共享空间时失了衡。

光对齐"长相"还不够，脾气也得对上。

这个细节在论文里值得单独拎出来说。

团队起初只对齐了不同模型在某个时刻的中间状态（也就是"长什么样"），结果发现：用UMAP降维可视化之后，不同模型的状态点确实聚到了一起，但代表"下一步往哪里走"的去噪速度向量，却散得乱七八糟。

扩散模型和流模型每生成一步图像，都要算出一个向量，告诉当前这张“半成品”该往哪个方向、调多大步子，才能离最终的清晰图更近。这个向量，就是去噪速度（denoising velocity）。

打个比方：两个人站在地图上同一个坐标点，可一个人手里的指南针指东北，另一个指西南。看着是“在同一个地方”，迈出一步就各走各的了。

状态对齐管住的只是“此刻位置相同”，管不了“下一步朝哪走”。生成图像偏偏是连着走很多步的事，每一步方向都对不上，交接几步之后画面必然跑偏。

于是研究者补了一个动态对齐损失，专门约束不同模型在共享空间里的“一步位移”保持一致。调整完之后，论文的可视化图显示，原先散乱的速度向量明显聚拢了，余弦相似度也上去了。

不做这个动态对齐会怎样？论文的消融实验给了答案：后面要讲的跨架构知识蒸馏实验里，一旦去掉这个约束，训练直接发散，隐藏状态对齐了也没用。可见“长得像”和“走得稳”是两回事，得分开处理。

交接时机该定在哪一步？让模型自己判断

翻译接口有了，接下来要问：两个模型接力画图，哪一步交接最合适？

交早了不行。去噪刚起步时图像还是一团噪声，谈不上稳定结构，这时候硬塞给另一个模型，等于什么都没传过去。交晚了也不行，那就失去了“用快模型加速”的意义。

这跟接力跑是一个道理：起跑后半秒就交棒，接棒的人还没进入状态，棒子传了也白传；拖到最后十米才交，前面那位基本已经跑完，换人也没多少加速效果。

论文的办法是自适应交接策略：实时盯着发送方模型对“最终清晰图像”的预测，看它在连续两步之间的变化幅度是不是已经稳住。预测一稳，就说明画面核心结构定下来了，此刻交接最合适。

所谓清晰状态预测，指的是扩散/流模型的每一步虽然还没真正生成完整图像，但可以拿当前噪声状态和速度场反推一个估计值——假如现在就停止去噪，最终图像大概长什么样。

论文给的可视化证据很直观：在自适应算法选中的交接点上，预测出的“大概长什么样”已经和最终成品在整体布局上高度相似。这套自动判断机制确实抓住了“结构已经稳定”的信号。

接口搭好了，四个场景看它能干什么

光有翻译接口不够，论文花了大篇幅验证它到底有什么用，一共展示了四个方向。

第一是生成加速。把Qwen-Image这种效果好但慢的模型，和Z-Image-Turbo、FLUX.2-Klein这种快但效果一般的模型拼起来：快模型先跑，跑到结构稳定，再交给慢模型精修。实测Qwen-Image单独生成一张图要18.84秒，接上Z-Image-Turbo降到4.373秒，接上FLUX.2-Klein降到2.545秒，速度提升3到7倍不止；GenEval-v2（评测图像是否符合文字描述的指标）分数也没崩，分别是33.34和27.19。

对比来看，论文提到的另一种加速方法T-Stitch假设参与的模型共享同一个潜在空间，到了跨架构场景，GenEval-v2分数直接跌到7.762，画面质量明显崩坏。这组数据说明：不专门处理“潜在空间不同”这件事，硬接的代价就是生成质量大幅滑坡。

第二个应用是跨架构的在线策略蒸馏，简称OPD。它的做法是让水平更高的“教师模型”实时指导学生模型：教师不提前写好答案扔过去，而是跟着学生自己走的路径，边走边纠正。

过去做OPD通常要求师生模型架构相近，InstantFusion把这层壁垒打通了，强大的Qwen-Image可以直接指导架构完全不同的SD3。实验显示，SD3原本的HPSv2（衡量人类审美偏好的评分）平均分是26.27，跨架构蒸馏后提升到26.46。

第三个应用是多偏好组合。现实中常有不同的“专才”模型，一个擅长让画面更贴合文字描述，一个擅长让画面更符合人类审美。以前想两者兼顾，要么从头联合训练一个全能模型，要么直接把两个模型的参数做加权平均。

InstantFusion给出了第三条路：让两个专才模型在生成过程中按各自的节奏实时交棒。实测把GenEval-v2专家和HPSv2专家组合起来，综合得分30.97和30.68，效果逼近专门联合训练出来的多奖励模型，却完全不需要额外的联合训练成本。

第四个是跨模型组合，说白了就是强模型带弱模型一把。用Qwen-Image指导SD3和FLUX.1，SD3的GenEval-v2从22.14跳到35.06，提升接近13分；FLUX.1从22.86升到36.54，提升超过13.6分。这组数字相当惊人——一个中等水平的模型借了“大哥”的力，直接跨进优等生行列。

架构里有个细节容易被忽略

论文还做了个小实验，挺能说明问题：把LAE里的“时间条件化残差块”换成普通卷积层，Qwen-Image和SD3组合的GenEval-v2分数从35.06掉到27.86，降了7.2分；和FLUX.1组合的分数从36.54掉到17.37，降了超过19分。

时间条件化的意思是：去噪过程不同阶段，图像噪声程度不一样，模型得知道“现在是哪个阶段”才能做出合适调整。它把当前噪声水平信息以某种方式“喂”给网络，让网络的处理方式随阶段变化。

也就是说，单靠一个普通卷积层完成跨模型翻译并不够。翻译器自己也得清楚眼下处在去噪的哪一步，给出的译文才准。打个比方，同一句话，会议开场要译成外交辞令，临近散会则要译成能落地的执行细节；翻译员要是分不清阶段，翻出来的东西就容易跑偏。

稳定性检验：换顺序接力，系统也不会垮

团队最后还查了一个问题：把SD3、FLUX.1、Qwen-Image这三个模型任意排列，依次接力画同一张图，结果会不会因顺序不同而差得很远？

答案是：6种排列下，GenEval-v2分数落在19.99到33.13之间，HPSv2平均分则大体稳在22.95到25.86。先后次序的确会影响成品，例如让Qwen先打底、再由FLUX.1接棒，分数就明显更高；但没有哪种排列直接崩掉。可见这套共享空间机制本身站得住，接棒顺序换了也不会整体失灵。

局限：共享要满足什么前提

当然，它不是万能的。论文承认，现有方案要求所有参与的模型共用同一个图像压缩编码器（VAE），并且时间参数化的方式要彼此兼容。要是两个模型连底层的图像压缩都完全不同，这套接口眼下还打不通。

另外，多个冻结的大模型同时跑，内存与存储开销必然跟着上涨，这是当前多模型协作绕不开的成本。

写在后面

通读论文，真正让我记住的不是那些涨分的表格，而是开篇那个“直接把半成品硬塞过去”的粗糙实验。研究者没有先认定跨模型一定不兼容就收手，而是真去试了最笨的一招，再从这个不算完美、却也没彻底坏掉的结果里，看到了可能性。

这让我想到：我们常默认“不同系统天生不兼容”，多半是懒得验证，而非真的验证过它们不兼容。论文里那张UMAP图挺有意思，它说明“看着一样”和“走着一样”是两码事，不少工程问题的坑就埋在这种细微差别里。

另一处让我在意的是多偏好组合那组实验：InstantFusion不做联合训练，也能拿到接近联合训练的效果。这意味着，过去针对单一目标训练出来的专才模型，或许不必推倒重来，而是能重新组织、重新调用。这种不浪费已有投入的路子，长远看可能比单纯涨性能更有价值。

假如将来有一百个风格各异的生成模型并存，它们会不会真形成彼此借力的生态，而不是一百座互不相通的孤岛？

Q&A

Q1：InstantFusion是什么？

A：InstantFusion是上海人工智能实验室等机构提出的轻量级共享潜在接口。它让不同架构的AI图像生成模型（如SD3、FLUX.1、Qwen-Image）在去噪过程中互相接力，不必为每一对模型单独训练翻译器。

Q2：InstantFusion能带来多大的生成加速？

A：论文实验显示，把Qwen-Image与Z-Image-Turbo或FLUX.2-Klein组合后，推理时间从18.84秒分别降至4.373秒和2.545秒，速度提升1.8到3.3倍以上，图像质量没有明显下降。

Q3：InstantFusion为什么要同时对齐状态和去噪速度？

A：实验发现，只对齐中间状态会让各模型的去噪方向不一致，好比站在同一位置、指南针却指向不同方向；还必须额外对齐去噪速度向量，否则后续生成会跑偏，跨架构蒸馏甚至会直接训练发散。