Iris-3B：30亿参数像素模型实测，细节任务没赢过潜空间

2026年初，SperidLabs团队干了一件挺较真的事。

他们投了大量算力，训出一个30亿参数的图像生成模型Iris-3B。这个模型完全跑在像素空间里，不经过任何压缩编码。单看这一点不算新鲜。真正关键的是下一步：拿它去做深度估计和图像修复——这两个任务对细节极其敏感——再跟传统的潜空间模型正面比。

结果呢？

结果是打平，甚至还略输一点。

这话听着确实不太提气。偏偏就是这份“跟预想不一样”的老实交代，让论文有了细读的价值。它拆掉了一个在生成式AI圈子里传了很久、却几乎没人动真格去怀疑的前提：要做精细纹理类的下游任务，像素空间生成似乎天生更占优势。

这个假设是怎么来的

要弄明白这个假设，先得知道眼下主流的图像生成模型怎么干活。

你现在见到的大多数文生图模型，比如Stable Diffusion系列、FLUX系列，都不直接在像素上折腾。它们先用一个叫VAE的东西，把一张1024×1024的图压成小得多的“潜空间”表示，生成、去噪全在这个压缩后的小空间里完成，最后再由VAE解压回真实像素。

VAE指变分自编码器（Variational Autoencoder），是一种神经网络：能把高维数据（比如图片）压成低维表示，也能从低维表示还原回原始数据。这里的“压缩”和“还原”都带损失，就像把一张照片存成JPEG，画质会打折扣。

这套“潜空间扩散”的玩法效率奇高——在小空间里算，比在百万像素的大图上算便宜太多。代价也很明显：VAE是单独训练的，它的压缩误差没法跟后面的生成器一起优化；编码器丢掉的细节，生成器永远找不回来。

打个比方：让一个翻译先把英文小说压成一页纲要，再让另一个人照着这页纲要写一本新小说。纲要里漏掉的微妙语气、伏笔、双关语，第二个人写作水平再高也补不回来。不压缩，直接让人逐字逐句翻，虽然慢，至少不丢东西。像素空间生成模型想解决的就是这个问题：跳过“写纲要”那一步，直接在原始像素上训练和生成。

近两年，这条路线确实跑通了。有工作证明单个transformer就能在像素空间里生成高质量图片，文生图效果甚至能和潜空间模型差不多。既然像素空间不丢细节，拿它去做深度估计、图像修复这种“抠细节”的任务，岂不是正中下怀？

这个推理听起来非常顺，顺到几乎没人去实测。SperidLabs的这篇报告，就是去实测的那批人之一。

从零训练一个30亿参数的像素模型

要验证这个假设，第一步得先有一个靠谱的像素空间生成模型。团队给它取名Iris-3B，意思是“虹膜”，呼应它直接“看”像素、不经过编码压缩的特性。

正式训练3B参数的大模型之前，他们先拿一个13亿参数的小号模型，在256×256低分辨率上做了一轮系统的消融实验。目的是敲定两个关键问题：模型该预测什么，以及要不要借额外的“视觉老师”来加速学习。

先看预测目标的选择。扩散模型训练时通常不直接生成图片，而是学“去噪”：给图片加上不同程度的噪声，让模型学会把噪声去掉。这里有两种主流做法——x-prediction直接预测干净的原图；v-prediction则预测一个叫“速度”的中间量。

此前有研究认为，每个像素块（patch）变大、维度变高时，预测噪声会变得不稳定，直接预测干净图像更靠谱。SperidLabs的实验结果恰恰相反：在他们的设置下，v-prediction训练更稳定，三项指标都不输x-prediction，甚至略胜。不过作者也老实交代，这个对比并不完全公平——参照的x-prediction方案还顺带换了噪声采样的时间步分布，所以没法把差异完全归到预测目标本身。这种“我们发现了反直觉的结果，也说明了为什么这个结果可能不纯粹”的态度，贯穿了整篇报告。

第二个问题更有意思，叫表征对齐。

REPA即表征对齐（Representation Alignment），是一种训练技巧：让生成模型内部的特征向一个已经训练好的、擅长“理解图像”的视觉编码器（比如DINOv2）看齐。目的是让生成模型更快学会图像里有意义的结构，而不只是像素统计规律。

团队比了四种做法：用DINOv2做老师的标准REPA、改良版iREPA、换成更新的DINOv3做老师，以及完全不依赖外部老师、自己监督自己的Self-Flow。结果很清楚：标准REPA配DINOv2老师最强，几乎在所有指标上都领先或持平。换成理论上更先进的DINOv3，效果反而变差——“更新的模型”不等于“更合适的老师”。完全抛弃外部指导的Self-Flow明显落后，训练越久差距越小，但始终没追上来。

这个发现挺有意思。它提示一件事：生成模型想学好，光靠自己瞎琢磨不够，借一双“懂行”的眼睛来校准方向，效果立竿见影；但这双眼睛具体是谁家的产品，还真不是越新越好。

训练配方定下来之后，团队把规模扩到30亿参数，并设计了一套从256像素到512再到1024像素的渐进式训练课程，分辨率越来越高，图像也越来越逼真。

Iris-3B的架构值得多说两句。它把图像切成16×16的小方块，这个尺寸不是随便选的。

团队提到一个细节：如果用32×32这种更大的方块切分，哪怕看过的图片数量多四倍，最终训练效果反而更差。这其实很符合直觉——方块切得越大，模型能利用的局部细节就越粗糙，就像用更大的马赛克去拼一幅画，拼图数量翻倍，画面精细度也上不去。

模型主干部分，Iris-3B沿用了FLUX系列的混合架构：前段采用“双流”结构，文字与图像信息各走各的处理通道，到后段才合并为“单流”。其中有一处取舍值得一说，叫做共享偏置的adaLN。

adaLN即自适应层归一化（Adaptive Layer Normalization），扩散模型里常见的一种机制。它让网络每一层都能依据当前所处的时间步——也就是去噪走到哪一步——来动态调节自身的处理方式，好比给每层配了一个能随机应变的旋钮。

过去的做法是层层各有一套独立旋钮，Iris-3B则改成所有层共用一套主旋钮，每层只留一点微调空间。算下来，同等计算量下参数省了28%。打个比方，公司与其每个部门各配一套管理制度，不如全公司统一规则，各部门只保留少量因地制宜的权限。参数是省下了，灵活度却要打点折扣，好在实测表明这点折扣没伤到效果。

把图像从“模型内部表示”变回真正像素的，是名为PiT的像素级transformer头，出自此前的PixelDiT工作。它每个模块都对每个像素单独调制，再执行一次像素级运算。这套设计并非SperidLabs原创，但他们验证了它足以支撑30亿参数的规模。

训练数据上，团队把真实照片、AI合成的图像，以及专门用来强化文字渲染的带字图片混在一起用。整个训练分四个阶段推进，分辨率从256像素逐步升到1024像素，最后再加一轮针对性精调。

官方评测集上，Iris-3B的成绩相当拿得出手。考察图文匹配的GenEval基准得0.798分，DPG-Bench拿到86.52分，与Qwen-Image这类知名潜空间大模型持平，并明显压过FLUX.1-dev。可见像素空间预训练这条路走得通，并非实验室里的摆设。

把潜空间模型硬生生“掰”成像素模型

从零训练之外，团队还走了另一条路：拿一个已经训好的潜空间模型FLUX.2 Klein base（40亿参数），直接改造成像素空间模型。

这条路的好处一目了然——从头训大模型太烧钱，若能把他人的“半成品”稍加改造就用，省下的算力是天文数字。此前已有工作证明可行，据称转换后的模型能以很小代价接近原模型质量。

可真到动手时，SperidLabs团队发现事情没那么顺。

他们原样照搬已发表的转换方法，训练1000步后，模型输出的仍是一堆与输入文字毫无关系、带方块网格纹理的噪声图。要降到后来方案1000步就能达到的损失水平，原方案得多训十倍以上的步数。

症结在哪？团队一路排查，锁定到输入接口不兼容。

原潜空间模型的“大脑”主干，是在VAE压缩后的潜空间向量上训出来的；如今突然换成原始像素块输入，等于往这个大脑里塞了一门它从未见过的语言。团队测算，即使用最好的线性映射从像素块直接推算原潜空间向量，也只能解释14%的方差，剩下86%的信息对不上。

好比一个只懂中文的译者，突然被要求读法语原文，就算塞给他一本词典，也只能连蒙带猜拼出大意，细微语义大半流失。若连靠谱词典都不给、硬让他啃，产出自然就是实验里那堆语无伦次的乱码，也就是那些噪声图。

团队打了两个补丁。第一个是“增益匹配的岭回归初始化”：先做一次统计拟合，求出像素块到原模型潜空间向量的线性映射，但调节映射的“强度”，使噪声传递幅度与原潜空间通路一致，而非一味追求统计拟合精度。第二个补丁是调低主干学习率——FLUX主干权重数值偏小，同样大小的优化步伐对它造成的相对扰动远大于参照模型，因此学习率要按比例缩小，大约缩到十分之一。

两个补丁单独用，损失都能降一半左右，可生成的图依旧不成样子；两招齐上，1000步内噪声就变成了逼真、且与文字提示对得上的图片。这个结果颇能说明问题：看似独立的两处技术麻烦，其实是同一病根的两个症状，得一并治。

凭这套改良配方，团队把FLUX.2 Klein成功转成了两种不同像素头的版本，图像质量看着都不错，短文字也能正确渲染。不过团队也坦白了一处局限：转换后的模型没在GenEval、DPG这类标准基准上测过分数，因此无法准确判断它与原潜空间模型差多少。

真正的较量：深度估计和图像修复

铺垫到此，最关键的环节来了。团队手上有了三位“选手”：从零训练的像素模型Iris-3B、潜空间模型FLUX.2 Klein，以及转换版像素模型FLUX.2 Klein Pixel，让它们去做两件对细节要求极高的任务。

为什么挑这两个任务？

深度估计要求模型准确判断画面中每个物体离得多远，细小物体的边缘、薄片状结构，稍有错位就很扎眼。图像修复/超分辨率则要求把压缩、模糊的低质量图片还原出本该有的高频纹理，比如皮毛的毛发、织物的纹理。这两处恰恰是VAE压缩最易出问题的地方——8倍下采样的VAE，对高频细节损伤最重。像素空间生成模型若真在细节上占优，就该在这两个任务上显出来。

深度估计的做法是让模型只做一次前向推理、不走多步去噪，直接从RGB图片回归出深度图。三个模型用完全相同的训练配方、数据和步数（1万步）微调，再在五个标准测试集上打分：NYUv2、KITTI、ETH3D、ScanNet和DIODE。

结果：Iris-3B与潜空间版FLUX.2 Klein打成平手，五项指标平均下来几乎没差距，互有胜负。可转换版像素模型在几乎所有基准上都落在潜空间版本后面。

这个结果值得细看。它说明“像素空间”这个属性本身，并没有带来预期中的优势。转换版为什么落后？团队推测很可能不是像素空间这种表示方式的问题，而是模型底子薄：它只经过一轮短暂的转换训练，潜空间版本却是完整预训练出来的成熟模型，两者的“生成先验”强弱本来就不在一个量级，这场比较从一开始就不够公平。

更有意思的发现藏在细节里。团队专门去量化了一个叫“块状网格伪影”的现象。

像素空间生成模型普遍把图片切成互不重叠的小方块分别处理，相邻方块的边界就容易处理得不连贯，形成肉眼勉强可见的网格状纹理。团队专门设计了一个指标衡量这种网格的严重程度：算方块边界附近像素的曲率异常程度，再和方块内部区域的曲率做比值，数值越接近1说明网格越不明显。

结果显示，潜空间模型的这个比值接近1，基本没有网格问题，因为VAE的解码器有重叠感受野，天然会在方块之间做平滑过渡。两个像素空间模型都出现了明显网格，Iris-3B的网格问题甚至比转换版还严重，在某些基准上比值高达2.25，意味着边界附近的曲率异常是正常区域的两倍多。

这其实是像素空间路线自身的一个结构性代价。你换来了处理原始图像不丢细节的能力，同时也引入了“拼接感”这个新问题，两者某种程度上是硬币的两面。

图像修复这一块的实验设计相对更干净。FLUX.2 Klein的潜空间版和转换版吃的是同一份数据，损失函数、训练计划也完全一样，全文只有这一组算得上真正严格的对照。可结果并不站在像素这边——转换版像素模型在多数指标上落了下风，SSIM（结构相似性）和NIQE（无参考图像质量指标）这两项差得尤其明显。

Iris-3B同样跑了修复任务，问题是它的训练配方、数据规模、训练步数跟另外两个模型都对不上，这组比较先天就不可比。就算这样，Iris-3B在保真度类指标上还是稍弱于两个FLUX.2 Klein版本；不过换成MUSIQ这个无参考美学质量指标，它反倒拿下所有参测方法里的最高分。再放到HYPIR、OSEDiff等公开修复方法中间看，三个自家模型整体排在中等偏上，说不上碾压，但也不难看。

一个没有被验证的假设，和它留下的问题

整篇报告读到最后，最打动人的不是任何一个正面结果，而是团队处理负面结果的态度。

对于“像素空间没带来预期优势”这个结论，他们没藏着，也没硬拗成“其实多少还是有点用”。相反，报告用大量篇幅把其中没解决的混杂因素一条条摊开：Iris-3B缺少一个配方、数据、算力完全相同的潜空间“双胞胎”，它跟FLUX.2 Klein的对比里因此混着模型规模、预训练数据等一堆变量；转换版模型训练时间太短，潜能力可能压根没完全转移过去；每个实验只跑了一次，显著性检验没做；修复任务里Iris-3B的配方跟另外两个模型也对不齐。

这种“诚实地把问题摊开来说”的做法，在当下这个追求“更强更快更惊艳”的生成式AI圈子里，其实挺少见的。

下一步想做什么，团队也列了出来。一是想办法消掉那个块状网格伪影——同期工作PixelUMM已经证明，带重叠感受野的卷积式输出头能明显缓解这个问题；二是把这套像素空间思路搬去图像编辑任务，因为编辑任务要求模型把图片里没改动的地方原样保住，而这正是VAE最容易出岔子的地方。要是VAE真在哪儿拖后腿，编辑任务应该比深度估计和修复都更容易把它抖出来。

写在后面

这篇报告最让我意外的地方，其实不是任何一个具体的技术细节，而是它选择发表“没有找到预期优势”这件事本身。

眼下不少论文的玩法是先把一个讨喜的结论定好，再倒回去凑能撑住它的实验设置。SperidLabs这份报告走的是反方向：带着一个看上去挺合理的假设开工，实验认真做完，发现假设不成立，然后把过程和负面结果一并公开，连自己实验设计里的漏洞都主动摆出来。这种做研究的态度，比论文本身的技术贡献更该被记住。

还有一个细节让我反复琢磨，就是那个块状网格伪影。做深度估计的人常年只盯AbsRel、δ1这类宏观精度指标，很少有人会专门去量化“网格感”这种似乎上不了台面的视觉瑕疵。可偏偏是这种容易被放过的细节，把像素空间路线的真实代价亮了出来：VAE压缩丢细节的问题看似解决了，方块拼接不连贯的新毛病却冒了出来，细节并没有真的变完整，只是换了个方式残缺。

像素空间生成要想在下游任务上真正证明价值，较劲的地方恐怕不是深度估计和图像修复这种“模型已经擅长”的领域，而是图像编辑——那里对保真度要求最苛刻，VAE压缩造成的损伤也最致命，高下才分得出来。这个问题，SperidLabs团队自己也承认还没有答案。

Q&A

Q1：Iris-3B是什么？

A：Iris-3B是SperidLabs团队从零训练的30亿参数像素空间文生图模型，不经过VAE压缩，直接在原始像素上做生成，在GenEval和DPG-Bench等官方评测上能与Qwen-Image等主流潜空间模型打平。

Q2：像素空间生成模型真的比潜空间模型更擅长处理细节任务吗？

A：按这份报告的实验，答案是没有明显优势。深度估计任务上，Iris-3B跟潜空间版FLUX.2 Klein打成平手，转换版像素模型则落在后面；图像修复任务上，转换版像素模型同样稍逊于潜空间版本。

Q3：把潜空间模型转换成像素空间模型容易吗？

A：没想象中那么容易。直接把VAE换掉，模型会吐出一堆噪声，根子在输入接口不兼容。团队靠两招才解决——用增益匹配的岭回归做初始化，再调整主干学习率，模型这才在1000步内学会生成清晰图像。