MixTok让AI学会选择性看图：浙大等团队提出混合token方案

一张图片里承载的信息，分布其实很不均匀，这一点你想过没有？

天空往往是一大片蓝，草地往往是一大片绿，可画面中央那只猫的胡须、瞳孔里的反光、毛发的纹路，才是真正费脑子的部分。人看照片时也在做类似的选择性关注：天空扫一眼就带过，脸部细节会多停留两眼。

可轮到AI处理图片，多数系统还没掌握这种“偷懒的智慧”。

浙江大学、香港科技大学和阿德莱德大学的研究团队提出的MixTok，瞄准的正是这个问题。标题看着挺技术化，内里装的想法却很朴素：能不能让AI也学会该细看的地方细看、该跳过的地方跳过。

图像编码器面临的两难

要弄清MixTok在解决什么，先得知道AI是怎么“看懂”图片的。

视觉Tokenizer*：它是个编码器，负责把一张图压成一组数字，这组数字就是token，中文叫“令牌”或“词元”。压出来的数字有两个用途：还原原图，或者喂给后面的AI生成模型当输入。

这几年，主流的视觉Tokenizer大致分成两派。

一派是2D网格式：图片被切成一个个小方格，比如16×16的网格，每个方格对应一个token。好处在于每个token都知道自己处在图片的哪个位置，局部细节保留得相当好。问题是对每个方格一视同仁——天空的方格和猫眼睛的方格，分到的“笔墨”一样多。好比写作文，开场白和高潮部分每段都严格限在100字，该展开的地方展不开，该一笔带过的地方又啰嗦。

另一派是1D序列式，代表作是TiTok。它不按空间网格分配token，而是用一小串（比如32个）全局token去“概括”整张图片。极致压缩是它的长处：32个token就能代表一张256×256的图片，比2D网格的256个token省了8倍。代价也很明显——这32个token里，每一个都不再对应图片的某个具体位置，它们是对全局信息的抽象总结。

打个比方，这等于让你拿一句话概括整部电影。你或许能说出“这是一部讲爱与牺牲的科幻片”，但某个演员眼角那颗泪痣，这种细到像素级别的信息，一句话根本塞不进去。

论文里给了一组关键数据对比：在ImageNet数据集上，TiTok S-128用128个token重建图片时，rFID（reconstruction FID，一种衡量重建图片和原图差距的指标，数值越低说明重建得越好）是1.7222；而专门做2D局部细节优化的DetailFlow-16，同样用128个token，rFID能做到1.1370。

rFID*：全称Reconstruction Fréchet Inception Distance，用来衡量AI重建出来的图片和原始真实图片在统计分布上的差距，数值越小代表重建质量越高

这个差距说明，1D压缩确实省token，但细节上是吃亏的。那能不能两者兼得？

MixTok的出发点就在这里：用一小撮1D token打好全局的底子，再用省着花的2D token去补那些真正需要补的细节。

哪里需要补、补多少，由谁来决定

MixTok的核心设计可以拆成两层问题来看。

第一层解决的是“该补哪儿”。论文为此做了个叫Grid Scorer（网格打分器）的小模块，它的任务是给图片划出的16×16网格逐一判断：每个格子有没有必要动用2D token去细致刻画。

Grid Scorer*：一个体量不大的卷积神经网络。它接收两路输入——1D重建出来的粗糙结果，以及2D编码器抓到的精细特征——然后给出每个空间位置的“优先级分数”。分数越高，说明该位置越需要2D细化。

它是怎么学会打分的？论文给出的监督信号很巧妙：先用纯1D token重建一次图片，再用完整的2D token重建一次图片，比较这两次重建在每个局部区域的误差差距。如果某个区域用2D token重建明显比用1D token重建更准确，这个区域就该拿高分。换句话说，打分器学的不是“这里复杂不复杂”，而是“这里补上细节之后，提升到底大不大”。

这个思路挺接地气。换个场景想：你是编辑，手里一篇稿子要压缩，你判断的依据不会是“这段话用词难不难”，而是“删了它读者还能不能看懂”。信息密度高，不代表就该留着；关键是拿掉之后损失有多大。Grid Scorer要是只看视觉复杂度打分，比如纹理多不多，那很可能把一些看着花哨、对整体重建却没多少用处的区域也标成高优先级，token预算就白白花掉了，本该用在最要紧的地方。

第二层问题是“补多少”。论文在这里引入了一个叫Budget Controller（预算控制器）的机制，用的是自然语言处理里常见的top-p采样思路。

Budget Controller*：根据Grid Scorer给出的分数分布，动态决定每张图片具体要用多少个2D token进行细化，而不是给所有图片固定同样数量

具体操作是：给所有候选位置的分数做一次softmax归一化，再按分数从高到低把概率累加起来，累加到事先设定的阈值p就停，比如p取0.91，此时前面选中的位置就是需要细化的区域。换句话说，一张图的信息如果高度集中在少数几块，比如背景干净、主体突出的照片，那用到的2D token就少；反过来，整张图到处是细节，比如密密麻麻的纹理图案，要的2D token就多。

放到编辑部里，这个道理同样成立：有些稿子只需改一两处，有些则几乎每段都要返工。要是不管稿子实际情况，硬性规定“每篇稿子最多改10处”，问题集中的稿子就白费力气，问题零散的稿子又改不彻底。**预算该随内容走，而不是让内容去迁就固定预算——自适应真正的意义就在这里**。

消融实验把这点验证得很干脆。每张图固定用96个2D token时，rFID为1.2052；改用top-p动态分配、平均下来同样约96个token，rFID降到1.1950。更有说服力的是打乱实验：将top-p算出的预算数字随机打乱后分给不同图片，平均预算和分布都没变，只是预算与图片内容对不上了，rFID反而恶化到1.2236。可见真正起作用的不在"预算数字分布得合不合理"，而在"预算有没有对准图片真正需要的地方"。

**两种token怎么缝合**

光解决"哪里补、补多少"还不够。1D token和2D token是两套完全不同的表示方式，MixTok还得回答一个工程问题：怎么把它们拼到一块儿喂给解码器？

论文先让那串1D全局token过一个叫"空间扩展"（spatial expansion）的模块，重新映射回16×16的空间网格，形成一张"底图"。这张底图每个位置都有值，但值都是从同一组全局token里"摊"出来的，细节偏模糊。

接着，Grid Scorer和Budget Controller挑中的高优先级位置，直接用2D编码器提取的精细特征把底图上对应位置的值替换掉。论文的公式写得很直白：选中的位置用2D特征，没选中的位置保留1D衍生出的底图特征。

这有点像修图软件里的"局部修复"。一张照片整体曝光正常，但某几个区域发虚，不必整张重拍，把那几块用高清素材"贴"上去即可。合成后的整张图交给一个共享解码器统一处理，生成最终的重建图像。

共享解码器*：这是一个统一的神经网络模块。它接收的完整网格里混合了1D底图特征和2D精细特征，最终输出重建好的图片；至于哪部分特征来自哪个分支，它无需分辨

这里有个细节值得琢磨：为什么用共享解码器，而不是分别训练两个解码器再拼接结果？真那么做，1D生成的部分和2D生成的部分很可能在风格、色调、噪声水平上出现割裂，像拼接照片里能看出明显接缝。共享解码器在训练中会学会"消化"这种混合输入，让两部分特征在同一个解码空间里协调一致，最终输出看起来浑然一体。

**图像生成同样分两步**

MixTok不只能做图像重建，也能用于图像生成，也就是从无到有，按一个类别标签（比如"柯基犬"）生成一张全新的图片。

论文在这里采用了MaskGIT的生成范式。

MaskGIT*：这是一种并行化的图像生成方法。传统自回归模型是一个token接一个token按顺序生成，它不这么干，而是分多轮“遮盖—预测—揭晓”，并行生成多个token，速度更快

MixTok把生成过程拆成两个阶段。第一阶段先用一个预训练好的1D MaskGIT生成32个全局token，搭出图片的大致轮廓。第二阶段根据这个轮廓，由一个叫Generation Grid Scorer（生成阶段打分器）的模块判断哪些位置需要细化，再用专门微调过的2D生成器（基于Halton-MaskGIT）补全这些位置的细节token。

这里有个很现实的技术难题。重建阶段，Grid Scorer能同时看到1D特征和2D特征来打分，因为原图已知，2D特征可以直接从原图提取。生成阶段却根本不存在2D的真实特征——你是在凭空生成一张新图，哪来的"真实2D特征"可参考？

论文给出的办法是“蒸馏”：训练一个新的打分器，让它仅凭1D生成的底图特征，就能给出与原来那个“开挂”版打分器（能看见2D真实特征）差不多的判断结果。

知识蒸馏*：这是一种训练技巧。信息更少的“学生模型”去模仿信息更多的“教师模型”的输出，这样即使缺少某些输入，也能做出接近的判断

好比一位经验丰富的老中医，看舌苔、把脉，能拿到的信息有限，也摸不到患者体内具体的病灶影像，却大致能判断病因在哪、该重点关注哪个部位。Generation Grid Scorer要练的，正是这种“管中窥豹”的本事。

实验数据也证实这套蒸馏方案有效：Generation Grid Scorer（只用1D特征）达到的rFID是1.3479，虽然比不上能直接看到2D真实特征的Reconstruction Grid Scorer（1.1950），但明显超过了随机选择（1.5460）、均匀分布选择（1.6604）和基于梯度熵的传统启发式方法（1.4012）。信息打了折扣，学出来的判断力依然管用。

**数字说话：效果到底怎么样**

设计思路说了这么多，最终还得看实打实的数据。

在ImageNet 256×256这个标准测试集上，MixTok用平均约128个token做重建，rFID达到1.1950，PSNR（峰值信噪比，另一个衡量图像质量的指标，越高越好）为19.51dB。

PSNR*：Peak Signal-to-Noise Ratio，峰值信噪比，常用来衡量重建图像和原图之间像素级的差异程度，数值越高说明重建图像和原图越接近

把成绩放进对比表里更直观：同样128个token，TiTok S-128的rFID为1.7222，TiTok BL-128 VQ为1.5063，One-D-Piece L-256为1.4406，MixTok把这几个都压了下去。跟专攻细节的FlexTok（1.1422）和DetailFlow-16（1.1370）比，MixTok没拿到最低分，差距却不大；再算上它同时兼顾压缩效率与跨模型迁移能力，这个分数已经很有竞争力。生成任务的数据更能说明问题：平均约131个token、8+8轮采样，MixTok的gFID（衡量生成图片质量的指标）为1.9511；TiTok-S-128的gFID是2.00，却要128个token加64轮采样，采样轮数差出一大截。单张图片生成延迟上，MixTok为270.1毫秒，TiTok-S-128要1018.4毫秒，前者快了3.77倍。

gFID*：Generation Fréchet Inception Distance，用来评估AI生成图片的整体质量与多样性，数值越低越好。

另一组对照实验能直接看出2D细化的分量：只靠1D生成的底图、不做任何2D细化，重建图片的gFID高达4.3346；补上2D细化后，gFID降到1.9511。多花8轮采样做局部补充，换来的画质提升是跨越式的。

论文还做了一次“移植实验”，把MixTok的思路搬到另一组完全不同的tokenizer组合上——ALIT（1D）配VQGAN（2D）。同样128个token的预算，原始ALIT-128的rFID是2.9453，加入MixTok机制后，MixTok-ALIT降到2.4720。这套“1D打底、2D精修”的路子不只对TiTok和LlamaGen这一对组合有效，换一套骨架照样能复现，通用性不错。

**这个设计解决了什么真正的矛盾**

回到开头那个问题：为什么要这么折腾，直接用2D网格或者直接用1D序列不行吗？

答案指向一个根本矛盾：**压缩率和保真度天然对立，而图片内容的复杂度分布并不均匀**。所有图片都用固定token数处理，不管预算高低，都会出现“该省的地方没省，该花的地方没花够”。

不做内容自适应会怎样？论文的消融实验给了答案：固定预算的rFID是1.2052，不如动态预算的1.1950；打乱预算分配的rFID是1.2236，比正确分配差了近0.03。数字看着差距不大，可图像重建是精细活，每一点提升都对应更少的伪影、更清晰的边缘、更真实的纹理。

MixTok并没有另起一套编码范式，它做的事更接近在“全局压缩”和“局部保真”两条现成技术路线之间架一座桥，资源可以按需调配。这个思路本身，比具体的网络结构设计更值得记住。

**后续的技术延伸**

论文发表于2026年，而它所处的这条技术脉络上，已经有不少后续动作可以追溯。

比如同样盯着“1D token丢失局部细节”的SelfBootTok，走的是让模型自己学习从全局token预测局部细节的路子，想用自监督方式补上信息损失。论文也承认，当图片的局部内容确实无法从全局信息推断出来时，这种预测会撞上瓶颈——这反过来正好说明，MixTok选择“直接保留部分真实2D信息”而不是“预测局部细节”，是有道理的。

另一条延伸是DQ-VAE和GPSToken这类工作，它们关心“token的空间分布该怎么自适应”，比如用参数化的2D高斯分布表示图片区域，让token的位置和覆盖范围自己贴合图像内容。问题在于，这类方法往往没同时解决“每张图片整体该用多少token”。MixTok想把“空间上哪里要精细”和“整张图片层面该给多少预算”放进同一个框架联动解决，这是它和这条支线最大的不同。

Q&A

Q1：MixTok是什么？

A：MixTok是浙江大学等机构提出的视觉编码方法，把压缩的1D全局token与稀疏的2D局部token结合，靠内容自适应的打分和预算分配机制，在token数量较少的前提下提升图像重建和生成的细节质量。

Q2：MixTok和传统的1D或2D图像编码器相比有什么优势？

A：在ImageNet上用约128个token时，MixTok的rFID为1.1950，优于同等token数的TiTok、One-D-Piece等1D方法；生成任务上gFID为1.95，好于TiTok-S-128，采样速度快3.77倍，而且每张图片用多少token会随内容复杂度自动调整。

Q3：MixTok是怎么决定给每张图片分配多少个2D细化token的？

A：MixTok用Grid Scorer模块给图片每个区域打“是否需要细化”的分数，再由top-p的预算控制机制决定取舍——累加概率超过设定阈值就停止选择。信息集中的简单图片分到的token少，细节复杂的图片会自动拿到更多token。