Intern Lumina U2:一个既能看图说话又能画图生图的AI,是怎么把“理解”和“生成”塞进同一套语言里的
先说一件挺反直觉的事。现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Inter...
先说一件挺反直觉的事。
现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Intern
Lumina U2,想解决的就是这个分裂问题:能不能让AI用同一套"大脑语言"去理解世界,也用这套语言去创造世界。
这事听起来简单,做起来却是过去几年这个领域一直没彻底解决的难题。
**
架构共享不等于真正的统一,因为理解任务和生成任务背后,可能还是两套完全不同的表示方式和训练目标,谁也不服谁。
核心问题:图片要怎么"翻译"成AI能懂的语言
要理解这篇论文在解决什么问题,得先搞懂一件事:AI处理图片,不是直接看像素的,得先把图片"翻译"成一串数字代码,这个翻译过程叫做"
离散化的视觉分词器
现有的翻译方案基本分三条路。第一条路是
现有的离散方案能撑到什么程度?论文里提到,像
多码本设计:一个格子,八个数字一起上
Intern Lumina U2的解法是:既然一个数字不够描述一个格子,那就用八个数字一起描述。
多码本视觉分词(Multi-codebook tokenization)
这个设计用的是
这里有个生活化的类比,想象你要形容一个人,如果只能用一个词,你可能只会说"高"或者"瘦",信息量很有限。但如果允许你同时用八个维度去描述,比如身高、体型、发色、肤色、穿着风格、表情、姿态、气质,那这个人的画像就立体多了。如果不这样做,只用一个维度去形容每个人,结果就是很多本来长得完全不一样的人,在你的描述里变成了一样的"高个子",细节全部丢失了。这正是单码本方案的困境,论文里提到的"压缩的视觉信息不足以支撑精细重建"说的就是这个道理。
那么问题来了,八个数字要怎么塞进AI的大脑里,又要怎么从大脑里预测出来?这就是论文花了大篇幅讨论的输入输出接口设计。
输入端:每个码本都有自己的"专属词典"
论文比较了三种输入设计方案。第一种是让文字和视觉代码共用一个大词典,第二种是视觉代码单独用一个词典但靠索引偏移区分不同码本,第三种,也是论文最终采用的方案,是给每个码本都配一个独立的嵌入表。
嵌入表(Embedding table)
独立嵌入表的好处是什么?每个码本有自己的专属词典,不需要跟文字词典共享空间,也不需要给8个码本的编号加偏移量来区分彼此。8个码本各自算出一个向量后,拼接在一起,再通过一个线性投影压缩成一个backbone token,塞进模型主干里。
这个设计在论文的消融实验里被验证得很扎实。实验对比了三种方案的"下一个代码预测准确率",结果显示独立嵌入表方案(论文里叫D3)比共享大词典方案(D1)和偏移共享方案(D2)都高出十个标准误差以上,而且越往后的码本,差距越明显。更关键的是,D1方案的分类器显存占用是D3的2.35倍,训练收敛还更慢。换句话说,独立嵌入表不仅效果好,还更省资源,这是双赢。
输出端:预测八个代码不能瞎猜,得按顺序来
光是输入搞定了还不够,输出端的设计更关键。八个码本的代码之间不是互相独立的,它们共同描述同一个视觉位置,彼此之间存在依赖关系。
比如说,第一个码本的代码可能大致决定了这个位置是"天空"还是"建筑",后面的码本可能在这个大类基础上继续细化颜色、纹理、光影。如果把这八个代码当成完全独立的八件事去预测,相当于八个人各自闭着眼睛填同一张拼图,互相不知道对方填了什么,拼出来的图大概率是乱的。
多码本自回归头(Multi-codebook AR head)
这个自回归头的工作方式是,先用主干网络算出这个位置的隐藏状态,然后把这个状态作为起点,像击鼓传花一样,预测第一个代码,再把第一个代码的结果喂回去预测第二个,以此类推,直到八个代码全部预测完。整个过程主干网络的"扩散"是并行处理所有空间位置的,但在每个位置内部,八个代码是严格按顺序一个接一个生成的。
论文给出了严谨的数学论证:如果用理想的条件模型,考虑代码间依赖关系的自回归预测,交叉熵损失永远不会比假设代码独立的并行预测更高,只有在代码真正互相独立的极端情况下两者才相等。这不是拍脑袋的设计,是有理论保证的。
实验数据也验证了这个判断。在对比三种输出头设计的实验里,独立并行头在
再换个角度想这件事。如果你让八个画师同时给同一张画上色,但互相看不到对方在画什么,那这张画很可能色块之间完全不协调。而如果让这八个画师排队上色,后面的人能看到前面已经画好的部分,再决定自己怎么画,整体效果显然会协调得多。多码本自回归头做的就是后者,让后面的代码预测能"看到"前面代码已经敲定的结果。
一个模型,同时装下图片、视频、3D资产
这篇论文另一个值得说的地方是,它不止处理图片,还把视频理解和3D资产理解也统一了进来。
这背后靠的是AToken这个分词器本身的能力,它能把图片、视频、3D资产都编码进同一个
论文作者特意强调了一个细节,他们保留了主干网络原生的一维旋转位置编码(
模型主干:站在巨人肩膀上
这套系统的主干网络不是从零训练的,而是基于
掩码扩散(Masked diffusion)
Intern Lumina U2在这个主干基础上只做了两处改动:加上0.65B参数的视觉输入输出接口,以及把原来只针对文字设计的分块注意力掩码,替换成能同时处理文字条件、视觉条件、文字答案、视觉答案四种角色的"
这里有个值得琢磨的设计哲学。文字天生是有顺序的,一句话从头读到尾才有意义;但图片不一样,一幅画里天空和地面哪个"先画"根本无所谓,每个区域都同时依赖周围的局部信息和全局的整体结构。所以论文选择让文字按块顺序生成,图片全图并行迭代优化,这不是技术上的妥协,而是对两种模态本质差异的尊重。
如果反过来,强行让图片也按照从左上到右下的顺序一格一格生成,会发生什么?画面右下角的内容在生成时完全看不到还没画出来的左边内容,这就像让一个画家蒙着眼睛,只能凭记忆从左往右补完整幅画,画面的全局协调性会大打折扣。这也是为什么很多纯自回归的图片生成模型,画面经常出现局部合理但整体违和的问题。
训练怎么喂数据:五个阶段,层层加码
训练这个模型不是一步到位的,论文设计了
第一阶段是视觉语言对齐,在256×256分辨率下,用文字、图片说明、文生图数据混合训练,目的是让随机初始化的视觉模块和预训练好的语言主干对上话。第二阶段把分辨率提到512×512,加入OCR、文档理解、图表理解这些更考验细节的任务。第三阶段把分辨率提到1024×1024,但这一步刻意不引入新模态,只是单纯让模型适应更高分辨率,论文里提到一个经验教训:如果同时提升分辨率又扩展模态覆盖,会导致已有能力严重退化。第四阶段才正式引入图片编辑、视频理解、3D理解这些新任务。第五阶段是指令微调,用精心筛选的高质量数据,让模型学会按照用户指令干活。
这种"先稳住一个变量,再加另一个变量"的训练节奏,其实是个很朴素但很容易被忽视的工程智慧。就像学做菜,你不会同时第一次尝试新菜谱、又第一次用新炉灶、还第一次招待挑剔的客人,这三件事叠在一起出错概率会飙升。论文作者显然是吃过亏才总结出这条经验,值得被记一笔。
值得一提的是,这套训练在1024块
推理加速:图片生成速度提升4.45倍
训练好的模型跑起来也有讲究。图片生成的扩散采样过程本身就很耗算力,论文提出了一套叫做"平台光顿采样配合V校验"(Plateau-Halton sampling with V-verify,简称PHV)的加速策略。
这套策略解决的问题挺有意思。论文发现,视觉token的置信度和文字token完全不是一个量级的。在96步精修过程中,视觉置信度的中位数只从0.046涨到0.127,哪怕是90百分位数也始终低于0.32,而文字生成常用的置信度阈值大约在0.9左右。如果照搬文字那套"置信度超过某个固定阈值就提前敲定"的策略,视觉token永远也达不到那个门槛,加速策略根本用不上。
这就好比你习惯了用温度计量体温,正常体温在36到37度之间,发烧的判断标准是超过37.3度。但现在要测量的东西,它的"体温"从来不会超过3度,你还硬要套用37.3度的发烧标准,结果就是永远测不出"发烧",温度计完全失效。论文的解决办法是,不看绝对数值高低,而是看这个数值"变化趋不趋于稳定",也就是看置信度是否进入了一个平台期,哪怕这个平台期的绝对值很低。
具体做法是给每个位置维护一个
为了验证这个"平台期"判断到底靠不靠谱,论文还做了一个很扎实的离线验证实验。他们给每个被判定为"平台期"的位置找一个"对照位置",这个对照位置置信度水平差不多,但没有被判定为平台期,然后让两者都继续被遮住几步,看谁的预测结果变化更小。结果在200个测试样本中,被判定为平台期的位置有157个表现得比对照位置更稳定,平均的预测翻转率差异从保持2步时的-0.012,扩大到保持8步时的-0.048。这个数据说明平台期判断确实抓住了某种"这个位置已经想明白了"的信号,不是瞎蒙的。
最终效果是什么?在1024×1024的文生图任务上,单纯叠加缓存复用、
效果验证:各项基准测试里的表现
说了这么多设计,效果到底怎么样?论文在图片理解、视频理解、3D理解、文生图、图片编辑等多个方向做了详尽评测。
在图片理解和推理方面,这个模型只用了14亿激活参数,却在十个基准测试里的六个拿到了第一(和BAGEL在
视频理解方面,这个模型在Video-MME、MLVU、MVBench三个基准上全部拿到第一,超过了专门做视频理解的LLaDA-V和VideoLLaMA2。3D理解方面,在MM-Vet基准上超过了专门的3D模型ShapeLLM和PointLLM。论文特别指出,目前几乎没有其他统一模型能在同一个模型里同时支持视频和3D理解加上图片生成,这个全模态覆盖本身就是一个独特之处。
文生图方面,在GenEval、DPG-Bench、UniGenBench、TIIF-Bench这些基准上,Intern Lumina U2在统一模型里基本都拿到最好成绩,甚至超过了专门做图片生成的FLUX.1模型,接近激活参数量是自己14倍的Qwen-Image。在UniGenBench上,优势最明显的维度是逻辑推理和语法,这两个维度恰恰是最考验"理解能力如何反哺生成能力"的地方,统一表示空间的好处在这里体现得很直接。
科学图表生成这个方向也值得一提。在GenExam物理学科子集和VeriphyT2IBench这两个专门检验科学图表"物理正确性"的基准上,Intern Lumina U2作为一个通用模型,表现超过了同为通用模型的SenseNova-U1和BAGEL,在局部属性准确率上甚至超过了专门针对物理图表做了结构化监督训练的Princigram-DiMOO变体。这说明多码本表示带来的细节能力,确实能延伸到科学图示这种对精确性要求极高的场景。
局限与未来方向
论文也诚实地列出了几个局限。多码本自回归头虽然效果好,但确实带来了额外的解码开销,高分辨率生成时视觉序列会变得很长。另外目前这套系统只覆盖了图片生成和编辑,视频生成和3D生成还没有纳入进来。作者表示未来计划把生成能力扩展到视频和3D资产,探索更紧密的多模态生成交织方式,还打算尝试强化学习后训练和扩大主干规模。
写在后面
读完这篇论文,最触动我的不是某个具体的分数提升了几个百分点,而是论文反复强调的一句话:离散masked diffusion提供了一个让所有任务共享同一个目标函数的自然基础。
这句话背后其实藏着一个更大的问题:我们现在训练AI的方式,是不是总在给不同的能力分别开小灶?理解用一个损失函数,生成用另一个,图片用一套接口,视频用另一套接口。这种"分而治之"看似稳妥,但论文用实验数据告诉我们,当你真正把它们塞进同一个优化空间,用同一套规则去训练,反而能在理解任务上取得更好的效果,尤其是那些需要精细视觉细节的任务。这不是巧合,这说明理解和生成之间本来就该是互相滋养的,分开训练反而是在浪费这种潜在的协同效应。
还有一个细节让我印象很深,就是论文在消融实验里那组关于"是否建模代码间依赖关系"的对比。14分的差距,发生在计数、位置、属性绑定这些任务上,这其实揭示了一个很朴素的道理:当你把一个复杂的描述拆成多个部分去处理时,如果这些部分之间的关联被忽略了,最终拼出来的东西大概率是七零八落的。这让我联想到团队协作里常见的问题,如果一个项目被拆成几个互不通气的模块分别去做,哪怕每个模块单独看都没问题,组合起来经常出现莫名其妙的冲突,道理是相通的。
这篇论文留下的一个开放问题是,当生成能力真的扩展到视频和3D之后,这套多码本离散表示的计算开销能不能控制住。毕竟视频天然就是长序列,再叠加每个位置8个代码的自回归预测,推理成本会不会成为新的瓶颈,这值得继续追问。
Q&A
Q1:Intern Lumina U2是什么?
A:Intern Lumina U2是上海人工智能实验室等机构推出的一个统一多模态扩散语言模型,它首次用完全离散的多码本视觉表示,把图片、视频、3D资产的理解和图片生成、编辑统一在同一个模型里训练。
Q2:多码本视觉分词和单码本有什么区别?
A:单码本每个视觉位置只用一个数字编号表示,信息量有限;多码本用8个相互独立的编号组合表示同一个位置,相当于从多个维度同时描述这个位置,表达能力大大增强。
Q3:Intern Lumina U2的图片生成速度是怎么提升4.45倍的?
A:论文提出了一种叫PHV的采样策略,通过判断每个视觉位置的置信度是否进入稳定平台期来提前敲定结果,配合缓存复用等系统优化,在不降低生成质量的前提下把延迟从159.9秒降到35.9秒。