Intern Lumina U2:一个既能看图说话又能画图生图的AI,是怎么把“理解”和“生成”塞进同一套语言里的

资讯 腾讯网 作者:科技行者 全文 5686 字 · 约 15 分钟读完 配图 1 张 分类图像生成学术研究

先说一件挺反直觉的事。现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Inter...

所属频道 视频图像生成前沿研究

先说一件挺反直觉的事。

现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Intern Lumina U2,想解决的就是这个分裂问题:能不能让AI用同一套"大脑语言"去理解世界,也用这套语言去创造世界。

这事听起来简单,做起来却是过去几年这个领域一直没彻底解决的难题。

**

架构共享不等于真正的统一,因为理解任务和生成任务背后,可能还是两套完全不同的表示方式和训练目标,谁也不服谁。

核心问题:图片要怎么"翻译"成AI能懂的语言

要理解这篇论文在解决什么问题,得先搞懂一件事:AI处理图片,不是直接看像素的,得先把图片"翻译"成一串数字代码,这个翻译过程叫做"

离散化的视觉分词器

现有的翻译方案基本分三条路。第一条路是

现有的离散方案能撑到什么程度?论文里提到,像

多码本设计:一个格子,八个数字一起上

Intern Lumina U2的解法是:既然一个数字不够描述一个格子,那就用八个数字一起描述。

多码本视觉分词(Multi-codebook tokenization)

这个设计用的是

这里有个生活化的类比,想象你要形容一个人,如果只能用一个词,你可能只会说"高"或者"瘦",信息量很有限。但如果允许你同时用八个维度去描述,比如身高、体型、发色、肤色、穿着风格、表情、姿态、气质,那这个人的画像就立体多了。如果不这样做,只用一个维度去形容每个人,结果就是很多本来长得完全不一样的人,在你的描述里变成了一样的"高个子",细节全部丢失了。这正是单码本方案的困境,论文里提到的"压缩的视觉信息不足以支撑精细重建"说的就是这个道理。

那么问题来了,八个数字要怎么塞进AI的大脑里,又要怎么从大脑里预测出来?这就是论文花了大篇幅讨论的输入输出接口设计。

输入端:每个码本都有自己的"专属词典"

论文比较了三种输入设计方案。第一种是让文字和视觉代码共用一个大词典,第二种是视觉代码单独用一个词典但靠索引偏移区分不同码本,第三种,也是论文最终采用的方案,是给每个码本都配一个独立的嵌入表。

嵌入表(Embedding table)

独立嵌入表的好处是什么?每个码本有自己的专属词典,不需要跟文字词典共享空间,也不需要给8个码本的编号加偏移量来区分彼此。8个码本各自算出一个向量后,拼接在一起,再通过一个线性投影压缩成一个backbone token,塞进模型主干里。

这个设计在论文的消融实验里被验证得很扎实。实验对比了三种方案的"下一个代码预测准确率",结果显示独立嵌入表方案(论文里叫D3)比共享大词典方案(D1)和偏移共享方案(D2)都高出十个标准误差以上,而且越往后的码本,差距越明显。更关键的是,D1方案的分类器显存占用是D3的2.35倍,训练收敛还更慢。换句话说,独立嵌入表不仅效果好,还更省资源,这是双赢。

输出端:预测八个代码不能瞎猜,得按顺序来

光是输入搞定了还不够,输出端的设计更关键。八个码本的代码之间不是互相独立的,它们共同描述同一个视觉位置,彼此之间存在依赖关系。

比如说,第一个码本的代码可能大致决定了这个位置是"天空"还是"建筑",后面的码本可能在这个大类基础上继续细化颜色、纹理、光影。如果把这八个代码当成完全独立的八件事去预测,相当于八个人各自闭着眼睛填同一张拼图,互相不知道对方填了什么,拼出来的图大概率是乱的。

多码本自回归头(Multi-codebook AR head)

这个自回归头的工作方式是,先用主干网络算出这个位置的隐藏状态,然后把这个状态作为起点,像击鼓传花一样,预测第一个代码,再把第一个代码的结果喂回去预测第二个,以此类推,直到八个代码全部预测完。整个过程主干网络的"扩散"是并行处理所有空间位置的,但在每个位置内部,八个代码是严格按顺序一个接一个生成的。

论文给出了严谨的数学论证:如果用理想的条件模型,考虑代码间依赖关系的自回归预测,交叉熵损失永远不会比假设代码独立的并行预测更高,只有在代码真正互相独立的极端情况下两者才相等。这不是拍脑袋的设计,是有理论保证的。

实验数据也验证了这个判断。在对比三种输出头设计的实验里,独立并行头在

再换个角度想这件事。如果你让八个画师同时给同一张画上色,但互相看不到对方在画什么,那这张画很可能色块之间完全不协调。而如果让这八个画师排队上色,后面的人能看到前面已经画好的部分,再决定自己怎么画,整体效果显然会协调得多。多码本自回归头做的就是后者,让后面的代码预测能"看到"前面代码已经敲定的结果。

一个模型,同时装下图片、视频、3D资产

这篇论文另一个值得说的地方是,它不止处理图片,还把视频理解和3D资产理解也统一了进来。

这背后靠的是AToken这个分词器本身的能力,它能把图片、视频、3D资产都编码进同一个

论文作者特意强调了一个细节,他们保留了主干网络原生的一维旋转位置编码(

模型主干:站在巨人肩膀上

这套系统的主干网络不是从零训练的,而是基于

掩码扩散(Masked diffusion)

Intern Lumina U2在这个主干基础上只做了两处改动:加上0.65B参数的视觉输入输出接口,以及把原来只针对文字设计的分块注意力掩码,替换成能同时处理文字条件、视觉条件、文字答案、视觉答案四种角色的"

这里有个值得琢磨的设计哲学。文字天生是有顺序的,一句话从头读到尾才有意义;但图片不一样,一幅画里天空和地面哪个"先画"根本无所谓,每个区域都同时依赖周围的局部信息和全局的整体结构。所以论文选择让文字按块顺序生成,图片全图并行迭代优化,这不是技术上的妥协,而是对两种模态本质差异的尊重。

如果反过来,强行让图片也按照从左上到右下的顺序一格一格生成,会发生什么?画面右下角的内容在生成时完全看不到还没画出来的左边内容,这就像让一个画家蒙着眼睛,只能凭记忆从左往右补完整幅画,画面的全局协调性会大打折扣。这也是为什么很多纯自回归的图片生成模型,画面经常出现局部合理但整体违和的问题。

训练怎么喂数据:五个阶段,层层加码

训练这个模型不是一步到位的,论文设计了

第一阶段是视觉语言对齐,在256×256分辨率下,用文字、图片说明、文生图数据混合训练,目的是让随机初始化的视觉模块和预训练好的语言主干对上话。第二阶段把分辨率提到512×512,加入OCR、文档理解、图表理解这些更考验细节的任务。第三阶段把分辨率提到1024×1024,但这一步刻意不引入新模态,只是单纯让模型适应更高分辨率,论文里提到一个经验教训:如果同时提升分辨率又扩展模态覆盖,会导致已有能力严重退化。第四阶段才正式引入图片编辑、视频理解、3D理解这些新任务。第五阶段是指令微调,用精心筛选的高质量数据,让模型学会按照用户指令干活。

这种"先稳住一个变量,再加另一个变量"的训练节奏,其实是个很朴素但很容易被忽视的工程智慧。就像学做菜,你不会同时第一次尝试新菜谱、又第一次用新炉灶、还第一次招待挑剔的客人,这三件事叠在一起出错概率会飙升。论文作者显然是吃过亏才总结出这条经验,值得被记一笔。

值得一提的是,这套训练在1024块

推理加速:图片生成速度提升4.45倍

训练好的模型跑起来也有讲究。图片生成的扩散采样过程本身就很耗算力,论文提出了一套叫做"平台光顿采样配合V校验"(Plateau-Halton sampling with V-verify,简称PHV)的加速策略。

这套策略解决的问题挺有意思。论文发现,视觉token的置信度和文字token完全不是一个量级的。在96步精修过程中,视觉置信度的中位数只从0.046涨到0.127,哪怕是90百分位数也始终低于0.32,而文字生成常用的置信度阈值大约在0.9左右。如果照搬文字那套"置信度超过某个固定阈值就提前敲定"的策略,视觉token永远也达不到那个门槛,加速策略根本用不上。

这就好比你习惯了用温度计量体温,正常体温在36到37度之间,发烧的判断标准是超过37.3度。但现在要测量的东西,它的"体温"从来不会超过3度,你还硬要套用37.3度的发烧标准,结果就是永远测不出"发烧",温度计完全失效。论文的解决办法是,不看绝对数值高低,而是看这个数值"变化趋不趋于稳定",也就是看置信度是否进入了一个平台期,哪怕这个平台期的绝对值很低。

具体做法是给每个位置维护一个

为了验证这个"平台期"判断到底靠不靠谱,论文还做了一个很扎实的离线验证实验。他们给每个被判定为"平台期"的位置找一个"对照位置",这个对照位置置信度水平差不多,但没有被判定为平台期,然后让两者都继续被遮住几步,看谁的预测结果变化更小。结果在200个测试样本中,被判定为平台期的位置有157个表现得比对照位置更稳定,平均的预测翻转率差异从保持2步时的-0.012,扩大到保持8步时的-0.048。这个数据说明平台期判断确实抓住了某种"这个位置已经想明白了"的信号,不是瞎蒙的。

最终效果是什么?在1024×1024的文生图任务上,单纯叠加缓存复用、

效果验证:各项基准测试里的表现

说了这么多设计,效果到底怎么样?论文在图片理解、视频理解、3D理解、文生图、图片编辑等多个方向做了详尽评测。

在图片理解和推理方面,这个模型只用了14亿激活参数,却在十个基准测试里的六个拿到了第一(和BAGEL在

视频理解方面,这个模型在Video-MME、MLVU、MVBench三个基准上全部拿到第一,超过了专门做视频理解的LLaDA-V和VideoLLaMA2。3D理解方面,在MM-Vet基准上超过了专门的3D模型ShapeLLM和PointLLM。论文特别指出,目前几乎没有其他统一模型能在同一个模型里同时支持视频和3D理解加上图片生成,这个全模态覆盖本身就是一个独特之处。

文生图方面,在GenEval、DPG-Bench、UniGenBench、TIIF-Bench这些基准上,Intern Lumina U2在统一模型里基本都拿到最好成绩,甚至超过了专门做图片生成的FLUX.1模型,接近激活参数量是自己14倍的Qwen-Image。在UniGenBench上,优势最明显的维度是逻辑推理和语法,这两个维度恰恰是最考验"理解能力如何反哺生成能力"的地方,统一表示空间的好处在这里体现得很直接。

科学图表生成这个方向也值得一提。在GenExam物理学科子集和VeriphyT2IBench这两个专门检验科学图表"物理正确性"的基准上,Intern Lumina U2作为一个通用模型,表现超过了同为通用模型的SenseNova-U1和BAGEL,在局部属性准确率上甚至超过了专门针对物理图表做了结构化监督训练的Princigram-DiMOO变体。这说明多码本表示带来的细节能力,确实能延伸到科学图示这种对精确性要求极高的场景。

局限与未来方向

论文也诚实地列出了几个局限。多码本自回归头虽然效果好,但确实带来了额外的解码开销,高分辨率生成时视觉序列会变得很长。另外目前这套系统只覆盖了图片生成和编辑,视频生成和3D生成还没有纳入进来。作者表示未来计划把生成能力扩展到视频和3D资产,探索更紧密的多模态生成交织方式,还打算尝试强化学习后训练和扩大主干规模。

写在后面

读完这篇论文,最触动我的不是某个具体的分数提升了几个百分点,而是论文反复强调的一句话:离散masked diffusion提供了一个让所有任务共享同一个目标函数的自然基础。

这句话背后其实藏着一个更大的问题:我们现在训练AI的方式,是不是总在给不同的能力分别开小灶?理解用一个损失函数,生成用另一个,图片用一套接口,视频用另一套接口。这种"分而治之"看似稳妥,但论文用实验数据告诉我们,当你真正把它们塞进同一个优化空间,用同一套规则去训练,反而能在理解任务上取得更好的效果,尤其是那些需要精细视觉细节的任务。这不是巧合,这说明理解和生成之间本来就该是互相滋养的,分开训练反而是在浪费这种潜在的协同效应。

还有一个细节让我印象很深,就是论文在消融实验里那组关于"是否建模代码间依赖关系"的对比。14分的差距,发生在计数、位置、属性绑定这些任务上,这其实揭示了一个很朴素的道理:当你把一个复杂的描述拆成多个部分去处理时,如果这些部分之间的关联被忽略了,最终拼出来的东西大概率是七零八落的。这让我联想到团队协作里常见的问题,如果一个项目被拆成几个互不通气的模块分别去做,哪怕每个模块单独看都没问题,组合起来经常出现莫名其妙的冲突,道理是相通的。

这篇论文留下的一个开放问题是,当生成能力真的扩展到视频和3D之后,这套多码本离散表示的计算开销能不能控制住。毕竟视频天然就是长序列,再叠加每个位置8个代码的自回归预测,推理成本会不会成为新的瓶颈,这值得继续追问。

Q&A

Q1:Intern Lumina U2是什么?

A:Intern Lumina U2是上海人工智能实验室等机构推出的一个统一多模态扩散语言模型,它首次用完全离散的多码本视觉表示,把图片、视频、3D资产的理解和图片生成、编辑统一在同一个模型里训练。

Q2:多码本视觉分词和单码本有什么区别?

A:单码本每个视觉位置只用一个数字编号表示,信息量有限;多码本用8个相互独立的编号组合表示同一个位置,相当于从多个维度同时描述这个位置,表达能力大大增强。

Q3:Intern Lumina U2的图片生成速度是怎么提升4.45倍的?

A:论文提出了一种叫PHV的采样策略,通过判断每个视觉位置的置信度是否进入稳定平台期来提前敲定结果,配合缓存复用等系统优化,在不降低生成质量的前提下把延迟从159.9秒降到35.9秒。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI智能体评测新框架RES:任务不变,环境逐轮加码

    你有没有想过,为什么现在很多AI模型跑分越来越高,但真正用起来的时候,还是会在一些意想不到的地方翻车?这背后藏着一个很尴尬的事实。我们评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种)的方式,其实一直在偷懒。研究者想让测试变难,通常的做法就是多造几个任务,多编几条轨...

    来源 腾讯网
  2. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  3. AI研究员给了一个GPU,十小时,还有一整套训练工具,接下来会发生什么?

    研究团队做了个实验,让一个AI智能体接管整个大语言模型的训练后调优流程。给它一台H100显卡,不限制的网络访问权限,还有十个小时的时间预算。然后,就看着它自己去折腾。结果让人意外。这个智能体在面对完整的工具箱时,没有像人类专家那样东做做西试试,反而迅速收窄到了一种操作上。整整三十三轮实验里,它反复做的事情...

    来源 腾讯网
  4. 湘雅二医院论文被指AI生成:科技厅责成调查,基金来源引追问

    极目新闻评论员 屈旌 近日,一篇发表于国际医学学术期刊《Journal of Translational Medicine》(转化医学期刊)的研究论文引发讨论。有网友指出,涉事论文中部分实验图片、实验数据及作者单位信息疑似存在错误。 11月17日,中南大学湘雅二医院科研部就此事答复记者称,院方已介入调查。同日,湖南省科

    来源 AI 行业观察
  5. 英伟达克雷斯任临时CEO:AI芯片节奏未改,散热厂商同步看涨

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望及

    来源 腾讯网
  6. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  7. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  8. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  9. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  10. 「镁伽科技」完成近2亿美元融资,建设直接面向真实世界的AI智能基础设施|36氪首发

    文|胡香赟 编辑|海若镜 36氪获悉,近日,镁伽科技已完成新一轮近2亿美元融资。本轮融资由阿曼苏丹国主权财富基金阿曼投资局(OIA)参与投资,亚投资本、Granite Asia、创新工场等老股东加注,招银国际、苏创投、三江招商集团等机构跟投,覆盖国际主权资本、头部金融资本及地方国资产业资本等。 当前,AI for Sc

    来源 腾讯网
  11. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  12. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  13. 当AI办公接入同样的模型,竞争回到了老问题上

    文 | 周全这是难得一见的一幕。因为AI的出现,中国的几家大公司近期先后调整了AI办公业务的组织架构。7月底,字节跳动启动组织调整,整合豆包、飞书和火山引擎的力量,9月CEO梁汝波在飞书大会上首次系统阐释了这一安排;腾讯的WorkBuddy由马化腾亲自参与产品会议,QClaw相关业务和团队也并入这条线;阿里把三款产品合

    来源 腾讯网
  14. BridgeWAM:动作专家只需2层,机器人视频模型不再强行对齐

    先说一件挺反直觉的事。现在最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、然后指挥机械臂干活的"世界动作模型",普遍有一个设计:让负责理解视频的那部分网络和负责下达动作指令的那部分网络,长得一模一样,层数完全相同。你可能会觉得这很合理,毕竟两边要配合默契。但2026年的一篇论文告诉我们,这个"看起来很...

    来源 腾讯网
  15. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  16. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  17. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  18. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
向下滚动自动加载更多