多模态大模型投影器研究:十分之一数据够用,还能线性混合
2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。但奇怪的是,没人真正说清楚这第一步到底在干什么。更奇怪的是,不同团队的实验结论还互相矛盾。有的
从2023年至今,主流多模态大模型的训练路线几乎如出一辙:先用海量图文对训出一个"连接器",再进入指令微调阶段。
可这第一步究竟起了什么作用,一直没人讲得明白。
更让人费解的是,各家团队的实验结论还彼此打架。有研究认为这一步能直接省掉,效果不受影响;有研究称把训练数据从几十万对扩到250万对,效果提升明显;也有研究坚持分辨率和数据配比才是要害。
这情形好比几位工程师争论一座桥的某处承重结构到底顶不顶用:一个说拆了桥照样稳,一个说钢筋必须加粗,还有一个说钢筋粗细压根不影响。三个说法看似互相矛盾,其实来自瑞士洛桑联邦理工(
投影器*:多模态大模型里连接视觉编码器与语言模型的一个小模块,一般只有一两层神经网络,干的是把图像特征"翻译"成语言模型读得懂的格式。
这篇论文把整头大象的轮廓描了出来,还顺手给出一种不需要训练数据、不需要梯度下降、只凭统计数字就能搭出投影器的办法,叫
训练数据只用十分之一,效果几乎不变
研究者先做了一件很朴素的事:既然大家都在争投影器训练要多少数据,那就实际测一遍。
他们采用 LLaVA 1.5 的标准配置,视觉编码器是
结果出人意料:只用到10%到20%的数据,性能提升就几乎拿满了。过了30%以后,曲线基本走成一条平线。
这说明了什么?如果把投影器训练比作装修时打地基,大家原以为地基越厚越稳,实际却发现厚度到某个点之后,再添水泥对房子的稳固程度几乎毫无帮助,真正管用的是上层框架怎么搭(也就是后续的
研究者还换了一个更大的数据集
不同数据集训出的投影器,居然能直接线性混合
数据量够用这一点,还不足以把问题说透。研究者接着追问了一个更尖锐的问题:假如投影器学到的是精确且独特的映射关系,那么不同数据训出的两个投影器就该是两个完全不同的解,没法简单叠加。
于是他们做了这样一组实验:用同一份初始化权重,分别在 LCS-558k 和 ShareGPT-1.2M 上各训一个投影器,得到权重 W_LCS 与 W_ShareGPT,再用一个简单的
线性插值*:给定两组参数 A 和 B,按比例 α 取 (1-α)×A + α×B,得到介于两者之间的一组新参数。
按常理,如果两个投影器各自落在完全不同的"山谷"(即损失函数的局部最优区域),把它们混起来就该掉进两座山谷之间的"山脊",效果明显变差。可实测下来,整条插值路径上的表现都相当不错,甚至在 α=0.5 时,混合出的投影器比两个原始投影器各自单干还要好。
这就像两位厨师用不同配方各做了一道好菜,你把两份调料按一比一兑在一起,做出的新菜反倒比原来两道都好吃。倘若调料配方真是精确到克的独门秘籍,这样混通常只会得到一锅糊状的四不像,而不是更好的菜。可见两个配方其实都只是同一个"合理区间"里的不同选法,并非互相排斥的两套体系。
不过这里有一组重要的对照实验。研究者还测了另一种情况:数据仍用 LCS-558k,但换两个不同的随机初始化种子分别训练。这回插值结果完全两样,在 α=0.5 时,用于评估图像描述质量的
CIDEr*:一种衡量图像描述文本生成质量的指标,分数越高说明生成的描述和人工标注的参考描述越接近。
两组实验摆在一起,结论就清楚了:初始化决定投影器落进哪个"山谷",训练数据决定它在山谷内部具体走到哪一点。同一山谷里的不同点之间可以随便游走,跨山谷的两点之间往往隔着一道很深的"损失壁垒",贸然混合只会摔进谷底。
这个发现是整篇论文最关键的转折。既然投影器训练的本质是"找到一个足够大的兼容区域",而非"找到一个精确的点",那能不能直接用数学方法算出这个区域里的一个点,完全绕开图文对训练?
PORTAL:不用任何图文对,靠统计数字直接算出投影器
研究者把这个想法落了地,取名叫 PORTAL(全称是"通过
最优传输这门数学理论,研究的是怎样以最小的代价,把一种概率分布变成另一种,常被用来比较和对齐两组不同的数据分布。
高斯分布
PORTAL 的做法是:先把视觉特征的分布、语言模型输入向量的分布,都近似当作高斯分布看待。两个分布各自的均值、主方向(数据变化最剧烈的几个方向)、以及沿每个方向的离散程度,只要这三样在手,就能套用 Bures-Wasserstein 最优传输映射的公式,直接算出一个线性变换,把视觉特征“挪”进语言模型习惯的分布里。
落到操作上,这个公式先对视觉特征和语言特征各做一次
主成分分析(PCA)。这是一种数据降维手段,作用是把数据中变化最猛的几个方向找出来,噪声方向则丢掉不管。
那视觉特征和语言特征当真服从高斯分布吗?研究者老老实实做了检验。答案是不完全服从——两边的分布都带点“重尾”,极端值比标准高斯分布该有的多。不过偏度都很小,形状基本对称,没有明显的左右倾斜。换句话说,高斯近似不够精确,可最关键的结构它抓住了。
只对齐均值和协方差,凭什么够用?研究者的解释挺巧:眼下主流语言模型在算注意力之前,都会对每个输入向量做归一化,比如
RMSNorm。这是深度学习里常见的归一化技术,把输入向量的长度统一缩放到某个标准范围,方向不动。
归一化既然抹掉了长度、只留方向,注意力机制真正在意的就只是向量“指向哪里”,而非“有多长”。研究者为此证明了一个数学命题:向量长度变化不大时,衡量方向散布程度的一个指标(他们称作“
这好比调一台老式收音机。电台发射的每个声波细节,你不必精确复刻,频率调准了——也就是协方差决定的主要方向对上了——声音听着就对。非要抠每一个高阶谐波的精确值,反而是白费力气,因为接收端也就是语言模型里的归一化操作,根本不看这些细节。
实测数据也站在这一边:三组不同的 CLIP 和语言模型组合上,经 PORTAL 处理后,余弦离散度从原始视觉特征的 0.23 降到 0.09 到 0.10 之间,离语言模型输入向量自身 0.05 到 0.06 的水平已经很近。换成完全随机初始化的投影器,这个数值几乎不动,仍停在 0.23 左右。
PORTAL 究竟行不行,七组模型组合给出答案
理论之外还得看实测。研究者挑了七组不同的(视觉编码器,语言模型)组合做系统评测,覆盖
对照组设了两个:一个是标准流程,拿 55.8 万对图文数据规规矩矩训练出来的投影器;另一个完全随机初始化,跳过第一阶段训练。所有配置的第二阶段指令微调一模一样,差别只在投影器的起点。
结果,PORTAL 在 LLaMA 3.2 1B 配 CLIP 上拿到训练基线 106.2% 的分数,Qwen 2.5 0.5B 配 CLIP 是 106.1%,LLaMA 3.1 8B 配 CLIP 是 102.7%,三组都超过了用真实图文数据训出的基线。其余四组配置里,PORTAL 也稳在训练基线的 96.3% 到 99.3% 之间。
SigLIP 这个视觉编码器的表现最能说明问题。该配置下随机初始化的投影器直接崩到训练基线的 82.5%,差距摆在那儿;换上 PORTAL,差距一下缩到 99.3%。倘若投影器训练真只是在学某种精细的图文语义对应,PORTAL 不该填得上这么大的坑——它靠的不过是分布层面的粗对齐。真正起作用的,恰恰是分布匹配。
当然,PORTAL 并非万能。Qwen 2.5 7B 和 OLMo 2 1B 这两组配置上,它的表现略低于置信区间,差距集中在文字识别和图表理解类任务。这和前面数据量实验里的规律对得上:文字识别与图表类任务正是从投影器训练中获益最多的类别,它们要的是更精细的字符级空间结构信息,而只看均值、协方差的粗统计方法,天生覆盖不到这块。研究者还测了另外两种不需要图文对的替代方法:
对齐计算量省下 135 倍
PORTAL 自己就能打平训练基线,那把它当作“热身起点”、再叠少量真实图文数据接着训,效果会怎样?
研究者在 Vicuna 1.5 7B 配 CLIP 这组配置上做了测试。投影器训练的数据量从 0 一路加到 1000、1万、10万,直到完整的 55.8万,分别从随机初始化和 PORTAL 初始化两条路径出发,比最终效果。
结果,每一个数据量档位上 PORTAL 都稳定压过随机初始化。更关键的是,它只用大约 4000 条图文对,就追平了用完整 55.8 万条数据训出的基线——对齐阶段的计算量因此省了大约 135 倍。数据继续加到 1 万到 10 万条,PORTAL 甚至反超了用完整数据训练的基线。
这就像开车去一座陌生城市。传统方法从零起步,边开边摸索路线,绕了不少远路才找对方向;PORTAL 则相当于提前用卫星地图算好了大致路径,你只须在这条路上微调几个岔路口,就能比从零摸索的人更快抵达,甚至因为起点选得好,终点还更精准一点。没有这张“卫星地图”,所有人都得从头试错,花掉的时间和燃料完全不是一个量级。
换个架构、换个图片池,结论还成立吗
研究者没停在这一步,又做了一串“拆房子验证结构牢不牢”式的消融实验。
他们把标准的两层
研究者还把更强的连接器架构拿来做了反向验证。
构建 PORTAL 时用到的图片池,另一组消融也测了:他们拿只用 1024 张
写在后面
论文读下来,PORTAL 这套方法本身有多巧,倒在其次,更让我在意的是线性插值那组实验背后的思路。研究者没有一口咬定“投影器训练就是粗对齐”,而是先摆出一个近乎挑刺的设计:假如两个投影器真学到了精确又各自独有的东西,插值就该失效。先假定自己错,再去验证,这种路数比一味堆正面证据更站得住脚。
余弦离散度那段数学证明同样让我反复琢磨。实验效果好,研究者并不就此收手,而是继续追问:为什么只匹配二阶统计量就够用?答案落在一个几乎人人都知道、却很少有人往这个方向联想的细节上——语言模型在计算注意力之前会先做归一化。把看似无关的架构细节(归一化)和看似玄乎的训练现象(投影器为什么不必精细训练)接上线的本事,才是真正见研究功力的地方。
论文留下的问题也不妨细想。视觉和语言之间的“粗对齐”若真能靠统计方法解决,那多模态学习里还有哪些阶段,其实也只是在做类似的分布搬运,却被我们当成了在学习深层语义?音频、视频、三维点云这些模态如果套上同一套逻辑,会不会也发现,训练的大半功夫都花在了不该花的地方?
Q&A
Q1:PORTAL是什么?
A:PORTAL 构建投影器时既不需要图文配对数据,也不需要梯度训练。它只取视觉和语言各自的统计信息(均值、主方向、离散程度),用最优传输的数学公式把投影器参数直接算出来,替代了过去要几十万图文对才能完成的对齐阶段。
Q2:PORTAL的效果能达到传统训练方法的水平吗?
A:七组视觉编码器与语言模型的组合测下来,PORTAL 在其中三组超过了用 55.8 万图文对训练出的基线,最高到 106.2%;剩下四组也落在基线的 96.3% 到 99.3% 之间,整体和传统方法很接近,甚至更好。
Q3:投影器训练阶段到底在做什么?
A:论文的结论是,投影器训练主要干的是粗粒度的分布对齐,把视觉特征搬进语言模型能接受的输入空间,并非去学精细的图文语义对应。两个实验支撑了这一点:只用 10% 到 20% 的数据就能达到满分效果;不同数据训练出的投影器还能线性混合。