多模态大模型投影器研究:十分之一数据够用,还能线性混合

资讯 腾讯网 作者:科技行者 全文 4895 字 · 约 13 分钟读完 分类多模态大模型

2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。但奇怪的是,没人真正说清楚这第一步到底在干什么。更奇怪的是,不同团队的实验结论还互相矛盾。有的

所属频道 模型发布

从2023年至今,主流多模态大模型的训练路线几乎如出一辙:先用海量图文对训出一个"连接器",再进入指令微调阶段。

可这第一步究竟起了什么作用,一直没人讲得明白。

更让人费解的是,各家团队的实验结论还彼此打架。有研究认为这一步能直接省掉,效果不受影响;有研究称把训练数据从几十万对扩到250万对,效果提升明显;也有研究坚持分辨率和数据配比才是要害。

这情形好比几位工程师争论一座桥的某处承重结构到底顶不顶用:一个说拆了桥照样稳,一个说钢筋必须加粗,还有一个说钢筋粗细压根不影响。三个说法看似互相矛盾,其实来自瑞士洛桑联邦理工(

投影器*:多模态大模型里连接视觉编码器与语言模型的一个小模块,一般只有一两层神经网络,干的是把图像特征"翻译"成语言模型读得懂的格式。

这篇论文把整头大象的轮廓描了出来,还顺手给出一种不需要训练数据、不需要梯度下降、只凭统计数字就能搭出投影器的办法,叫

训练数据只用十分之一,效果几乎不变

研究者先做了一件很朴素的事:既然大家都在争投影器训练要多少数据,那就实际测一遍。

他们采用 LLaVA 1.5 的标准配置,视觉编码器是

结果出人意料:只用到10%到20%的数据,性能提升就几乎拿满了。过了30%以后,曲线基本走成一条平线。

这说明了什么?如果把投影器训练比作装修时打地基,大家原以为地基越厚越稳,实际却发现厚度到某个点之后,再添水泥对房子的稳固程度几乎毫无帮助,真正管用的是上层框架怎么搭(也就是后续的

研究者还换了一个更大的数据集

不同数据集训出的投影器,居然能直接线性混合

数据量够用这一点,还不足以把问题说透。研究者接着追问了一个更尖锐的问题:假如投影器学到的是精确且独特的映射关系,那么不同数据训出的两个投影器就该是两个完全不同的解,没法简单叠加。

于是他们做了这样一组实验:用同一份初始化权重,分别在 LCS-558k 和 ShareGPT-1.2M 上各训一个投影器,得到权重 W_LCS 与 W_ShareGPT,再用一个简单的

线性插值*:给定两组参数 A 和 B,按比例 α 取 (1-α)×A + α×B,得到介于两者之间的一组新参数。

按常理,如果两个投影器各自落在完全不同的"山谷"(即损失函数的局部最优区域),把它们混起来就该掉进两座山谷之间的"山脊",效果明显变差。可实测下来,整条插值路径上的表现都相当不错,甚至在 α=0.5 时,混合出的投影器比两个原始投影器各自单干还要好。

这就像两位厨师用不同配方各做了一道好菜,你把两份调料按一比一兑在一起,做出的新菜反倒比原来两道都好吃。倘若调料配方真是精确到克的独门秘籍,这样混通常只会得到一锅糊状的四不像,而不是更好的菜。可见两个配方其实都只是同一个"合理区间"里的不同选法,并非互相排斥的两套体系。

不过这里有一组重要的对照实验。研究者还测了另一种情况:数据仍用 LCS-558k,但换两个不同的随机初始化种子分别训练。这回插值结果完全两样,在 α=0.5 时,用于评估图像描述质量的

CIDEr*:一种衡量图像描述文本生成质量的指标,分数越高说明生成的描述和人工标注的参考描述越接近。

两组实验摆在一起,结论就清楚了:初始化决定投影器落进哪个"山谷",训练数据决定它在山谷内部具体走到哪一点。同一山谷里的不同点之间可以随便游走,跨山谷的两点之间往往隔着一道很深的"损失壁垒",贸然混合只会摔进谷底。

这个发现是整篇论文最关键的转折。既然投影器训练的本质是"找到一个足够大的兼容区域",而非"找到一个精确的点",那能不能直接用数学方法算出这个区域里的一个点,完全绕开图文对训练?

PORTAL:不用任何图文对,靠统计数字直接算出投影器

研究者把这个想法落了地,取名叫 PORTAL(全称是"通过

最优传输这门数学理论,研究的是怎样以最小的代价,把一种概率分布变成另一种,常被用来比较和对齐两组不同的数据分布。

高斯分布

PORTAL 的做法是:先把视觉特征的分布、语言模型输入向量的分布,都近似当作高斯分布看待。两个分布各自的均值、主方向(数据变化最剧烈的几个方向)、以及沿每个方向的离散程度,只要这三样在手,就能套用 Bures-Wasserstein 最优传输映射的公式,直接算出一个线性变换,把视觉特征“挪”进语言模型习惯的分布里。

落到操作上,这个公式先对视觉特征和语言特征各做一次

主成分分析(PCA)。这是一种数据降维手段,作用是把数据中变化最猛的几个方向找出来,噪声方向则丢掉不管。

那视觉特征和语言特征当真服从高斯分布吗?研究者老老实实做了检验。答案是不完全服从——两边的分布都带点“重尾”,极端值比标准高斯分布该有的多。不过偏度都很小,形状基本对称,没有明显的左右倾斜。换句话说,高斯近似不够精确,可最关键的结构它抓住了。

只对齐均值和协方差,凭什么够用?研究者的解释挺巧:眼下主流语言模型在算注意力之前,都会对每个输入向量做归一化,比如

RMSNorm。这是深度学习里常见的归一化技术,把输入向量的长度统一缩放到某个标准范围,方向不动。

归一化既然抹掉了长度、只留方向,注意力机制真正在意的就只是向量“指向哪里”,而非“有多长”。研究者为此证明了一个数学命题:向量长度变化不大时,衡量方向散布程度的一个指标(他们称作“

这好比调一台老式收音机。电台发射的每个声波细节,你不必精确复刻,频率调准了——也就是协方差决定的主要方向对上了——声音听着就对。非要抠每一个高阶谐波的精确值,反而是白费力气,因为接收端也就是语言模型里的归一化操作,根本不看这些细节。

实测数据也站在这一边:三组不同的 CLIP 和语言模型组合上,经 PORTAL 处理后,余弦离散度从原始视觉特征的 0.23 降到 0.09 到 0.10 之间,离语言模型输入向量自身 0.05 到 0.06 的水平已经很近。换成完全随机初始化的投影器,这个数值几乎不动,仍停在 0.23 左右。

PORTAL 究竟行不行,七组模型组合给出答案

理论之外还得看实测。研究者挑了七组不同的(视觉编码器,语言模型)组合做系统评测,覆盖

对照组设了两个:一个是标准流程,拿 55.8 万对图文数据规规矩矩训练出来的投影器;另一个完全随机初始化,跳过第一阶段训练。所有配置的第二阶段指令微调一模一样,差别只在投影器的起点。

结果,PORTAL 在 LLaMA 3.2 1B 配 CLIP 上拿到训练基线 106.2% 的分数,Qwen 2.5 0.5B 配 CLIP 是 106.1%,LLaMA 3.1 8B 配 CLIP 是 102.7%,三组都超过了用真实图文数据训出的基线。其余四组配置里,PORTAL 也稳在训练基线的 96.3% 到 99.3% 之间。

SigLIP 这个视觉编码器的表现最能说明问题。该配置下随机初始化的投影器直接崩到训练基线的 82.5%,差距摆在那儿;换上 PORTAL,差距一下缩到 99.3%。倘若投影器训练真只是在学某种精细的图文语义对应,PORTAL 不该填得上这么大的坑——它靠的不过是分布层面的粗对齐。真正起作用的,恰恰是分布匹配。

当然,PORTAL 并非万能。Qwen 2.5 7B 和 OLMo 2 1B 这两组配置上,它的表现略低于置信区间,差距集中在文字识别和图表理解类任务。这和前面数据量实验里的规律对得上:文字识别与图表类任务正是从投影器训练中获益最多的类别,它们要的是更精细的字符级空间结构信息,而只看均值、协方差的粗统计方法,天生覆盖不到这块。研究者还测了另外两种不需要图文对的替代方法:

对齐计算量省下 135 倍

PORTAL 自己就能打平训练基线,那把它当作“热身起点”、再叠少量真实图文数据接着训,效果会怎样?

研究者在 Vicuna 1.5 7B 配 CLIP 这组配置上做了测试。投影器训练的数据量从 0 一路加到 1000、1万、10万,直到完整的 55.8万,分别从随机初始化和 PORTAL 初始化两条路径出发,比最终效果。

结果,每一个数据量档位上 PORTAL 都稳定压过随机初始化。更关键的是,它只用大约 4000 条图文对,就追平了用完整 55.8 万条数据训出的基线——对齐阶段的计算量因此省了大约 135 倍。数据继续加到 1 万到 10 万条,PORTAL 甚至反超了用完整数据训练的基线。

这就像开车去一座陌生城市。传统方法从零起步,边开边摸索路线,绕了不少远路才找对方向;PORTAL 则相当于提前用卫星地图算好了大致路径,你只须在这条路上微调几个岔路口,就能比从零摸索的人更快抵达,甚至因为起点选得好,终点还更精准一点。没有这张“卫星地图”,所有人都得从头试错,花掉的时间和燃料完全不是一个量级。

换个架构、换个图片池,结论还成立吗

研究者没停在这一步,又做了一串“拆房子验证结构牢不牢”式的消融实验。

他们把标准的两层

研究者还把更强的连接器架构拿来做了反向验证。

构建 PORTAL 时用到的图片池,另一组消融也测了:他们拿只用 1024 张

写在后面

论文读下来,PORTAL 这套方法本身有多巧,倒在其次,更让我在意的是线性插值那组实验背后的思路。研究者没有一口咬定“投影器训练就是粗对齐”,而是先摆出一个近乎挑刺的设计:假如两个投影器真学到了精确又各自独有的东西,插值就该失效。先假定自己错,再去验证,这种路数比一味堆正面证据更站得住脚。

余弦离散度那段数学证明同样让我反复琢磨。实验效果好,研究者并不就此收手,而是继续追问:为什么只匹配二阶统计量就够用?答案落在一个几乎人人都知道、却很少有人往这个方向联想的细节上——语言模型在计算注意力之前会先做归一化。把看似无关的架构细节(归一化)和看似玄乎的训练现象(投影器为什么不必精细训练)接上线的本事,才是真正见研究功力的地方。

论文留下的问题也不妨细想。视觉和语言之间的“粗对齐”若真能靠统计方法解决,那多模态学习里还有哪些阶段,其实也只是在做类似的分布搬运,却被我们当成了在学习深层语义?音频、视频、三维点云这些模态如果套上同一套逻辑,会不会也发现,训练的大半功夫都花在了不该花的地方?

Q&A

Q1:PORTAL是什么?

A:PORTAL 构建投影器时既不需要图文配对数据,也不需要梯度训练。它只取视觉和语言各自的统计信息(均值、主方向、离散程度),用最优传输的数学公式把投影器参数直接算出来,替代了过去要几十万图文对才能完成的对齐阶段。

Q2:PORTAL的效果能达到传统训练方法的水平吗?

A:七组视觉编码器与语言模型的组合测下来,PORTAL 在其中三组超过了用 55.8 万图文对训练出的基线,最高到 106.2%;剩下四组也落在基线的 96.3% 到 99.3% 之间,整体和传统方法很接近,甚至更好。

Q3:投影器训练阶段到底在做什么?

A:论文的结论是,投影器训练主要干的是粗粒度的分布对齐,把视觉特征搬进语言模型能接受的输入空间,并非去学精细的图文语义对应。两个实验支撑了这一点:只用 10% 到 20% 的数据就能达到满分效果;不同数据训练出的投影器还能线性混合。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. Jag让AI直接读隐藏状态出坐标,不生成文字

    你有没有想过,当你对着一个智能助手说"把图里举着鼻子的大象框出来",它是怎么把答案变成一个方框的?大部分人可能以为,这就是模型"看一眼"就知道答案了。但事实没那么简单。现在主流的多模态大模型处理这类任务时,走的是一条相当绕的路:它先理解图片和你的问题,然后像写作文一样,一个字一个字地"生成"坐标数字,比如...

    来源 腾讯网
  2. 小米雷军:AI 是一个全新的时代,一定会带来非常多的商业机会

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。据新浪科技报道,小米集团创始人、董事长兼首席执行官雷军表示,过去四年,AI 大模型技术突飞猛进,给我们的生活和工作带来了巨大的变化。但 AI 能够落地的场景非常有限,能够真正

    来源 腾讯网
  3. 寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度

    来源 腾讯网
  4. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  5. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  6. 深度|红杉美国对话华人机器人数据公司Mecka AI:没有互联网红利,如何教机器人理解物理世界?

    图片来源:Sequoia CapitalZ Highlights机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人

    来源 腾讯网
  7. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  8. 快递业务量连续两月超170亿件,大模型动态调度航空铁路公路运力

    IT之家 11 月 17 日消息,据央视新闻今日报道,国家邮政局数据显示,我国快递业务量已连续两个月超过 170 亿件。 报道提到,10 月,快递行业紧扣电商大促等寄递需求,构建产销运协同一体化服务链路,强化运力调配与资源投入,有效保障脐橙、柿子、海鲜和牛羊肉等时令产品高效流转。快递业务量连续两个月超过 170 亿件,

    来源 AI 行业观察
  9. 48小时真机比拼真本事!蚂蚁灵波朱兴:谁也没看到具身智能的Scaling Law

    IT时报记者 孙妍11月16日,首届蚂蚁灵波具身大模型挑战赛总决赛结果在上海出炉。由福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队,以82.5分获得一等奖。华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手

    来源 腾讯网
  10. Anthropic花34亿美元买发电机:AI竞赛打到电力这关

    “算力的尽头是电力”,这句话正在成为大模型时代的铁律。AI巨头们已经从早期的抢GPU、抢算力,演变成了如今的抢发电机。 近期,Anthropic豪掷34亿美元买下1.7吉瓦燃气发电产能的举动,引发了科技圈的广泛关注。 这种跳过中间环节、直接掌控能源基础设施的激进选择,不仅将整个行业的电力焦虑摆上台面,也揭开了新一轮资源

    来源 AI 行业观察
  11. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  12. MIT六项技术承诺兑现几何?认知永生离现实还有多远

    MIT Technology Review的“The Download”栏目聚焦两大话题:六项曾承诺改变世界的技术如今进展如何,以及人类对“认知永生”的探索。文章提出,衡量技术进步应看真实部署而非宏大宣言;而借助大模型构建数字分身等技术,正让“认知永生”从科幻走向现实,但也带来身份与伦理的深层拷问。

    来源 AI 科技快讯
  13. 李彦宏谈AI四层结构:终极价值在应用层

    11月17日,2026年APEC工商领导人峰会11月17日至18日在深圳举办,主题为“共促繁荣,共赢未来”。百度集团创始人、董事长兼首席执行官李彦宏表示,过去几年大家都见证了AI技术的快速进步。在他看来,AI可以分为四个层次:底层是GPU芯片,往上是云基础设施,再往上是开源模型或前沿大模型——它们都构建在云基础设施之上

    来源 腾讯网
  14. 奥特曼谈黄仁勋:很难想象没有他的AI革命

    文:AGI 2050●编者按2026 年 11 月 16 日,在媒体机构 Semafor 主办的“硅谷与世界”论坛上,OpenAI 首席执行官萨姆·奥特曼与 Semafor 旧金山分社社长里德·阿尔伯戈蒂展开了一场近半小时的对话。这场对谈发生在一个行业变化密集的时间节点:英伟达创始人黄仁勋近期陷入董事会罢免风波;大模型

    来源 腾讯网
  15. Model ML融资2.5亿美元:AI能替投行初级分析师熬夜吗?

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 行业观察
  16. 李晗离职可灵AI:快手技术副总裁出身,下一步未定

    11月18日,据“申妈的朋友圈”援引知情人士消息,原快手技术副总裁、可灵AI高管李晗已离职,下一步去向尚未确定。李晗2019年加入快手任技术副总裁,2026年1月起全面负责基础大模型和推荐模型两大核心算法业务,同年6月转岗可灵AI,此次离职距转岗约5个月。

    来源 凤凰科技
  17. 苹果测试Apple Intelligence每日额度,iCloud+订阅可扩容最高20倍

    苹果正测试为 Apple Intelligence 云端 AI 设每日额度。iOS 27.3 Beta2 等测试版及支持文档显示,高算力服务器端任务将不再免费无限使用。限额覆盖新版 Siri、相册智能修图(消除、扩图、空间重构)、Image Playground、快捷指令云端大模型及接入私有云的第三方应用。日常设置等轻

    来源 AI 产业速递
  18. 英伟达GR00T 2开源在即:机器人能预判后果了?

    出品|虎嗅科技组作者|易玉琴编辑|苗正卿头图|GR00T 2上周,大家都忙着吃黄仁勋的“大瓜”,以至于很多人都错过了英伟达的一次重要技术更新。就在黄仁勋辞职的三天前,11月9日,英伟达在美国奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。在这次发布中,英伟达机器人研究负责人Jim Fan先是

    来源 腾讯网
  19. 芯培森AI4M布局盘点:算力、服务与数据三层握在手中

    2026年10月,AI for Materials(AI4M)接连出现标志性进展:百亿参数材料多模态大模型发布,AI预测材料规模化合成的路径被反复讨论。进展大多落在模型这一层,可模型只回答“哪些材料可能有”,能不能算得动、能不能交得出来,还得看模型之外的三层。从模型、数据与软件,到算力、服务,AI4M已经分出四个层次;

    来源 AI 行业观察
  20. MIT追踪六项技术:自动驾驶、核聚变与认知永生走到哪一步了?

    MIT Technology Review的“The Download”栏目聚焦两大话题:六项曾承诺改变世界的技术如今进展如何,以及人类对“认知永生”的探索。文章提出,衡量技术进步应看真实部署而非宏大宣言;而借助大模型构建数字分身等技术,正让“认知永生”从科幻走向现实,但也带来身份与伦理的深层拷问。

    来源 AI 行业观察
向下滚动自动加载更多