清华与智谱AI论文:模型会画不会说,知识迁移为何失灵?
你有没有想过这样一件事:一个画家如果能把一座城市的地图画得栩栩如生,连街道的拐角、河流的走向都画得分毫不差,那他是不是一定也能用语言准确说出"从A街到B街怎么走"?直觉上你可能会说,当然能啊,他都画出来了,肯定知道。但如果我告诉你,有一类AI模型恰恰相反:它们能把一张从没见过的地图画得极其精准,却在被问到...
不妨设想:一位画家若能把整座城市画得活灵活现,街道转角、河流走向分毫不差,他是不是也一定能用语言讲清“从A街到B街怎么走”?
凭直觉,你大概会说:当然能,画都画出来了,心里肯定有数。
可要是我说,有一类AI模型正好反过来——从没见过的一张地图,它能画得相当精准,等被问起“这条路往哪边拐”,却支支吾吾,甚至张口就答错,你会不会觉得蹊跷?
清华大学和智谱AI团队的这篇论文,想解开的正是这个谜。他们给这类现象起了个颇有画面感的名字:“知识迁移探测”。
**核心问题:画得出来,不等于说得出来**
先交代一下论文盯上的这类AI模型。
它们叫
UMM:
Janus-Pro、BAGEL这些模型,在各自的理解任务和生成任务上都交出过不错的成绩。业内因此生出一种很自然的期待:生成与理解既然共用一个“大脑”,模型学会画一张图时,是不是也顺带学会了用语言描述图里的信息?
这个期待听着合理,可早前已有研究泼过冷水。一项叫“
这篇论文要做的,是把那种模糊的直觉落成一套严谨实验。团队搭了个巧妙的实验框架,专门检验一件事:当知识只靠“教模型画图”灌进去时,这些知识究竟能不能被模型用文字讲出来。
设计上有个小心思,值得停一下。若直接拿模型原本就懂的东西来考,比如问“苹果是什么颜色”,就判断不了它的回答是从训练图片里学来的,还是预训练阶段见过无数次“苹果是红色”攒下的常识。
研究者的办法是:干脆编一个不存在的世界。他们造了一批纯属虚构的人名、地名、物品——比如虚构人物“阿文布洛克”,球衣号码是10号;虚构角色“佐林”,收藏了5个西瓜。这些信息绝无可能出现在预训练数据里,因为这个世界压根不存在。
打个比方,你想测一个学生是真在做题中学会了数学方法,还是提前背下了标准答案。题目若取自课本经典例题,你永远排除不了背答案的可能;换一道全新编的题,题干里的数字和设定都是你现编的,他还能做对,那才是真懂了方法,而非蒙对。虚构世界扮演的,就是这道“新编题目”的角色。
**第一步实验:先看知识到底传没传过去**
研究团队设了七个知识类别来考察:颜色、数量、形状这类物体属性,空间关系、相对大小这类关系型知识,还有号码、文字这类要求精确识别字符的知识。
训练方式是这样的:给模型一句提示词,比如“画一件阿文布洛克的球衣”,提示词里只字不提球衣号码,可配套训练图片上明明白白印着“10号”。号码信息只能从图片里来,文字描述中压根没有。
训练结束,考试开场。研究者抛出一个纯文字问题,不给任何图片:“阿文布洛克的球衣上是什么号码?”模型只能用文字作答,答案应当是10。
这个测试被称为
文本可及性
结果有些出人意料。研究者测了三个不同架构的
可见只靠教模型画图,并不能稳定地让它学会用语言表达同一份知识。
故事还没完。研究者紧接着追问了一个更要紧的问题:模型答不上来,会不会是因为它根本没学会这个知识?为了排除这种可能,他们又测试了
视觉可及性
具体操作是:让模型照着训练用的提示词重画一张图,再交给另一个视觉语言模型检查,看这张新图有没有正确表达目标属性。
两边一对比,结果相当戏剧性。以SenseNova-U1为例,在“号码”这一类知识上,
这个数字差距说明了什么?说明知识其实就装在模型脑子里,画图时能原样调出来用;可一旦换个问法,让它直接开口说,它就像突然失忆。研究者把这个现象量化成一个叫“
好比一个人照着谱子弹钢琴,又快又准;你让他把乐谱背出来念给你听,他却卡住了。能力明明就在那里,只是调用的接口不对。
**知识放对了地方,但接口没打通:尝试修一座桥**
这个"会画不会说"的现象被发现后,团队紧接着追问:两种能力能不能接上?
为此他们搭了一套精细的实验控制结构。每个知识类别下的虚构实体被均分为两组,其中一组叫
分组这一步其实很要紧。要是跳过分组、在所有实体上做辅助训练再测,就分不清模型变好是因为掌握了通用的"看图说话"本事,还是提前把考题答案背了下来。只有在没接受过任何额外训练的
他们试的第一种辅助训练叫
文本对齐
结果一半好一半坏。BAGEL 和 SenseNova-U1 的平均文本可及性上去了,GLM-Omni 却掉了。而且涨的那两个模型,在"号码"和"文字"两类知识上,测试实体集的文本可及性还是 0%,
团队没有停在这里,又拿出第二种更巧的辅助训练,叫
交织图文对齐
这个思路值得细看。模型既然"会画不会说",那与其让画图和答题各练各的,不如把两件事塞进同一个训练样本,逼它在一次推理里既画出来、又盯着自己画的东西给答案。画图能力和语言表达之间就这样被搭了一座桥,不再各走各的路。
打个比方,教学生记外语单词,如果只让他分开背图片和中文释义,两套材料互不相干,他多半记住了图长什么样,也记住了中文怎么说,可见到图却反应不出中文。换成每次看着图、用外语默念描述、再译成中文讲出来,图片、外语思维和母语表达就串成了一条线,这种串联练习比孤立背诵更容易把知识真正打通。不做这样的设计,只把两类训练数据堆在一起,模型很可能只学到两种互不相关的技能,而非把它们连起来的能力。
结果印证了这个判断。三个模型全都
这些提升是在测试实体集上看到的,那些实体根本没接受过专门的问答训练,所以提升确实说明交织训练带来了跨实体的迁移,而不只是死记硬背。
研究者也坦承,提升并非每个知识类别都一致向好,有的类别甚至略有下滑,这个方法眼下还算不上万能药。
**拆开看看,到底是哪部分训练在起作用**
交织图文对齐这套设计里混着好几种监督信号:图片生成的监督、文字回答的监督都有。研究者想知道,真正起作用的是哪一块。
他们在 GLM-Omni 上做了一个
结果是:一旦把图片生成的损失屏蔽掉,测试实体集上的平均文本可及性就从 26.86% 掉到 13.71%,几乎少了一半,颜色、形状、空间关系这三类跌得最狠。
可见图片生成这块监督信号本身就实实在在帮着知识迁移,不是可有可无的点缀。把图片生成、图片理解、文字推理几类不同任务连同各自的损失函数打包进同一个训练样本,这种整合方式比分开训练有效得多。
**让模型自己"回忆"一下:推理阶段也能补救**
训练阶段之外,研究者还试了一招推理阶段才生效的办法,他们称之为
视觉思维链
对已经用交织图文对齐训练过的模型,研究者让它们答题时先别急着吐文字,而是画一张图,再对着这张图推出答案。
这招效果出奇地好,尤其在"号码"类知识上。前面说过,三个模型直接用文字答"号码"题,准确率都是 0%。一旦允许先画再答,BAGEL 升到 4%,GLM-Omni 升到 36%,SenseNova-U1 升到 20%。
这个跳升很能说明问题。模型的"记忆"本来就以视觉形式存着,硬让它用语言去检索,好比让一个擅长画画、不擅长口述的人凭空背细节,很容易卡住。允许它先画出来、再对着画"读图",抽象回忆题就变成了具体的看图说话题,难度降了一大截。
**是否画对了,和说对了有没有关系**
研究团队最后又补了一组更细的关联分析,想弄清楚一件事:同一个知识点,模型要是画对了,它答对的概率会不会跟着变高?
他们为此设了一个叫“条件正确率”的指标。从结果看,多数情况下这种关联是正的:在交织对齐条件下,三个模型的这一指标都高于基准。
不过关联再强,画对之后答对的概率也没跨过50%这道线。也就是说,模型图即便画得完全正确,它用文字把这个知识点说对的概率仍然不到一半。正相关是存在的,可图片里表达正确的知识,仍有相当一部分没能转成可靠的文字输出。
**这件事到底意味着什么**
这篇论文最让人服气的地方,不在于抛出多复杂的新算法,而在于它以近乎笨拙的诚实,戳破了一个大家可能一直默认的假设:AI既然会画,就一定会说。
事实并非如此。知识可以稳稳地待在模型某个角落里,却因为“调用通道”不通,迟迟说不出口。这让人想到人类认知里一个常见的情形:有些事你明明会做,身体做得到,可真要你用语言把操作步骤完整讲一遍,反倒讲不明白。
论文还提醒了一点:眼下统一多模态模型所谓的“统一”,更多停在架构这一层,知识层面并没有真正融合。两种能力共用一套参数,不等于它们之间会自动流通信息。接下来训练数据怎么设计、模型结构怎么设计,都得回答具体问题,而不是丢下一句空泛的“需要进一步研究”。
还有一点值得说:研究者拿虚构实体来做实验设计,这种思路本身就值得学。想干净地验证一个因果关系,把所有可能的干扰变量排除掉,常常比搭一个花哨的新模型更费心思,也更有说服力。
作者们也留了个开放的口子:这项研究用的都是人工构造、简化过的虚构知识,而真实世界的图片信息复杂得多、密度也更高。要是换成真实照片,这种“会画不会说”的差距会拉大还是缩小?论文没给答案。
Q&A
Q1:知识迁移探测是什么?
A:这是清华大学和智谱AI团队搭的一套实验框架,用来检验统一多模态模型靠“学画图”获得的知识,能不能被模型用纯文字讲出来,关键在于把视觉可及性和文本可及性这两种能力分开看。
Q2:研究团队为什么拿虚构的人名地名做实验?
A:若用真实存在的知识,就排不掉模型在预训练阶段已经记住这些常识的可能。换成完全编造的虚构世界实体,才能保证模型答对的唯一来源是训练图片,从而干净地测出图片学到的知识能否转成语言表达。
Q3:交织图文对齐和普通的文本对齐训练差在哪?
A:文本对齐只是额外塞给模型一些纯文字问答样本让它记。交织图文对齐则要求模型在同一次回答里先画图、再看图、最后结合观察结果给文字答案,把生成和理解串起来,实验显示这种方式带来的知识迁移效果更好。