清华与智谱AI论文:模型会画不会说,知识迁移为何失灵?

资讯 腾讯网 作者:科技行者 全文 4368 字 · 约 11 分钟读完

你有没有想过这样一件事:一个画家如果能把一座城市的地图画得栩栩如生,连街道的拐角、河流的走向都画得分毫不差,那他是不是一定也能用语言准确说出"从A街到B街怎么走"?直觉上你可能会说,当然能啊,他都画出来了,肯定知道。但如果我告诉你,有一类AI模型恰恰相反:它们能把一张从没见过的地图画得极其精准,却在被问到...

不妨设想:一位画家若能把整座城市画得活灵活现,街道转角、河流走向分毫不差,他是不是也一定能用语言讲清“从A街到B街怎么走”?

凭直觉,你大概会说:当然能,画都画出来了,心里肯定有数。

可要是我说,有一类AI模型正好反过来——从没见过的一张地图,它能画得相当精准,等被问起“这条路往哪边拐”,却支支吾吾,甚至张口就答错,你会不会觉得蹊跷?

清华大学和智谱AI团队的这篇论文,想解开的正是这个谜。他们给这类现象起了个颇有画面感的名字:“知识迁移探测”。

**核心问题:画得出来,不等于说得出来**

先交代一下论文盯上的这类AI模型。

它们叫

UMM:

Janus-Pro、BAGEL这些模型,在各自的理解任务和生成任务上都交出过不错的成绩。业内因此生出一种很自然的期待:生成与理解既然共用一个“大脑”,模型学会画一张图时,是不是也顺带学会了用语言描述图里的信息?

这个期待听着合理,可早前已有研究泼过冷水。一项叫“

这篇论文要做的,是把那种模糊的直觉落成一套严谨实验。团队搭了个巧妙的实验框架,专门检验一件事:当知识只靠“教模型画图”灌进去时,这些知识究竟能不能被模型用文字讲出来。

设计上有个小心思,值得停一下。若直接拿模型原本就懂的东西来考,比如问“苹果是什么颜色”,就判断不了它的回答是从训练图片里学来的,还是预训练阶段见过无数次“苹果是红色”攒下的常识。

研究者的办法是:干脆编一个不存在的世界。他们造了一批纯属虚构的人名、地名、物品——比如虚构人物“阿文布洛克”,球衣号码是10号;虚构角色“佐林”,收藏了5个西瓜。这些信息绝无可能出现在预训练数据里,因为这个世界压根不存在。

打个比方,你想测一个学生是真在做题中学会了数学方法,还是提前背下了标准答案。题目若取自课本经典例题,你永远排除不了背答案的可能;换一道全新编的题,题干里的数字和设定都是你现编的,他还能做对,那才是真懂了方法,而非蒙对。虚构世界扮演的,就是这道“新编题目”的角色。

**第一步实验:先看知识到底传没传过去**

研究团队设了七个知识类别来考察:颜色、数量、形状这类物体属性,空间关系、相对大小这类关系型知识,还有号码、文字这类要求精确识别字符的知识。

训练方式是这样的:给模型一句提示词,比如“画一件阿文布洛克的球衣”,提示词里只字不提球衣号码,可配套训练图片上明明白白印着“10号”。号码信息只能从图片里来,文字描述中压根没有。

训练结束,考试开场。研究者抛出一个纯文字问题,不给任何图片:“阿文布洛克的球衣上是什么号码?”模型只能用文字作答,答案应当是10。

这个测试被称为

文本可及性

结果有些出人意料。研究者测了三个不同架构的

可见只靠教模型画图,并不能稳定地让它学会用语言表达同一份知识。

故事还没完。研究者紧接着追问了一个更要紧的问题:模型答不上来,会不会是因为它根本没学会这个知识?为了排除这种可能,他们又测试了

视觉可及性

具体操作是:让模型照着训练用的提示词重画一张图,再交给另一个视觉语言模型检查,看这张新图有没有正确表达目标属性。

两边一对比,结果相当戏剧性。以SenseNova-U1为例,在“号码”这一类知识上,

这个数字差距说明了什么?说明知识其实就装在模型脑子里,画图时能原样调出来用;可一旦换个问法,让它直接开口说,它就像突然失忆。研究者把这个现象量化成一个叫“

好比一个人照着谱子弹钢琴,又快又准;你让他把乐谱背出来念给你听,他却卡住了。能力明明就在那里,只是调用的接口不对。

**知识放对了地方,但接口没打通:尝试修一座桥**

这个"会画不会说"的现象被发现后,团队紧接着追问:两种能力能不能接上?

为此他们搭了一套精细的实验控制结构。每个知识类别下的虚构实体被均分为两组,其中一组叫

分组这一步其实很要紧。要是跳过分组、在所有实体上做辅助训练再测,就分不清模型变好是因为掌握了通用的"看图说话"本事,还是提前把考题答案背了下来。只有在没接受过任何额外训练的

他们试的第一种辅助训练叫

文本对齐

结果一半好一半坏。BAGEL 和 SenseNova-U1 的平均文本可及性上去了,GLM-Omni 却掉了。而且涨的那两个模型,在"号码"和"文字"两类知识上,测试实体集的文本可及性还是 0%,

团队没有停在这里,又拿出第二种更巧的辅助训练,叫

交织图文对齐

这个思路值得细看。模型既然"会画不会说",那与其让画图和答题各练各的,不如把两件事塞进同一个训练样本,逼它在一次推理里既画出来、又盯着自己画的东西给答案。画图能力和语言表达之间就这样被搭了一座桥,不再各走各的路。

打个比方,教学生记外语单词,如果只让他分开背图片和中文释义,两套材料互不相干,他多半记住了图长什么样,也记住了中文怎么说,可见到图却反应不出中文。换成每次看着图、用外语默念描述、再译成中文讲出来,图片、外语思维和母语表达就串成了一条线,这种串联练习比孤立背诵更容易把知识真正打通。不做这样的设计,只把两类训练数据堆在一起,模型很可能只学到两种互不相关的技能,而非把它们连起来的能力。

结果印证了这个判断。三个模型全都

这些提升是在测试实体集上看到的,那些实体根本没接受过专门的问答训练,所以提升确实说明交织训练带来了跨实体的迁移,而不只是死记硬背。

研究者也坦承,提升并非每个知识类别都一致向好,有的类别甚至略有下滑,这个方法眼下还算不上万能药。

**拆开看看,到底是哪部分训练在起作用**

交织图文对齐这套设计里混着好几种监督信号:图片生成的监督、文字回答的监督都有。研究者想知道,真正起作用的是哪一块。

他们在 GLM-Omni 上做了一个

结果是:一旦把图片生成的损失屏蔽掉,测试实体集上的平均文本可及性就从 26.86% 掉到 13.71%,几乎少了一半,颜色、形状、空间关系这三类跌得最狠。

可见图片生成这块监督信号本身就实实在在帮着知识迁移,不是可有可无的点缀。把图片生成、图片理解、文字推理几类不同任务连同各自的损失函数打包进同一个训练样本,这种整合方式比分开训练有效得多。

**让模型自己"回忆"一下:推理阶段也能补救**

训练阶段之外,研究者还试了一招推理阶段才生效的办法,他们称之为

视觉思维链

对已经用交织图文对齐训练过的模型,研究者让它们答题时先别急着吐文字,而是画一张图,再对着这张图推出答案。

这招效果出奇地好,尤其在"号码"类知识上。前面说过,三个模型直接用文字答"号码"题,准确率都是 0%。一旦允许先画再答,BAGEL 升到 4%,GLM-Omni 升到 36%,SenseNova-U1 升到 20%。

这个跳升很能说明问题。模型的"记忆"本来就以视觉形式存着,硬让它用语言去检索,好比让一个擅长画画、不擅长口述的人凭空背细节,很容易卡住。允许它先画出来、再对着画"读图",抽象回忆题就变成了具体的看图说话题,难度降了一大截。

**是否画对了,和说对了有没有关系**

研究团队最后又补了一组更细的关联分析,想弄清楚一件事:同一个知识点,模型要是画对了,它答对的概率会不会跟着变高?

他们为此设了一个叫“条件正确率”的指标。从结果看,多数情况下这种关联是正的:在交织对齐条件下,三个模型的这一指标都高于基准。

不过关联再强,画对之后答对的概率也没跨过50%这道线。也就是说,模型图即便画得完全正确,它用文字把这个知识点说对的概率仍然不到一半。正相关是存在的,可图片里表达正确的知识,仍有相当一部分没能转成可靠的文字输出。

**这件事到底意味着什么**

这篇论文最让人服气的地方,不在于抛出多复杂的新算法,而在于它以近乎笨拙的诚实,戳破了一个大家可能一直默认的假设:AI既然会画,就一定会说。

事实并非如此。知识可以稳稳地待在模型某个角落里,却因为“调用通道”不通,迟迟说不出口。这让人想到人类认知里一个常见的情形:有些事你明明会做,身体做得到,可真要你用语言把操作步骤完整讲一遍,反倒讲不明白。

论文还提醒了一点:眼下统一多模态模型所谓的“统一”,更多停在架构这一层,知识层面并没有真正融合。两种能力共用一套参数,不等于它们之间会自动流通信息。接下来训练数据怎么设计、模型结构怎么设计,都得回答具体问题,而不是丢下一句空泛的“需要进一步研究”。

还有一点值得说:研究者拿虚构实体来做实验设计,这种思路本身就值得学。想干净地验证一个因果关系,把所有可能的干扰变量排除掉,常常比搭一个花哨的新模型更费心思,也更有说服力。

作者们也留了个开放的口子:这项研究用的都是人工构造、简化过的虚构知识,而真实世界的图片信息复杂得多、密度也更高。要是换成真实照片,这种“会画不会说”的差距会拉大还是缩小?论文没给答案。

Q&A

Q1:知识迁移探测是什么?

A:这是清华大学和智谱AI团队搭的一套实验框架,用来检验统一多模态模型靠“学画图”获得的知识,能不能被模型用纯文字讲出来,关键在于把视觉可及性和文本可及性这两种能力分开看。

Q2:研究团队为什么拿虚构的人名地名做实验?

A:若用真实存在的知识,就排不掉模型在预训练阶段已经记住这些常识的可能。换成完全编造的虚构世界实体,才能保证模型答对的唯一来源是训练图片,从而干净地测出图片学到的知识能否转成语言表达。

Q3:交织图文对齐和普通的文本对齐训练差在哪?

A:文本对齐只是额外塞给模型一些纯文字问答样本让它记。交织图文对齐则要求模型在同一次回答里先画图、再看图、最后结合观察结果给文字答案,把生成和理解串起来,实验显示这种方式带来的知识迁移效果更好。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  2. 海淀连办两场科学家创业活动:AI创新街区揭牌与夜话交流

    一群科学家,正在做一件不太一样的事。他们一边在高校、科研院所深耕前沿技术,一边走进创业一线,把实验室里的研究成果变成产品、企业,甚至一个全新的产业方向。而一座城市,如何与这样一群人同行?这一周,海淀用前后脚的两个动作,给出了自己的回答。11月18日,未名·AIPark人工智能创新街区在北大西门旁正式揭牌。依托...

    来源 腾讯网
  3. AI泔水入侵科普:南海双头虾与万张鸟类贴纸暴露知识污染风险

    AI泔水(AI Slop),正在侵蚀人类的知识世界。这个词在2025年入选《韦氏字典》年度词汇,专门用来形容由人工智能批量生产、质量低劣的数字内容。出现双头虾的《南海海洋生物科普丛书》中,绝大多数图片均由AI绘图工具生成。图片来源:澎湃新闻近日,中国农业出版社出版的《南海海洋生物科普丛书》,因出现不符合常识的“双...

    来源 腾讯网
  4. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  5. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  6. 蔡伟:新旧动能双线推进,AI与民间投资成2026年四季度关键

    中新网北京11月20日电 (记者 张素)近日发布的一份报告认为,全球人工智能(AI)产业链延续高景气,中国AI产业也在出口带动、国内应用需求深化背景下进入发展快车道。 2026年四季度《中国经济观察》报告由毕马威发布。报告显示,经济增长动能边际企稳。 “10月工业生产与居民消费增速有所回落,投资降幅继续走扩,内需修复基

    来源 腾讯网
  7. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  8. 黎曼猜想167年悬案:AI与人类同日宣称各自完成证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 行业观察
  9. Architect Labs发布Frostbite:AI自主设计CPU,能效比达4.59倍

    2026年11月19日,AI基础设施公司Architect Labs发布Frostbite——一款完全由AI系统自主完成指令集设计、架构探索、RTL实现和GDS版图生成的通用CPU。在25项基准测试中,Frostbite对比主流双发射顺序执行超标量核心,实现了4.59倍功效比(perf/W)和8.77倍面积效

    来源 AI 科技快讯
  10. AI不抢饭碗却拆了梯子:2026年中间层岗位正在消失

    前段时间和一位在互联网大厂做 HR 前同事聊天,聊到今年校招,他说了一句让我挺不是滋味的话: “我们现在不招新人了,直接招能扛事的人。” 我问他,那原来那些让新人练手的活谁干? 他笑了一下说,AI 干。 那一刻我忽然反应过来,很多人焦虑了整整一年的“AI 会不会替代我”,其实问错了方向。 AI 抢走的不是你的饭碗,是你

    来源 AI 行业观察
  11. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  12. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  13. AI交易逆转引发避险潮:日元瑞郎对美元齐涨0.6%,美元指数回落

    周五随着市场对AI热潮可持续性的疑虑加剧,日元和瑞郎对美元均上涨0.6%,日元有望创下近一个月来最大单日涨幅。分析指出当市场转向风险规避,日元套息交易平仓会推动日元走强,而瑞郎则长期以来是机构层面的资产负债表避险工具。

    来源 华尔街见闻
  14. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
向下滚动自动加载更多