伊利诺伊大学团队:为何大模型看不懂不同系统的同一概念?
2023年,一群研究者遇到了一个很尴尬的问题。他们手里有四个数学证明系统:Lean 4、Isabelle、Metamath、HOL Light。这四个系统里存着成千上万条数学定理,很多其实是同一个定理,只是用了完全不同的符号写法。比如同一个关于三角函数的命题,在Lean 4里可能写成`Real.cos x`,在Meta
2023年,一群研究者碰上了一件挺尴尬的事。
他们手上摆着四个数学证明系统,人扫一眼就知道说的是同一个东西,可换成机器自动把这上万条定理两两配对,基本办不到。而这只是露出水面的那一角——知识图谱里,一个地方在……
这几个系统彼此之间毫无交集。现实里大量有价值的知识,就这么被关在一座座互不联通的孤岛上。
论文出自伊利诺伊大学厄巴纳-香槟分校,题目叫《
为什么神经网络也帮不上忙
有人会说,如今的大语言模型这么能干,看懂各种符号系统还不是轻而易举?
还真不是。
确实,大语言模型几乎什么notation都读得懂。notation*:这里指代各种专业领域里使用的符号记法,比如数学证明里的形式化语言、化学分子的编码方式等。
麻烦出在它内部表示这些符号的路子上。LLM读完一段文字,内部会生成一个高维向量,专业上管它叫隐藏状态。按理说这个向量该把这段文字的含义全编进去,可它偏偏有个毛病:
所谓各向异性*,说的是向量成组地落在高维空间时并不均匀散开,而是扎堆偏向少数几个方向;打个比方,本该四散乱飞的箭头,偏偏都朝着差不多的方位。
举个例子。你让一百个人各描述一种水果,苹果、香蕉、榴莲、火龙果,本来这些描述该千差万别。结果你发现,几乎每个人的说法里都捎带一句“这是一种食物”“你可以吃它”。这些话没错,可它们是废话,是所有描述共有的背景噪音,真正能把苹果和香蕉分开的信息,反倒被这堆共性盖住了。
LLM的隐藏向量正是如此:里面掺着大量对任何输入都成立的通用方向,算相似度的时候这些方向成了干扰项,把真正有区分度的语义信号压了下去。
另一个现象更棘手,叫做叠加*:指神经网络中一个维度往往同时承载好几个互不相关的概念,就像一个抽屉里胡乱塞着螺丝刀、袜子和巧克力。
一个维度混着好几个概念,你就没法单独给某个概念加权,也没法拉开这个维度瞧瞧里头装了什么,一切都成了黑箱。
稀疏自编码器:给每个概念一个单独的抽屉
稀疏自编码器成了研究者下手的工具。它的英文缩写是SAE*,干的事是把LLM内部那些纠缠叠加的稠密向量重新摊开,变成维度极多(十几万乃至更多都行)、可绝大多数位置取值为零的稀疏向量;其中每个非零维度,都对应着一个比较单一、能说得清的“特征”。
关键的变化在这儿:SAE等于把前面那个塞满杂物的抽屉,重新拾掇成一个巨大的分类储物柜,每一格只放一样东西——这一格放“货币相关词汇”,那一格放“铁路车站相关概念”,再远一点的格子放“编程语言里的变量命名习惯”。
论文里用的是这套字典。这正是标题里“共享坐标系”所指:SAE训练出的特征字典,等于给之后所有要处理的文本备好了一套统一的坐标系统,每个维度含义都明确。不管喂进去的是Lean 4的证明还是Metamath的证明,最后都会被投影到这同一套坐标轴上,而且每根轴代表什么,都能用人类语言讲清楚。
打个比方,这就像给全世界所有地图统一标上经纬度。从前不同国家的地图,用的可能是完全不同的局部坐标系统,
光有坐标系还不够:稀释掉那些“大路货”特征
不过,研究者很快就碰上了新麻烦。
即便用上SAE,若把激活的特征全部不加筛选地塞进相似度计算,结果照样不理想。问题出在哪?
稀疏特征空间里照样躲着一批"万金油"特征。论文举了个实例:编号f106376的特征,被解释为"数学或编程记法",在Pile语料库(一个800GB的大规模文本数据集)中,99%的token都会把它激活。
这说明什么?只要文本跟数学、代码稍微沾边,这个特征基本都会被点亮。它真实、也相关,可就是没有区分度——所有候选项都带着它,对判断"谁和谁更配对"帮不上忙。更糟的是,它的激活值还很大,会压过整个相似度计算,把真正有用的信号盖住。
论文的应对办法,是从信息检索领域借来一个1972年就有的老技巧——
逆文档频率(IDF)。这原本是文本检索里的经典做法:一个词如果在每篇文档里都出现,那它区分文档的能力就弱,权重该降;反过来,只在少数文档里露面的词辨识度更高,权重该升。
论文把这套逻辑直接套到SAE的特征维度上:统计候选池里有多少符号会激活某个特征,激活得越普遍,权重压得越低;激活得越少见,权重放得越大。于是像"数学记法"这种人人皆有的特征,权重被压到接近零;而"铁路车站相关"这类只有少数符号才会激活的特征,权重被大幅抬高。
这个思路很像老师批改开放式问答题。全班都写"综上所述"这类套话,老师不会拿它当评分依据,因为它分不出谁好谁差;可要是只有一个学生用了个特别精准的专业术语,老师马上会注意到并加分,这个词才体现出真正的理解程度。不做这层加权,就等于让"综上所述"这种车轱辘话和真正的专业术语拿一样的评价分量,整张卷子的得分会彻底失真。
论文里有一张图(原文图1)直观呈现了这套流程的效果。查询对象是知识图谱NELL中的`trainstation`类,任务是在DBpedia里找到对应的`RailwayStation`。
用原始稠密向量匹配,模型排在首位的答案竟是`AutombileEngine`(汽车引擎,原文这个词还拼错了),真正正确的`RailwayStation`掉到了第五位。为什么会匹配到汽车引擎?拆开看:贡献最大的特征是"开源软件许可证文本",占25%,其次是"带有科学或技术后缀的词汇",占16%——都是技术文本里放之四海而皆准的通用特征,跟铁路毫无关系。
换成SAE加IDF处理后,`RailwayStation`直接冲到第一,93%的匹配分数来自两个高度相关的特征:"涉及铁路的引用"贡献60%,"涉及车站的引用"贡献32%。这两个特征在整个候选池里都属稀有,一旦激活,信号非常明确。
实测效果:12个任务,横跨6类完全不同的符号系统
思路有了还不够,还得看实测。
研究者挑出六大类风格差异很大的符号系统来做测试,分别是形式数学证明(
结果汇总在论文表1里,主要对比对象是同一模型不做SAE处理的稠密隐藏状态基线。用Gemma-2-9B时,SAE-IDF方法在全部12个任务上都压过稠密基线,领先幅度最大的是Lean 4到Metamath这条线,
| 任务 | 稠密基线MRR | SAE-IDF MRR | 提升 |
|---|---|---|---|
| Lean 4 →
| Lean 4 → Metamath | 0.210 | **0.661** | +0.45 |
| Lean 4 →
| NELL → DBpedia | 0.931 | **0.976** | +0.04 |
| YAGO → Wikidata | 0.860 | **0.962** | +0.10 |
| 中文→英文本体匹配 | 0.650 | **0.754** | +0.10 |
| 俄文→英文本体匹配 | 0.644 | **0.765** | +0.12 |
| 阿拉伯文→英文本体匹配 | 0.595 | **0.722** | +0.13 |
| NCIT→DOID生物本体 | 0.701 | **0.817** | +0.12 |
| 小鼠→人类解剖本体 | 0.812 | **0.886** | +0.07 |
到了Llama-3.1-8B这一模型家族,14个对比项中SAE-IDF拿下13项。唯一失手的是XLCoST的MRR指标,差距也不大。
提升多少,跟两个系统notation的相似度直接挂钩,这点挺有意思。Isabelle和Lean 4的写法本来就接近,涨幅就只有0.05;Metamath、HOL Light的符号跟Lean 4差得远,涨幅反而大。另一头,XLCoST的代码之间本来就共用大量变量名和函数名,最朴素的字符串匹配已经够强,SAE-IDF能多挤出来的只有0.01。
这个规律本身就说明问题:两个系统表面上越不像,只靠字面匹配就越容易失灵,而这正是SAE-IDF的用武之地。它比的是深层语义特征,不是表面字符。
两个因素拆开看,谁才是真正的功臣
研究者做了一件很严谨的事:SAE-IDF由两部分组成(稀疏特征字典加IDF加权),那到底是哪部分在起作用?
他们设计了一组
研究者又反过来做了另一种控制实验:造一个随机初始化、维度和稀疏程度都跟真实SAE一模一样的"假字典",再配上IDF加权。结果这个随机字典在每一项任务上都低于原始稠密基线。
把两组实验放在一起看,结论很清楚:SAE找到的那组特征方向本身就有意义,它捕捉到的语义结构在语言中确实存在;而IDF加权是让这套结构真正起作用的必要环节。两样东西都得有——好比开锁,钥匙的齿形要对,插进去的方向也要对,缺了哪一样门都开不了。
研究者还系统扫描了SAE所在的不同层数、不同的特征字典宽度(从16000一路到100万)、不同的稀疏程度,以及2B到27B不同规模的模型。在全部39种配置、78次实验里,SAE-IDF无一例外地超过了稠密基线和去掉IDF的版本。更难得的是,随着特征字典从16000扩大到100万,HOL Light这个任务上的MRR持续从0.817一路涨到0.935,这意味着这套方法会随着底层SAE技术的规模化而持续变强,不需要额外重新训练。
可解释性:每一次匹配都能说出理由
这篇论文还有一个很打动人的地方,是它不只给出一个匹配结果,还能告诉你为什么是这个结果。
研究者挑了2315个匹配正确的案例,逐个分析特征层面的贡献。结果发现:不用IDF加权时,前面说的那个“数学或编程记法”特征几乎包揽了解释权,96%到100%的案例里它都进了贡献度前五;一旦引入IDF加权,这个特征在所有案例中都不再露面。
再细看统计数据:Pile语料库里那些激活频率超过1%的“大路货”特征,在未加权版本中贡献了56%到91%的相似度分数;加权之后,这个占比被压到0到6%。
论文给了一个具体案例。MultiFarm数据集里有个中文术语“费用”,需要找到英文本体中的对应项“fee for conference”。两个词表面上没有一个共同字符,稠密基线把正确答案排在第13位。改用未加权的SAE,排名不升反降,落到第40位——因为主导匹配的是那个泛泛的“数学编程记法”特征(贡献53%),它面对所有候选项都同样激活,根本分不出哪个更像“费用”。加上IDF之后,一个名为“费用和支付结构”的精准特征贡献了88%的分数,正确答案直接升到第一。
打个比方:一个译者在猜陌生词的含义,如果只会说“这是个名词”,这种判断放到哪个词上都成立,等于没说;可要是他能指出“这个词出现在谈价格、支付、账单的语境里”,范围就真正收窄了,答案也随之浮现。缺少这种精细的线索筛选,翻译系统输出的就永远是一堆看似正确、实则毫无指向的空话。
神经符号系统该用规则还是该用相似度
论文最后讨论了一个更哲学性的问题,什么时候该用严格的规则,什么时候该用这种基于相似度的神经网络方法。
他们按内容类型把Valentine数据集里的551对表格列分成四类:自由文本、分类标签、标识符、纯数字。SAE-IDF在前三类上的准确率落在0.79到0.81之间,表现相当稳;可一遇到纯数字列,准确率就跌到0.67,是所有方法里最差的一档。
这个结果并不意外。“用户姓名”“商品类别”这类内容背后有丰富的语义上下文,SAE能从中提炼出有意义的特征模式;而一列孤立的数字,比如1到100之间随机分布的整数,本身不携带任何“语义”,SAE能抓的东西自然有限。研究者因此提出一个设想:数值范围、单位换算这类有明确规则的信息,或许交给传统的符号规则系统处理更合适,不必硬塞给神经网络。这与哲学家维特根斯坦提出的“家族相似性”概念相通——有些概念之间的关联模糊、渐变,适合用相似度衡量;有些则由精确定义决定,这时规则比相似度更可靠。
这项工作的价值不只在单次任务的性能提升。研究者还做了一个"合并四个数学证明系统"的实验:把Lean 4、Isabelle、Metamath、HOL Light这四个系统里的489个真实题目,两两互相匹配,尝试自动归并成等价集合。用SAE-IDF给出的匹配关系去合并,最终聚出758个类,比真实题目数489更接近;换成稠密基线合并,聚类数量冲到1096个,说明不少本该合在一起的题目被错误地拆开了。这个实验某种程度上模拟了未来把多个独立构建的符号系统拼接成一个更大的知识网络时会遇到的场景。
写在后面
读这篇论文时,最让我意外的一点,是这套方法完全不需要任何针对特定任务的训练。
它所用到的SAE是其他人训练完成后公开发布的工具,LLM同样是现成的开源模型。整个流程要做的事只有一件:把符号送进LLM读一遍,用SAE编码一次,再做IDF加权。中间没有标注数据,没有微调环节,也没有为某个任务专门设计的架构。拿现成组件"白嫖"出一套跨领域通用方案,这种做法透出对当下AI研究的一种克制:不必什么都重新训一个模型,现成的积木只要拼对方式,新问题照样能解。
论文里还提到另一点,值得多想一层。像
这套方法完全依赖LLM本身能否读懂某种notation,论文也坦白承认了这个局限。碰到
一个让人脑子转个不停的问题是:越来越多独立构建的符号系统想拼成一张更大的知识网络,那时谁来判定两个符号算不算"同一个东西"?交给人类专家最终裁决,还是看相似度分数是否越过某个阈值?论文给出的答案是"保留弃权权",置信度不够高的匹配干脆不下判断。可现实世界的知识合并,远比实验室里干净的候选池混乱。
Q&A
Q1:SAE-IDF是什么?A:这是一种把稀疏自编码器与逆文档频率加权结合起来的方法,用于对齐不同符号系统(例如不同数学证明工具、不同知识图谱)中指向同一事物的符号,全程无需额外训练。
Q2:相比直接用LLM的隐藏向量做匹配,SAE-IDF好在哪?A:LLM的隐藏向量有各向异性和特征叠加的毛病,不少维度混杂着多个概念,还被通用背景信息压住。SAE-IDF先借稀疏自编码器把向量拆成可解释的独立特征,再用IDF压低那些到处激活的"万金油"特征权重,让真正有区分度的语义信号冒出来,在12个任务上普遍优于稠密向量基线。
Q3:SAE-IDF什么时候表现不好?A:数值类型的表格列匹配上,准确率明显下降;到了SMILES、IUPAC这类LLM本身就难懂的化学分子编码上,包括SAE-IDF在内的所有方法都接近随机水平。这说明该方法依赖底层模型对符号的理解能力。