伊利诺伊大学团队:为何大模型看不懂不同系统的同一概念?

资讯 腾讯网 作者:科技行者 全文 6195 字 · 约 16 分钟读完

2023年,一群研究者遇到了一个很尴尬的问题。他们手里有四个数学证明系统:Lean 4、Isabelle、Metamath、HOL Light。这四个系统里存着成千上万条数学定理,很多其实是同一个定理,只是用了完全不同的符号写法。比如同一个关于三角函数的命题,在Lean 4里可能写成`Real.cos x`,在Meta

2023年,一群研究者碰上了一件挺尴尬的事。

他们手上摆着四个数学证明系统,人扫一眼就知道说的是同一个东西,可换成机器自动把这上万条定理两两配对,基本办不到。而这只是露出水面的那一角——知识图谱里,一个地方在……

这几个系统彼此之间毫无交集。现实里大量有价值的知识,就这么被关在一座座互不联通的孤岛上。

论文出自伊利诺伊大学厄巴纳-香槟分校,题目叫《

为什么神经网络也帮不上忙

有人会说,如今的大语言模型这么能干,看懂各种符号系统还不是轻而易举?

还真不是。

确实,大语言模型几乎什么notation都读得懂。notation*:这里指代各种专业领域里使用的符号记法,比如数学证明里的形式化语言、化学分子的编码方式等。

麻烦出在它内部表示这些符号的路子上。LLM读完一段文字,内部会生成一个高维向量,专业上管它叫隐藏状态。按理说这个向量该把这段文字的含义全编进去,可它偏偏有个毛病:

所谓各向异性*,说的是向量成组地落在高维空间时并不均匀散开,而是扎堆偏向少数几个方向;打个比方,本该四散乱飞的箭头,偏偏都朝着差不多的方位。

举个例子。你让一百个人各描述一种水果,苹果、香蕉、榴莲、火龙果,本来这些描述该千差万别。结果你发现,几乎每个人的说法里都捎带一句“这是一种食物”“你可以吃它”。这些话没错,可它们是废话,是所有描述共有的背景噪音,真正能把苹果和香蕉分开的信息,反倒被这堆共性盖住了。

LLM的隐藏向量正是如此:里面掺着大量对任何输入都成立的通用方向,算相似度的时候这些方向成了干扰项,把真正有区分度的语义信号压了下去。

另一个现象更棘手,叫做叠加*:指神经网络中一个维度往往同时承载好几个互不相关的概念,就像一个抽屉里胡乱塞着螺丝刀、袜子和巧克力。

一个维度混着好几个概念,你就没法单独给某个概念加权,也没法拉开这个维度瞧瞧里头装了什么,一切都成了黑箱。

稀疏自编码器:给每个概念一个单独的抽屉

稀疏自编码器成了研究者下手的工具。它的英文缩写是SAE*,干的事是把LLM内部那些纠缠叠加的稠密向量重新摊开,变成维度极多(十几万乃至更多都行)、可绝大多数位置取值为零的稀疏向量;其中每个非零维度,都对应着一个比较单一、能说得清的“特征”。

关键的变化在这儿:SAE等于把前面那个塞满杂物的抽屉,重新拾掇成一个巨大的分类储物柜,每一格只放一样东西——这一格放“货币相关词汇”,那一格放“铁路车站相关概念”,再远一点的格子放“编程语言里的变量命名习惯”。

论文里用的是这套字典。这正是标题里“共享坐标系”所指:SAE训练出的特征字典,等于给之后所有要处理的文本备好了一套统一的坐标系统,每个维度含义都明确。不管喂进去的是Lean 4的证明还是Metamath的证明,最后都会被投影到这同一套坐标轴上,而且每根轴代表什么,都能用人类语言讲清楚。

打个比方,这就像给全世界所有地图统一标上经纬度。从前不同国家的地图,用的可能是完全不同的局部坐标系统,

光有坐标系还不够:稀释掉那些“大路货”特征

不过,研究者很快就碰上了新麻烦。

即便用上SAE,若把激活的特征全部不加筛选地塞进相似度计算,结果照样不理想。问题出在哪?

稀疏特征空间里照样躲着一批"万金油"特征。论文举了个实例:编号f106376的特征,被解释为"数学或编程记法",在Pile语料库(一个800GB的大规模文本数据集)中,99%的token都会把它激活。

这说明什么?只要文本跟数学、代码稍微沾边,这个特征基本都会被点亮。它真实、也相关,可就是没有区分度——所有候选项都带着它,对判断"谁和谁更配对"帮不上忙。更糟的是,它的激活值还很大,会压过整个相似度计算,把真正有用的信号盖住。

论文的应对办法,是从信息检索领域借来一个1972年就有的老技巧——

逆文档频率(IDF)。这原本是文本检索里的经典做法:一个词如果在每篇文档里都出现,那它区分文档的能力就弱,权重该降;反过来,只在少数文档里露面的词辨识度更高,权重该升。

论文把这套逻辑直接套到SAE的特征维度上:统计候选池里有多少符号会激活某个特征,激活得越普遍,权重压得越低;激活得越少见,权重放得越大。于是像"数学记法"这种人人皆有的特征,权重被压到接近零;而"铁路车站相关"这类只有少数符号才会激活的特征,权重被大幅抬高。

这个思路很像老师批改开放式问答题。全班都写"综上所述"这类套话,老师不会拿它当评分依据,因为它分不出谁好谁差;可要是只有一个学生用了个特别精准的专业术语,老师马上会注意到并加分,这个词才体现出真正的理解程度。不做这层加权,就等于让"综上所述"这种车轱辘话和真正的专业术语拿一样的评价分量,整张卷子的得分会彻底失真。

论文里有一张图(原文图1)直观呈现了这套流程的效果。查询对象是知识图谱NELL中的`trainstation`类,任务是在DBpedia里找到对应的`RailwayStation`。

用原始稠密向量匹配,模型排在首位的答案竟是`AutombileEngine`(汽车引擎,原文这个词还拼错了),真正正确的`RailwayStation`掉到了第五位。为什么会匹配到汽车引擎?拆开看:贡献最大的特征是"开源软件许可证文本",占25%,其次是"带有科学或技术后缀的词汇",占16%——都是技术文本里放之四海而皆准的通用特征,跟铁路毫无关系。

换成SAE加IDF处理后,`RailwayStation`直接冲到第一,93%的匹配分数来自两个高度相关的特征:"涉及铁路的引用"贡献60%,"涉及车站的引用"贡献32%。这两个特征在整个候选池里都属稀有,一旦激活,信号非常明确。

实测效果:12个任务,横跨6类完全不同的符号系统

思路有了还不够,还得看实测。

研究者挑出六大类风格差异很大的符号系统来做测试,分别是形式数学证明(

结果汇总在论文表1里,主要对比对象是同一模型不做SAE处理的稠密隐藏状态基线。用Gemma-2-9B时,SAE-IDF方法在全部12个任务上都压过稠密基线,领先幅度最大的是Lean 4到Metamath这条线,

| 任务 | 稠密基线MRR | SAE-IDF MRR | 提升 |

|---|---|---|---|

| Lean 4 →

| Lean 4 → Metamath | 0.210 | **0.661** | +0.45 |

| Lean 4 →

| NELL → DBpedia | 0.931 | **0.976** | +0.04 |

| YAGO → Wikidata | 0.860 | **0.962** | +0.10 |

| 中文→英文本体匹配 | 0.650 | **0.754** | +0.10 |

| 俄文→英文本体匹配 | 0.644 | **0.765** | +0.12 |

| 阿拉伯文→英文本体匹配 | 0.595 | **0.722** | +0.13 |

| NCIT→DOID生物本体 | 0.701 | **0.817** | +0.12 |

| 小鼠→人类解剖本体 | 0.812 | **0.886** | +0.07 |

到了Llama-3.1-8B这一模型家族,14个对比项中SAE-IDF拿下13项。唯一失手的是XLCoST的MRR指标,差距也不大。

提升多少,跟两个系统notation的相似度直接挂钩,这点挺有意思。Isabelle和Lean 4的写法本来就接近,涨幅就只有0.05;Metamath、HOL Light的符号跟Lean 4差得远,涨幅反而大。另一头,XLCoST的代码之间本来就共用大量变量名和函数名,最朴素的字符串匹配已经够强,SAE-IDF能多挤出来的只有0.01。

这个规律本身就说明问题:两个系统表面上越不像,只靠字面匹配就越容易失灵,而这正是SAE-IDF的用武之地。它比的是深层语义特征,不是表面字符。

两个因素拆开看,谁才是真正的功臣

研究者做了一件很严谨的事:SAE-IDF由两部分组成(稀疏特征字典加IDF加权),那到底是哪部分在起作用?

他们设计了一组

研究者又反过来做了另一种控制实验:造一个随机初始化、维度和稀疏程度都跟真实SAE一模一样的"假字典",再配上IDF加权。结果这个随机字典在每一项任务上都低于原始稠密基线。

把两组实验放在一起看,结论很清楚:SAE找到的那组特征方向本身就有意义,它捕捉到的语义结构在语言中确实存在;而IDF加权是让这套结构真正起作用的必要环节。两样东西都得有——好比开锁,钥匙的齿形要对,插进去的方向也要对,缺了哪一样门都开不了。

研究者还系统扫描了SAE所在的不同层数、不同的特征字典宽度(从16000一路到100万)、不同的稀疏程度,以及2B到27B不同规模的模型。在全部39种配置、78次实验里,SAE-IDF无一例外地超过了稠密基线和去掉IDF的版本。更难得的是,随着特征字典从16000扩大到100万,HOL Light这个任务上的MRR持续从0.817一路涨到0.935,这意味着这套方法会随着底层SAE技术的规模化而持续变强,不需要额外重新训练。

可解释性:每一次匹配都能说出理由

这篇论文还有一个很打动人的地方,是它不只给出一个匹配结果,还能告诉你为什么是这个结果。

研究者挑了2315个匹配正确的案例,逐个分析特征层面的贡献。结果发现:不用IDF加权时,前面说的那个“数学或编程记法”特征几乎包揽了解释权,96%到100%的案例里它都进了贡献度前五;一旦引入IDF加权,这个特征在所有案例中都不再露面。

再细看统计数据:Pile语料库里那些激活频率超过1%的“大路货”特征,在未加权版本中贡献了56%到91%的相似度分数;加权之后,这个占比被压到0到6%。

论文给了一个具体案例。MultiFarm数据集里有个中文术语“费用”,需要找到英文本体中的对应项“fee for conference”。两个词表面上没有一个共同字符,稠密基线把正确答案排在第13位。改用未加权的SAE,排名不升反降,落到第40位——因为主导匹配的是那个泛泛的“数学编程记法”特征(贡献53%),它面对所有候选项都同样激活,根本分不出哪个更像“费用”。加上IDF之后,一个名为“费用和支付结构”的精准特征贡献了88%的分数,正确答案直接升到第一。

打个比方:一个译者在猜陌生词的含义,如果只会说“这是个名词”,这种判断放到哪个词上都成立,等于没说;可要是他能指出“这个词出现在谈价格、支付、账单的语境里”,范围就真正收窄了,答案也随之浮现。缺少这种精细的线索筛选,翻译系统输出的就永远是一堆看似正确、实则毫无指向的空话。

神经符号系统该用规则还是该用相似度

论文最后讨论了一个更哲学性的问题,什么时候该用严格的规则,什么时候该用这种基于相似度的神经网络方法。

他们按内容类型把Valentine数据集里的551对表格列分成四类:自由文本、分类标签、标识符、纯数字。SAE-IDF在前三类上的准确率落在0.79到0.81之间,表现相当稳;可一遇到纯数字列,准确率就跌到0.67,是所有方法里最差的一档。

这个结果并不意外。“用户姓名”“商品类别”这类内容背后有丰富的语义上下文,SAE能从中提炼出有意义的特征模式;而一列孤立的数字,比如1到100之间随机分布的整数,本身不携带任何“语义”,SAE能抓的东西自然有限。研究者因此提出一个设想:数值范围、单位换算这类有明确规则的信息,或许交给传统的符号规则系统处理更合适,不必硬塞给神经网络。这与哲学家维特根斯坦提出的“家族相似性”概念相通——有些概念之间的关联模糊、渐变,适合用相似度衡量;有些则由精确定义决定,这时规则比相似度更可靠。

这项工作的价值不只在单次任务的性能提升。研究者还做了一个"合并四个数学证明系统"的实验:把Lean 4、Isabelle、Metamath、HOL Light这四个系统里的489个真实题目,两两互相匹配,尝试自动归并成等价集合。用SAE-IDF给出的匹配关系去合并,最终聚出758个类,比真实题目数489更接近;换成稠密基线合并,聚类数量冲到1096个,说明不少本该合在一起的题目被错误地拆开了。这个实验某种程度上模拟了未来把多个独立构建的符号系统拼接成一个更大的知识网络时会遇到的场景。

写在后面

读这篇论文时,最让我意外的一点,是这套方法完全不需要任何针对特定任务的训练。

它所用到的SAE是其他人训练完成后公开发布的工具,LLM同样是现成的开源模型。整个流程要做的事只有一件:把符号送进LLM读一遍,用SAE编码一次,再做IDF加权。中间没有标注数据,没有微调环节,也没有为某个任务专门设计的架构。拿现成组件"白嫖"出一套跨领域通用方案,这种做法透出对当下AI研究的一种克制:不必什么都重新训一个模型,现成的积木只要拼对方式,新问题照样能解。

论文里还提到另一点,值得多想一层。像

这套方法完全依赖LLM本身能否读懂某种notation,论文也坦白承认了这个局限。碰到

一个让人脑子转个不停的问题是:越来越多独立构建的符号系统想拼成一张更大的知识网络,那时谁来判定两个符号算不算"同一个东西"?交给人类专家最终裁决,还是看相似度分数是否越过某个阈值?论文给出的答案是"保留弃权权",置信度不够高的匹配干脆不下判断。可现实世界的知识合并,远比实验室里干净的候选池混乱。

Q&A

Q1:SAE-IDF是什么?A:这是一种把稀疏自编码器与逆文档频率加权结合起来的方法,用于对齐不同符号系统(例如不同数学证明工具、不同知识图谱)中指向同一事物的符号,全程无需额外训练。

Q2:相比直接用LLM的隐藏向量做匹配,SAE-IDF好在哪?A:LLM的隐藏向量有各向异性和特征叠加的毛病,不少维度混杂着多个概念,还被通用背景信息压住。SAE-IDF先借稀疏自编码器把向量拆成可解释的独立特征,再用IDF压低那些到处激活的"万金油"特征权重,让真正有区分度的语义信号冒出来,在12个任务上普遍优于稠密向量基线。

Q3:SAE-IDF什么时候表现不好?A:数值类型的表格列匹配上,准确率明显下降;到了SMILES、IUPAC这类LLM本身就难懂的化学分子编码上,包括SAE-IDF在内的所有方法都接近随机水平。这说明该方法依赖底层模型对符号的理解能力。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Shopify Overexposed:代码配了鉴权,服务为何仍暴露公网?

    作者 | Claudio Masolo译者 | 田橙Shopify 推出了 内部扫描工具 Overexposed,用于定位 GKE 上的 Kubernetes Ingress 和 Cloud Run 服务,并检查它们是否能够在没有身份验证的情况下从互联网访问。该工具的第一个版本基于代码仓库中的配置文件,但存在误报和盲区

    来源 腾讯网
  2. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  3. 剑桥词典2026年度词汇选了Human,盖茨和Hinton都在谈人类的位置

    整理 | 郑丽媛出品 | CSDN(ID:CSDNnews)如果让 AI 写一篇文章、画一幅画、唱一首歌,甚至模仿某个明星的声音和长相,现在可能都不是什么难事。可当机器越来越像人时,人类反而开始认真讨论一个听起来有些“奇怪”的问题:什么才是真正的“人类”?近日,剑桥词典(Cambridge Dictionary)公布了

    来源 腾讯网
  4. 拓竹MakerWorld创作者靠积分赚55万:模型社区为何难复制

    模型社区成了 3D 打印厂商争夺的下一块阵地。 作者丨姚单 编辑丨董子博 2026 年 9 月底,一个 3D 打印模型社区收益榜上排第一的创作者,纯靠赚积分,已经攒下价值约 55 万元人民币的收益。年末是购机和打印高峰,照这个势头,全年冲到 80~90 万元也不成问题。 这不是个例。头部创作者一年收入高达 40 万美金

    来源 AI 行业观察
  5. 黎曼猜想167年后被宣称破解:AI与人类数学家同日提交证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 科技快讯
  6. AI共创浪潮下:FoloToy与《AI校长说》聊硬件玩法与资本路径

    11 月 20 日,2026 虹桥国际科技周在上海举行。作为聚焦科技创新、产业协作与未来趋势的交流平台,本届科技周汇聚了来自不同领域的创新者、创业者与行业观察者。少数派也在现场带来了主题论坛分享,与参与者一起探讨 AI 时代的创造与创业。在这场论坛中,老麦、张浩宇、王乐与原博从各自的实践出发,讨论了 AI 如何改变产品

    来源 腾讯网
  7. 黄仁勋:13个月冲上5万亿美元后,硅谷为何被撼动?

    如果有人在2025年秋天写下一份剧本,说一家刚刚跨越5万亿美元门槛、被全球资本奉为“AI央行”的科技帝国,会在短短13个月后亲手把它的缔造者关在门外,甚至连他放低身段写下的求归长信都以“十比零”当众退回,大概没有哪家好莱坞制片厂敢投一分钱。然而,2025年10月至2026年11月这13个月的真实商业史,却像坐上一架失控

    来源 腾讯网
  8. 心智永生实验:冷冻、固定与扫描,三条路能否存下“我”?

    从低温冷冻到醛基固定,从连接组图谱到全脑仿真,一批科学家正试图把“自我”从衰亡的肉体中抢救出来。MIT Technology Review 的圆桌讨论聚焦这一古老而激进的问题:我们想保存的究竟是大脑组织,还是那个正在思考的“我”?技术在进步,但结构能否等于体验,仍是横亘在永生梦想前的最深鸿沟。

    来源 AI 科技快讯
  9. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  10. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  11. AI穿戴设备扎堆:从眼镜到戒指,谁在为“去手机化”买单?

    过去两年,科技公司突然对人类的身体产生了浓厚兴趣。眼镜、耳机、胸针、吊坠、手环、戒指……只要是身上能佩戴的地方,几乎都有人想塞进一个AI。最近,极米推出了名为“极米记得”的AI记忆手环。与传统智能手环不同,它不靠屏幕显示消息,而是通过录音记录会议和日常对话,再由AI整理成纪要、待办事项。类似的产品正在扎堆...

    来源 腾讯网
  12. 起点番茄接连出手,网文平台为何集体对AI文说“不”

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。 起点新发布的公告 然而,多轮治理后,读者仍然会抱怨榜单上的

    来源 AI 行业观察
  13. 华自科技:子公司精实机电100吨固态电池化成容量一体机已与头部电池客户联合测试

    有投资者向华自科技(300490.SZ)提问,能否详细介绍一下最近全固态电池设备研发进度、半固态电池设备出货情况以及电池设备经营情况?11月20日,公司回答表示,子公司精实机电100吨固态电池化成容量一体机已与头部电池客户联合测试,200吨产品也完成相关功能测试;温等静压设备的样机也在内部验证中。...

    来源 腾讯网
  14. Architect Labs发布Frostbite:AI自主设计CPU,能效比达4.59倍

    2026年11月19日,AI基础设施公司Architect Labs发布Frostbite——一款完全由AI系统自主完成指令集设计、架构探索、RTL实现和GDS版图生成的通用CPU。在25项基准测试中,Frostbite对比主流双发射顺序执行超标量核心,实现了4.59倍功效比(perf/W)和8.77倍面积效

    来源 AI 科技快讯
向下滚动自动加载更多