AI写的数学证明谁来判断?LeanPRM让模型只读自然语言
2026年,OpenAI发了一份技术报告,里面列了十个被AI解决的数学难题。同一年,Anthropic用AI完整地、机器可验证地证明了费马大定理。这两件事放在一起看,会让人产生一种奇怪的焦虑感。AI现在能写出很长很难的数学证明了,长到什么程度?长到普通数学爱好者根本读不完,难到什么程度?难到连专业数学家都要花很长时间才
时间来到2026年。
AI已经能写出又长又难的数学证明。长到普通数学爱好者读不完,难到专业数学家也得花很长时间才能辨对错。问题摆在面前:AI写的证明连人类专家检查起来都费劲,我们凭什么知道它是对的?
《LeanPRM》这篇论文瞄准的正是这个难题。作者来自得州大学奥斯汀分校、加州大学洛杉矶分校和纽约大学。他们想做一个"自动判卷机"——一个能读懂自然语言数学证明、还能准确指出哪一步出了错的AI模型。
**判断一个证明对不对,难在哪?**
先说清楚这件事为什么不好办。
训练解数学题的AI时,有一个现成的好处:不少题目都有标准答案。小学奥数题最后算出一个数字,对一下就知道对错。业内把这种"拿最终答案反推每一步对错"的做法叫作
过程奖励模型(PRM)
2023年
后来又有人想了个取巧的路子:让AI从某一步开始往后随机续写多种可能的解法,如果大部分续写都能走到正确答案,就判定这一步没问题。这个办法叫
可这套逻辑搬到数学证明上,完全行不通。
证明题没有"最终答案"可比对。证明"任意两个质数之和为偶数时必为2加另一质数"(
那怎么办?一条路是借助形式化证明系统,比如
Lean*:一款数学证明助手软件,它像编译代码那样,严格核对一段形式化写出的数学证明每一步是否合乎逻辑规则,不会出错,也不讲情面。
Lean的长处是绝对客观、绝对严谨,不会累,也不会看走眼。短处是,要把一段用中文或英文写的数学证明"翻译"成Lean能懂的形式化语言,这件事本身就需要专家级的训练,普通数学爱好者甚至很多数学系学生都做不到。死结就这么形成了:要么靠人工标注自然语言证明(贵),要么靠Lean检查形式化证明(难翻译)。
LeanPRM的办法是两边各取所长:让Lean去把关正确性,但训练出来的模型只读自然语言,根本不用学Lean。
**怎么让AI自己"犯错",还不让它知道自己错了?**
这是整篇论文设计里最巧妙的一环,值得细说。
研究团队遇到的难题是:负样本(即含错误的证明)质量要高,可一旦让 AI 按指令"故意编一个错误证明",编出来的错往往一眼就假、痕迹太重。这就像叫演员去演尴尬,演出来的尴尬跟真尴尬压根不是一个质感。
思路于是拐了个弯。他们把一条数学定理交给 AI,让它老老实实去证,同时要它交出两样东西:一样是供人阅读的自然语言证明,另一样是对应的 Lean 形式化代码,自然语言每一句都对应一行 Lean 代码。
关键的设计在于:AI写这两份东西的时候,完全看不到Lean运行后的反馈。
这就好比让学生闭卷考试,交卷之前不许看任何提示,也不许自己检查答案。等卷子交上去,阅卷老师(也就是Lean编译器)才开始批改。要是允许学生中途瞄一眼对错再改,卷子上留下的就不是学生真实的认知水平,而是修正后的版本,错误被悄悄抹掉了。
研究团队管这个叫"
这就是整个数据生成流程的第一阶段。他们从
第二阶段,Lean开始干活。它把形式化证明一行行检查下去,一旦某一步编译失败,这一步和它之后的所有步骤都被标记为"错误",前面所有通过编译的步骤标记为"正确"。
但事情没这么简单。Lean编译失败,不一定说明数学推理错了,也可能只是形式化语法写得不对。
打个比方说。你写一篇议论文,论证逻辑完全成立,可某句话里打错了一个标点,排版软件就报错说这段文字格式不合法。这显然不是你论证能力的问题,是排版工具太死板。要是不区分这两种失败,训练出来的模型就会把“格式问题”和“逻辑问题”混为一谈,学到错误的东西。把编译失败的证明统统当成负样本塞进训练数据,模型学到的判断标准就会被语法噪音污染,最后它可能学会的是“挑Lean语法毛病”而不是“挑数学逻辑毛病”。
研究团队为此又接入了一次模型调用,专门解析 Lean 返回的错误信息,用来分清这次失败源自数学错误,还是只属于语法层面的问题。若只是语法毛病,就给它一次修改机会,改完重新编译,通过了就保留;若改后仍不过,或判断出数学逻辑本身有误,这条数据才会被正式记为错误样本。
这套流程跑完,研究团队得到了10634个标注好的证明,一共152005个步骤级标签,整个过程没有一个人工标注员参与。
他们还找了
判对错不算完,还得说出错在哪。
光标注“对”或“错”还嫌粗糙,论文团队进一步把数学错误分成六类:毫无依据地乱设假设、不等式方向弄反或缺少证明、给出的反例或证据本身站不住脚、遗漏某种情形或前提、代数恒等式推导出错、模运算与整除关系判断失误。
此外还有四类失败归入“形式化专属”,与数学内容无关,例如所引定理的条件不匹配、重写方向弄反、要求自动化工具去做它无法完成的事。这些情况都会被过滤掉,不算作负样本。
最终保留的4264个错误证明里,占比最高的错误类型是“胡乱假设没有依据”,占了33.2%。排在后面的是不等式界限无效(17.6%)、漏掉情况或条件(17.2%)、构造错误(16.7%)、代数恒等式错误(13.6%),模运算错误最少,只有1.8%。
这个分布颇耐人寻味。AI 写证明时最常犯的毛病并非算错某个数,而是“想当然”,把本该论证的一步直接跳过,张口就断言某结论成立。人类写证明时的错误类型其实与之相似,证明中最难察觉的漏洞往往是逻辑跳跃,而非算术失误。
训练出来的模型到底好不好用。
数据有了,接下来就是训练一个只读自然语言的验证模型。
研究团队选用了
GRPO
训练阶段为模型设计的奖励函数颇有讲究:模型若把所有步骤一律标成“正确”,或一律标成“错误”,这两种偷懒做法都会受到奖励函数惩罚。唯有既认出哪些步骤确实正确、又认出哪些确实错误,才能拿到高分。这就像阅卷:老师若发现学生不管题目内容全填“A”,这样的答卷显然不该得分,奖励机制正是要堵住这条偷懒的路。
最核心的对比实验,是拿同样的Qwen3-4B模型、同样的训练配方、同样的更新步数,分别喂给它LeanPRM数据和
结果很直接。用LeanPRM训练出来的模型,在
以下是五个基准测试上的对比结果,表格里的分数越高越好:
| 模型 | LeanPRM-Bench |
|---|---|---|---|---|---|
| 未训练的Qwen3-4B | 48.2 | 37.1 | 74.3 | 42.5 | 53.8 |
| PRM800K训练版 | 60.3 | 63.1 | **83.0** | 43.3 | 57.0 |
| 纯解题强化学习版 | 48.3 | 33.6 | 71.2 | 41.5 | 52.4 |
| **LeanPRM训练版** | **74.7** | **72.8** | 74.9 | **47.4** | **66.4** |
五个基准里,LeanPRM训练出来的模型在四个上胜出,只有ProcessBench这一个测试集上PRM800K训练的模型更强。这个例外也好解释:ProcessBench的题目和PRM800K的训练数据来源非常接近,都是短小的数学解题题目,而且它判断错误的标准更宽松,只有当“缺少论证”真正影响了结论才算错,这跟LeanPRM严格的标注逻辑不太一样。
表中还有一行对比颇可玩味:一个叫“纯解题强化学习版”的模型没学过如何判对错,而是专门训练来解数学题,以最终答案是否正确作为奖励。它在自己练过的题目上进步明显,正确率由30%升到47.5%,但一旦让它判断别人证明的对错,几乎毫无长进,在多个外部基准上甚至不如未经训练的原始模型。
这说明一件事:会解题与会判卷是两种不同的能力,不能指望只靠“解题训练”的模型顺带学会判卷。人类世界也类似,一位数学家擅长自己证明定理,并不代表他擅长批改学生的证明作业;判卷需要另一套敏感度,专门盯住逻辑漏洞。
**模型尺寸的差异**
团队还把模型按0.6B、4B、8B三档分别测了一遍。
训练对每个尺寸都有效果,LeanPRM-Bench、Hard2Verify和IMO-GradingBench三项测试全部上涨。不过最小的0.6B明显跟不上:训练前它连五分之一的题目都写不出格式完整的答案,训练后虽有好转,仍比4B版本低21分左右。
4B和8B训练后的成绩却咬得很紧,LeanPRM-Bench上分别是74.7和75.0分,基本打平。这暗示模型参数量跨过某个门槛之后,再往上加带来的提升会明显放缓。好比一台本来就够快的电脑再加内存,提速越来越不划算。
**从判对错到挑证明**
只判断单个证明的对错还不够。实际使用中更常见的场景是:AI一次生成了好几份不同的证明,哪一份最靠得住?
团队在IMO-GradingBench上做了个"N选1"实验。这个基准收录国际数学奥林匹克级别的问题,每题约有33份人工评分的证明。做法是给验证模型N份候选证明,让它挑出一份自认为正确的,再看这份被选中的证明是否真的被人工判为正确。
N=16时,LeanPRM训练出的模型挑中正确证明的概率为35.9%,随机乱选的基准线是32.4%,而且N越大差距越明显。反观PRM800K训练出的模型,表现几乎等于随机选择——它接受率高达79%,实际正确率却只有30%,基本上对所有证明都来者不拒,没学会分辨好坏,只是点头。
换个场景更好理解。假设你是编辑,桌上摆着16篇投稿,真正合格的约三成。合格的编辑该把不合格的筛掉大半,只留相对靠谱的几篇;可要是你对每篇投稿都说"挺好",那审稿这道工序等于不存在,稿件能不能发全看运气。PRM800K训练出的模型,就很像这种形同虚设的编辑。
**顶级商业模型也栽跟头**
论文里有一段很诚实的分析,他们测试了
结果发现,在针对这四个顶级商业模型的原始测试中,有26份证明被它们全部判错,而且错的方式如出一辙。
团队专门挑了几个案例来分析。其中一个涉及1985个自然数的数论题,证明里用"
这透露出一件事:再先进的商业AI,碰到复杂证明也可能被那种"听起来很专业的论证语气"骗过去。就像一个内行审稿人若不够仔细,也会被逻辑听着头头是道、实则偷偷跳步的论证蒙混过关。这种场景下,严谨的形式化检查工具反而比"更聪明"的通用大模型更可靠——它不讲人情,不会被漂亮措辞打动,只认逻辑链条是否严丝合缝。
这提醒听起来不太舒服,但很真实:模型越大越聪明,不等于它越不容易被忽悠。真正靠得住的判断力,有时来自死板的规则,而不是灵活的直觉。
**方法的边界**
论文作者也直说了这套方法的局限。
头一条,区分"数学错误"和"形式化语法错误"这一步本身由AI模型来判,虽然做过抽样审核,但没法保证100%准确,边界情况仍可能判错。
第二条,负样本全部来自Claude这一个模型家族自己犯的错,训练数据覆盖的"错误类型"因此可能有偏差。有些人类常犯、Claude却不常犯的错误,这套系统没准压根没见过,自然也学不会识别。
还有一点,测试集LeanPRM-Bench本身也是用同一套流程、同一批生成模型做出来的,这难免让人担心验证模型是不是只学会了认"Claude式的错误",换一批风格完全不同的证明生成器,表现会不会打折。好在论文另外用了四个完全独立的外部基准做交叉验证,这层顾虑多少被缓解了一些。
往前看,"用形式化工具给自然语言生成训练标签"这套思路并不局限于数学。任何"没有唯一答案、但局部环节能被精确检验"的任务,理论上都能套这个模式——比如给代码生成任务配一套单元测试当裁判,或给科学推理配一个物理模拟器当裁判。数学只是这条路第一个站稳脚跟的落地场景。
写在后面
读完论文,最触动我的不是准确率涨了多少分,而是那个"盲证"设计。
让AI在完全不知道自己是对是错的情况下写证明,听着简单,背后的洞察却不浅:想拿到真实的错误样本,前提是不让犯错的人(或AI)有机会偷偷纠正自己。这跟心理学里的"盲法实验"是同一个逻辑——只有被试完全不知道自己被观察、被检验,TA的真实反应才有参考价值。很多AI训练数据的问题可能就出在这一环:我们总忍不住想把数据"干净"一点,却在不知不觉中把最有价值的真实错误过滤掉了。
另一个让我意外的细节,是那个"纯解题强化学习"的对照实验。直觉上,一个很会解数学题的AI大概率也懂得判断证明对错,毕竟都是数学能力。实验结果却狠狠打了这个直觉的脸:解题能力和判卷能力几乎是两条不相交的技能线。这让我想到,平时评价一个人"数学好",其实默认把解题和审题、推理和纠错混为一谈了,而这篇论文用数据说明,这个假设可能需要重新审视。
有个细节单拎出来挺耐人寻味:四个顶级商业大模型,在同一批证明上犯下的错误一模一样。说巧合恐怕说不过去。更合理的解释是,这一代大模型或许共享着某种相近的“盲点结构”——训练数据来源接近、训练方式相似,碰上特定类型的逻辑漏洞时,它们给出的失误就整齐得惊人。真要是这样,靠“换个更大的模型”来解决可靠性问题大概行不通,得换一种质地完全不同的检验机制,比如这篇论文采用的形式化证明系统。
一个AI写出的证明,人类看不太懂,但可能是对的;另一个AI来判定它对不对;判定的依据,则来自第三个AI——它对自已完全诚实,在不知情的情况下犯下了真实错误。这条链子摆在那儿,已经有点像数学世界里一场悄悄推进的信任重构。
Q&A
Q1:LeanPRM是什么?它是一个用来训练数学证明验证模型的框架。做法是用Lean证明助手,为自然语言写成的数学证明逐个步骤打上对错标签,全程不用人工标注,最后训出一个只读自然语言就能判断每一步证明是否正确的AI模型。
Q2:LeanPRM训出的验证模型,和人工标注的PRM800K相比效果如何?在训练配方和训练量一致的前提下,LeanPRM训出的4B模型在五个基准测试里有四个压过PRM800K训出的模型,例如LeanPRM-Bench上是74.7分对60.3分;不过ProcessBench这一个基准上,PRM800K版本更强。
Q3:为什么不直接让AI生成一个“故意出错”的证明拿去训练?因为刻意造出来的错误不自然,跟真实会犯的错不一样。LeanPRM的做法是让AI在完全看不到Lean反馈的状态下认真证定理,这样它犯的错都来自真实能力,再由Lean和第二个模型筛出真正的数学错误,而不是人为编出来的假错误。