AI写的数学证明谁来判断?LeanPRM让模型只读自然语言

资讯 腾讯网 作者:科技行者 全文 6056 字 · 约 16 分钟读完 分类AnthropicOpenAI

2026年,OpenAI发了一份技术报告,里面列了十个被AI解决的数学难题。同一年,Anthropic用AI完整地、机器可验证地证明了费马大定理。这两件事放在一起看,会让人产生一种奇怪的焦虑感。AI现在能写出很长很难的数学证明了,长到什么程度?长到普通数学爱好者根本读不完,难到什么程度?难到连专业数学家都要花很长时间才

所属频道 大厂动态

时间来到2026年。

AI已经能写出又长又难的数学证明。长到普通数学爱好者读不完,难到专业数学家也得花很长时间才能辨对错。问题摆在面前:AI写的证明连人类专家检查起来都费劲,我们凭什么知道它是对的?

《LeanPRM》这篇论文瞄准的正是这个难题。作者来自得州大学奥斯汀分校、加州大学洛杉矶分校和纽约大学。他们想做一个"自动判卷机"——一个能读懂自然语言数学证明、还能准确指出哪一步出了错的AI模型。

**判断一个证明对不对,难在哪?**

先说清楚这件事为什么不好办。

训练解数学题的AI时,有一个现成的好处:不少题目都有标准答案。小学奥数题最后算出一个数字,对一下就知道对错。业内把这种"拿最终答案反推每一步对错"的做法叫作

过程奖励模型(PRM)

2023年

后来又有人想了个取巧的路子:让AI从某一步开始往后随机续写多种可能的解法,如果大部分续写都能走到正确答案,就判定这一步没问题。这个办法叫

可这套逻辑搬到数学证明上,完全行不通。

证明题没有"最终答案"可比对。证明"任意两个质数之和为偶数时必为2加另一质数"(

那怎么办?一条路是借助形式化证明系统,比如

Lean*:一款数学证明助手软件,它像编译代码那样,严格核对一段形式化写出的数学证明每一步是否合乎逻辑规则,不会出错,也不讲情面。

Lean的长处是绝对客观、绝对严谨,不会累,也不会看走眼。短处是,要把一段用中文或英文写的数学证明"翻译"成Lean能懂的形式化语言,这件事本身就需要专家级的训练,普通数学爱好者甚至很多数学系学生都做不到。死结就这么形成了:要么靠人工标注自然语言证明(贵),要么靠Lean检查形式化证明(难翻译)。

LeanPRM的办法是两边各取所长:让Lean去把关正确性,但训练出来的模型只读自然语言,根本不用学Lean。

**怎么让AI自己"犯错",还不让它知道自己错了?**

这是整篇论文设计里最巧妙的一环,值得细说。

研究团队遇到的难题是:负样本(即含错误的证明)质量要高,可一旦让 AI 按指令"故意编一个错误证明",编出来的错往往一眼就假、痕迹太重。这就像叫演员去演尴尬,演出来的尴尬跟真尴尬压根不是一个质感。

思路于是拐了个弯。他们把一条数学定理交给 AI,让它老老实实去证,同时要它交出两样东西:一样是供人阅读的自然语言证明,另一样是对应的 Lean 形式化代码,自然语言每一句都对应一行 Lean 代码。

关键的设计在于:AI写这两份东西的时候,完全看不到Lean运行后的反馈。

这就好比让学生闭卷考试,交卷之前不许看任何提示,也不许自己检查答案。等卷子交上去,阅卷老师(也就是Lean编译器)才开始批改。要是允许学生中途瞄一眼对错再改,卷子上留下的就不是学生真实的认知水平,而是修正后的版本,错误被悄悄抹掉了。

研究团队管这个叫"

这就是整个数据生成流程的第一阶段。他们从

第二阶段,Lean开始干活。它把形式化证明一行行检查下去,一旦某一步编译失败,这一步和它之后的所有步骤都被标记为"错误",前面所有通过编译的步骤标记为"正确"。

但事情没这么简单。Lean编译失败,不一定说明数学推理错了,也可能只是形式化语法写得不对。

打个比方说。你写一篇议论文,论证逻辑完全成立,可某句话里打错了一个标点,排版软件就报错说这段文字格式不合法。这显然不是你论证能力的问题,是排版工具太死板。要是不区分这两种失败,训练出来的模型就会把“格式问题”和“逻辑问题”混为一谈,学到错误的东西。把编译失败的证明统统当成负样本塞进训练数据,模型学到的判断标准就会被语法噪音污染,最后它可能学会的是“挑Lean语法毛病”而不是“挑数学逻辑毛病”。

研究团队为此又接入了一次模型调用,专门解析 Lean 返回的错误信息,用来分清这次失败源自数学错误,还是只属于语法层面的问题。若只是语法毛病,就给它一次修改机会,改完重新编译,通过了就保留;若改后仍不过,或判断出数学逻辑本身有误,这条数据才会被正式记为错误样本。

这套流程跑完,研究团队得到了10634个标注好的证明,一共152005个步骤级标签,整个过程没有一个人工标注员参与。

他们还找了

判对错不算完,还得说出错在哪。

光标注“对”或“错”还嫌粗糙,论文团队进一步把数学错误分成六类:毫无依据地乱设假设、不等式方向弄反或缺少证明、给出的反例或证据本身站不住脚、遗漏某种情形或前提、代数恒等式推导出错、模运算与整除关系判断失误。

此外还有四类失败归入“形式化专属”,与数学内容无关,例如所引定理的条件不匹配、重写方向弄反、要求自动化工具去做它无法完成的事。这些情况都会被过滤掉,不算作负样本。

最终保留的4264个错误证明里,占比最高的错误类型是“胡乱假设没有依据”,占了33.2%。排在后面的是不等式界限无效(17.6%)、漏掉情况或条件(17.2%)、构造错误(16.7%)、代数恒等式错误(13.6%),模运算错误最少,只有1.8%。

这个分布颇耐人寻味。AI 写证明时最常犯的毛病并非算错某个数,而是“想当然”,把本该论证的一步直接跳过,张口就断言某结论成立。人类写证明时的错误类型其实与之相似,证明中最难察觉的漏洞往往是逻辑跳跃,而非算术失误。

训练出来的模型到底好不好用。

数据有了,接下来就是训练一个只读自然语言的验证模型。

研究团队选用了

GRPO

训练阶段为模型设计的奖励函数颇有讲究:模型若把所有步骤一律标成“正确”,或一律标成“错误”,这两种偷懒做法都会受到奖励函数惩罚。唯有既认出哪些步骤确实正确、又认出哪些确实错误,才能拿到高分。这就像阅卷:老师若发现学生不管题目内容全填“A”,这样的答卷显然不该得分,奖励机制正是要堵住这条偷懒的路。

最核心的对比实验,是拿同样的Qwen3-4B模型、同样的训练配方、同样的更新步数,分别喂给它LeanPRM数据和

结果很直接。用LeanPRM训练出来的模型,在

以下是五个基准测试上的对比结果,表格里的分数越高越好:

| 模型 | LeanPRM-Bench |

|---|---|---|---|---|---|

| 未训练的Qwen3-4B | 48.2 | 37.1 | 74.3 | 42.5 | 53.8 |

| PRM800K训练版 | 60.3 | 63.1 | **83.0** | 43.3 | 57.0 |

| 纯解题强化学习版 | 48.3 | 33.6 | 71.2 | 41.5 | 52.4 |

| **LeanPRM训练版** | **74.7** | **72.8** | 74.9 | **47.4** | **66.4** |

五个基准里,LeanPRM训练出来的模型在四个上胜出,只有ProcessBench这一个测试集上PRM800K训练的模型更强。这个例外也好解释:ProcessBench的题目和PRM800K的训练数据来源非常接近,都是短小的数学解题题目,而且它判断错误的标准更宽松,只有当“缺少论证”真正影响了结论才算错,这跟LeanPRM严格的标注逻辑不太一样。

表中还有一行对比颇可玩味:一个叫“纯解题强化学习版”的模型没学过如何判对错,而是专门训练来解数学题,以最终答案是否正确作为奖励。它在自己练过的题目上进步明显,正确率由30%升到47.5%,但一旦让它判断别人证明的对错,几乎毫无长进,在多个外部基准上甚至不如未经训练的原始模型。

这说明一件事:会解题与会判卷是两种不同的能力,不能指望只靠“解题训练”的模型顺带学会判卷。人类世界也类似,一位数学家擅长自己证明定理,并不代表他擅长批改学生的证明作业;判卷需要另一套敏感度,专门盯住逻辑漏洞。

**模型尺寸的差异**

团队还把模型按0.6B、4B、8B三档分别测了一遍。

训练对每个尺寸都有效果,LeanPRM-Bench、Hard2Verify和IMO-GradingBench三项测试全部上涨。不过最小的0.6B明显跟不上:训练前它连五分之一的题目都写不出格式完整的答案,训练后虽有好转,仍比4B版本低21分左右。

4B和8B训练后的成绩却咬得很紧,LeanPRM-Bench上分别是74.7和75.0分,基本打平。这暗示模型参数量跨过某个门槛之后,再往上加带来的提升会明显放缓。好比一台本来就够快的电脑再加内存,提速越来越不划算。

**从判对错到挑证明**

只判断单个证明的对错还不够。实际使用中更常见的场景是:AI一次生成了好几份不同的证明,哪一份最靠得住?

团队在IMO-GradingBench上做了个"N选1"实验。这个基准收录国际数学奥林匹克级别的问题,每题约有33份人工评分的证明。做法是给验证模型N份候选证明,让它挑出一份自认为正确的,再看这份被选中的证明是否真的被人工判为正确。

N=16时,LeanPRM训练出的模型挑中正确证明的概率为35.9%,随机乱选的基准线是32.4%,而且N越大差距越明显。反观PRM800K训练出的模型,表现几乎等于随机选择——它接受率高达79%,实际正确率却只有30%,基本上对所有证明都来者不拒,没学会分辨好坏,只是点头。

换个场景更好理解。假设你是编辑,桌上摆着16篇投稿,真正合格的约三成。合格的编辑该把不合格的筛掉大半,只留相对靠谱的几篇;可要是你对每篇投稿都说"挺好",那审稿这道工序等于不存在,稿件能不能发全看运气。PRM800K训练出的模型,就很像这种形同虚设的编辑。

**顶级商业模型也栽跟头**

论文里有一段很诚实的分析,他们测试了

结果发现,在针对这四个顶级商业模型的原始测试中,有26份证明被它们全部判错,而且错的方式如出一辙。

团队专门挑了几个案例来分析。其中一个涉及1985个自然数的数论题,证明里用"

这透露出一件事:再先进的商业AI,碰到复杂证明也可能被那种"听起来很专业的论证语气"骗过去。就像一个内行审稿人若不够仔细,也会被逻辑听着头头是道、实则偷偷跳步的论证蒙混过关。这种场景下,严谨的形式化检查工具反而比"更聪明"的通用大模型更可靠——它不讲人情,不会被漂亮措辞打动,只认逻辑链条是否严丝合缝。

这提醒听起来不太舒服,但很真实:模型越大越聪明,不等于它越不容易被忽悠。真正靠得住的判断力,有时来自死板的规则,而不是灵活的直觉。

**方法的边界**

论文作者也直说了这套方法的局限。

头一条,区分"数学错误"和"形式化语法错误"这一步本身由AI模型来判,虽然做过抽样审核,但没法保证100%准确,边界情况仍可能判错。

第二条,负样本全部来自Claude这一个模型家族自己犯的错,训练数据覆盖的"错误类型"因此可能有偏差。有些人类常犯、Claude却不常犯的错误,这套系统没准压根没见过,自然也学不会识别。

还有一点,测试集LeanPRM-Bench本身也是用同一套流程、同一批生成模型做出来的,这难免让人担心验证模型是不是只学会了认"Claude式的错误",换一批风格完全不同的证明生成器,表现会不会打折。好在论文另外用了四个完全独立的外部基准做交叉验证,这层顾虑多少被缓解了一些。

往前看,"用形式化工具给自然语言生成训练标签"这套思路并不局限于数学。任何"没有唯一答案、但局部环节能被精确检验"的任务,理论上都能套这个模式——比如给代码生成任务配一套单元测试当裁判,或给科学推理配一个物理模拟器当裁判。数学只是这条路第一个站稳脚跟的落地场景。

写在后面

读完论文,最触动我的不是准确率涨了多少分,而是那个"盲证"设计。

让AI在完全不知道自己是对是错的情况下写证明,听着简单,背后的洞察却不浅:想拿到真实的错误样本,前提是不让犯错的人(或AI)有机会偷偷纠正自己。这跟心理学里的"盲法实验"是同一个逻辑——只有被试完全不知道自己被观察、被检验,TA的真实反应才有参考价值。很多AI训练数据的问题可能就出在这一环:我们总忍不住想把数据"干净"一点,却在不知不觉中把最有价值的真实错误过滤掉了。

另一个让我意外的细节,是那个"纯解题强化学习"的对照实验。直觉上,一个很会解数学题的AI大概率也懂得判断证明对错,毕竟都是数学能力。实验结果却狠狠打了这个直觉的脸:解题能力和判卷能力几乎是两条不相交的技能线。这让我想到,平时评价一个人"数学好",其实默认把解题和审题、推理和纠错混为一谈了,而这篇论文用数据说明,这个假设可能需要重新审视。

有个细节单拎出来挺耐人寻味:四个顶级商业大模型,在同一批证明上犯下的错误一模一样。说巧合恐怕说不过去。更合理的解释是,这一代大模型或许共享着某种相近的“盲点结构”——训练数据来源接近、训练方式相似,碰上特定类型的逻辑漏洞时,它们给出的失误就整齐得惊人。真要是这样,靠“换个更大的模型”来解决可靠性问题大概行不通,得换一种质地完全不同的检验机制,比如这篇论文采用的形式化证明系统。

一个AI写出的证明,人类看不太懂,但可能是对的;另一个AI来判定它对不对;判定的依据,则来自第三个AI——它对自已完全诚实,在不知情的情况下犯下了真实错误。这条链子摆在那儿,已经有点像数学世界里一场悄悄推进的信任重构。

Q&A

Q1:LeanPRM是什么?它是一个用来训练数学证明验证模型的框架。做法是用Lean证明助手,为自然语言写成的数学证明逐个步骤打上对错标签,全程不用人工标注,最后训出一个只读自然语言就能判断每一步证明是否正确的AI模型。

Q2:LeanPRM训出的验证模型,和人工标注的PRM800K相比效果如何?在训练配方和训练量一致的前提下,LeanPRM训出的4B模型在五个基准测试里有四个压过PRM800K训出的模型,例如LeanPRM-Bench上是74.7分对60.3分;不过ProcessBench这一个基准上,PRM800K版本更强。

Q3:为什么不直接让AI生成一个“故意出错”的证明拿去训练?因为刻意造出来的错误不自然,跟真实会犯的错不一样。LeanPRM的做法是让AI在完全看不到Lean反馈的状态下认真证定理,这样它犯的错都来自真实能力,再由Lean和第二个模型筛出真正的数学错误,而不是人为编出来的假错误。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果自研AI智能体:可操纵设备写代码,2027年推服务未定

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  2. 苹果自研AI智能体曝光:可操控设备、写代码,2027年底或落地

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  3. 苹果招募智能体工程师:要让AI写代码、控设备,最早明年底上线

    AI正从被动问答转向主动执行,科技巨头加速布局自主智能体。苹果也在开发能代表用户完成任务的自主AI智能体,切入由OpenAI、Anthropic、Meta等占据的高增长市场。其官网招聘信息印证该动向,岗位要求透露核心能力包括写代码、浏览网页与操控设备,显示苹果正推进相关项目。

    来源 AI 产业速递
  4. Anthropic登陆美股:开盘111.50美元,估值破2万亿

    今天凌晨,Anthropic 正式登陆纳斯达克,股票代码 ANT(“蚂蚁”)。第一笔成交价,111.50 美元。比 83 美元的发行价上涨约 34%。按开盘价计算,Anthropic 估值一举冲破 2 万亿美元。五年前,Anthropic 的CEO Dario Amodei 和一批同事从 OpenAI 离职,出来创办

    来源 腾讯网
  5. OpenAI调整安全策略:35秒内可停模型,第三方评估入驻内部

    21世纪经济报道记者肖潇 报道“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明,首次全面披露了团队的安全措施,并表示正在调整训练和模型发布速度。一个月前,Anthropic也宣布与第三方安全机构合作,让外部人员

    来源 腾讯网
  6. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  7. Anthropic上市首日涨17%:募资813亿美元,OpenAI也要上市

    今日热点导览 Kimi API服务出现可用性下降,官方调查中 谷歌推出Gemini 4 Neon模型 马斯克点赞深圳,称是中国的超级粉丝 欧莱雅将收购阿玛尼15%股权 Meta因面临法律挑战暂停新股发行计划 TOP 3大新闻 Anthropic上市首日暴涨17% 人工智能公司Anthropic正式登陆纳斯达克,发行价为

    来源 AI 行业观察
  8. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  9. Anthropic上市即遭联名信炮轰:2万亿市值与半个硅谷的怒火

    Anthropic于2026年11月19日上市,成为规模最大的IPO,首日收盘市值约1.77万亿美元。七位联合创始人通过F类股票掌握50.1%投票权,员工首日即可套现;同时其9009亿美元算力采购承诺被指“循环融资”,上市当日遭近百名AI人士公开信批评“言行不一”。

    来源 凤凰科技
  10. OpenAI研究提速背后:AI产能过剩隐忧浮现

    10月6日,OpenAI在GitHub 一次性公开722份AI生成的数学研究手稿,覆盖数百个待解难题。两周后,菲尔兹奖得主陶哲轩就在《自然》刊发评论,提出一个引人深思的判断:AI正在把数学带入 “证明过剩” 的时代,这并非褒扬,而是对AI提速研究节奏的警醒。在陶哲轩看来,数学证明的价值不止是得出对错结论,漫长的推导、同

    来源 腾讯网
  11. Anthropic上市当天遭抗议,离职研究员呼吁必须关闭这项AI技术

    北京时间11月20日,Anthropic前研究员雅各布·考克森在Anthropic旧金山总部外现身,向抗议者公开呼吁禁止人工智能系统的递归自我改进(RSI),并称“他们应该禁止RSI,关掉它”。报道称,RSI可能加速AI能力发展,也引发对AI失控风险的担忧。

    来源 凤凰科技
  12. Anthropic CEO敲响纳斯达克:AI发展不能只踩油门

    在纳斯达克开市钟仪式上,Anthropic首席执行官达里奥·阿莫代重申公司对“控制AI发展节奏”的承诺,强调无论面临商业诱惑还是政治压力,都不会为抢先发布而牺牲安全评估。这一表态出现在前沿模型竞赛白热化、华盛顿监管博弈升温的节点上,被解读为对“加速主义”的一次公开回应。

    来源 AI 科技快讯
  13. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  14. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  15. 苹果自研AI代理明年年底推出,Meta与Anthropic股价盘后走低

    中新经纬11月20日电 (宋亚芬)据彭博社11月20日报道,苹果公司正在开发自己的自主AI代理,预计在明年年底推出。 根据苹果官网上的职位招聘内容,苹果的AI代理将代表用户编写代码、浏览网页、控制应用程序等。苹果公司已有一个基础团队在负责该项业务,并计划招聘一位高级工程经理来实现目标。 苹果公司表示,安全性需要被融..

    来源 腾讯网
  16. Anthropic上市:创始团队一股握50.1%投票权,员工首日可抛3.15亿股

    11 月 19 日,成立仅仅 5 年的 AI 巨头 Anthropic 正式上市。 一举打破 SpaceX 此前创下的纪录,成为人类商业史上规模最大的一次 IPO。 更夸张的是,开盘后它的市值更是一度冲破 2 万亿美元大关,收盘市值约1.77万亿美元。 魔幻的是,就在敲钟的同一天,近百位全球顶尖的 AI 研究者与创业者

    来源 AI 行业观察
  17. 全球宕机、Anthropic上市、芯片变局:AI繁荣的三重底色

    过去一周,大规模宕机事件席卷全球数字生活,暴露出AI时代基础设施的深层脆弱。与此同时,Anthropic的IPO为行业注入新资本,黄仁勋之后的AI芯片格局也在悄然生变。本期WIRED播客《Uncanny Valley》围绕这三条主线,拆解AI繁荣背后的技术逻辑与商业变局。

    来源 AI 科技快讯
  18. Anthropic纳斯达克首秀大涨33%,AI资本盛宴再掀高潮

    11月20日,AI明星公司Anthropic正式登陆纳斯达克,首日交易价达111美元,较83美元的IPO发行价大涨33%。此次IPO募资规模超过800亿美元,成为AI领域迄今规模最大的公开上市事件之一。首日强劲表现不仅彰显资本市场对头部AI企业的信心,也为后续排队上市的AI公司打开了窗口。

    来源 AI 科技快讯
  19. Anthropic登陆纳斯达克:813.4亿美元IPO,AI价值该重估了吗?

    编者按:北京时间11月19日晚,Anthropic在纳斯达克正式敲钟。每股83美元,公开发行9.8亿股,合计813.4亿美元。按发行时金额统计,Anthropic超过了SpaceX今年6月的750亿美元,成为史上最大IPO。在数字行业知名观察家、阿里云智能副总裁安筱鹏看来,这直观地反映了AI作为新的生产工具的价值。11

    来源 腾讯网
向下滚动自动加载更多