姚期智杨植麟联合发论文：100道题考前沿大模型，开放猜想无一破解

11月5日，arXiv上出现了一篇新论文。

论文的五位作者分别来自月之暗面、清华大学和上海期智研究院。其中两个名字很扎眼：一个是图灵奖得主、清华大学交叉信息研究院院长姚期智，另一个是月之暗面（Kimi）创始人杨植麟。

文章标题为《TCSExam：对前沿大语言模型开展全领域理论计算机科学研究评估》，英文写作TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research。

说白了，几个人凑了一套卷子，发给眼下最强的那批AI大模型去做。

TCS指的是理论计算机科学（Theoretical Computer Science）。修电脑、写代码都不在它关心的范围内，它盯的是“计算”本身。

打个比方，程序员好比司机，琢磨的是发动机和内饰；TCS管的是交通——从甲地到乙地最短能多快，哪条路压根走不通。

这一块处在数学与计算机科学的交界处，问题全绕着一个“计算”转，研究手段以证明为主。

论文露面的时机有些微妙。10月初，OpenAI一次性公开了722篇AI撰写的数学手稿，按相关性分成372个“结果族”，涉及数论、理论计算机、几何、数学物理等17个领域。“AI把数学干废了”的话题还一度登上微博热搜。

陶哲轩对《自然》（Nature）说过，AI在几乎每个领域都有个要命的短板：犯了错没法核验。数学是例外，证明尤其如此，对错能交给机器自动查验。这跟数独差不多，填起来费劲，填完对不对，查一遍就清楚。也正因如此，AI公司最不容易起争议的成果，会落在数学上。

不过姚期智和杨植麟这套卷子考完，给出的结论有点浇冷水：那些至今悬着的开放猜想，参考的模型里没有一个能独立解出来。

大模型有那么多基准，为什么还要出卷子？

大模型的跑分差不多每两个月往上蹿一轮，榜单五花八门，看得人眼晕。问题是这些榜单只能说明模型会做题，反映不了它的研究水平。

做题说到底是照菜谱炒菜，步骤现成，好坏有标准，你也没见过锅包肉里搁巧克力的吧？研究就不一样了，没有定好的步骤，成不成事先谁也说不准，不少问题连出题人自己都不知道答案。

判卷更麻烦。模型一口气写出几百页“证明”，谁有功夫一页页翻？它声称自己攻破了一个几十年没人解开的猜想，又有谁能证实它写对了？

OpenAI那722篇手稿就是摆在眼前的例子。

这篇论文想搞清楚的就一件事：真把研究的活儿交给AI，它能干成什么样。

他们的做法是只出机器能判的题。题目越接近真研究，判分越难；TCS刚好是个例外，它的结论大多能被机器验证。

整套卷子共100道题，分成四类，对应理论计算机科学家日常干的四种活。

第一类是定理证明，20道。题目摘自2023到2026年的TCS论文，都是研究人员正式发表过的定理，涵盖13个细分方向。

模型得从头到尾写出一份完整证明，还不能用大白话，要用Lean 4这种专门语言来写，方便机器检查。这就像去窗口办事填表，每栏都按格式填，交一篇作文上去是不收的。考法分三档，可以拿爬山来理解。

第二类是求解器工程，30道。“求解器”指专门解某一类题的程序。这类题要的不是模型解一道题，而是让它写个程序，把同一类题全解了。

模型拿到手的是一份问题说明、一个最笨的解法和一批公开例题。比如给一批电路，要求功能不变，把其中一种基本元件（AND门，也叫与门）的数量尽量压下去，越少越好。

第三类是显式构造，20道。前面几类都算让模型“纸上谈兵”，到了构造这一步，模型得把东西真造出来。

第四类是开放猜想，一共30道。这些题目的共同点是，至今既没有人证明，也没有人推翻。

要说老百姓最熟悉的开放猜想，多半是哥德巴赫猜想。它提出已经两百八十多年，靠谱的证明方法我至今没见谁拿出来过。

卷子上这30道名气没这么大，但性质一样。每题都留两个空：一个写“猜想成立”的完整证明，一个写“猜想不成立”的完整证明，填满其中任意一个才算过关。

这一栏还不给步骤分，解不出来就是0分。

出题时，专家先按三条标准筛：研究价值够不够，领域覆盖全不全，结果能不能验证。

100道题全都过了专家审阅。之后由一个AI助手把题目译成Lean语言、编写评分程序，再由另一个独立的AI助手对照原论文逐条核查：题目的条件和范围有没有抄错，还要拿特殊的小例子去试，并把Lean版题目翻回自然语言再比一遍，免得翻译过程中题目走了样。

试考阶段，有40多道定理题被模型做了出来，这些题于是直接淘汰。到了正式考试，哪道题意外被证出来，或者得分高得反常，都会触发对题目和出处的重新审查。

除此之外，模型若在考试中破了纪录，AI还要把它的整个运行过程重新审一遍。

和你们参加过的所有考试一样，TCSExam也限时。

每道题每次作答最多给12个小时，按现实流逝的时间计算。Kimi K3、KimiK3.1 Pro和两个版本的DeepSeek每题考3次，其余模型每题考1次。100道题各考一遍，最多要花1200小时。

TCSExam同样分开卷和闭卷。微积分、概率论闭卷，马哲、思修开卷，上过大学的都懂。放到TCSExam里，定理证明和求解器两类不许上网，只有构造和猜想两类可以查文献。这条先记住，后面用得上。

完整版考一次太费时间，所以另设了轻量版Lite：四类题各抽5道，共20道，每次作答时限不变，题量减少80%，最多需要240小时。题目、代码和评测工具全部公开，谁都能拿去复查。

四类成绩最后合成一个总分，叫TCSExam Index。算法不复杂：定理证明、求解器、构造各占30分，开放猜想占10分。公式写作I=30P+30S+30C+10O，其中P、S、C、O分别是这四类题的平均得分。

分数如何呢？

看成绩之前，先把每一项怎么读讲清楚。

参加完整版考试的考生有8位：OpenAI的GPT-6 Astra，月之暗面的Kimi K3和KimiK3.1 Pro，智谱的GLM-5.3，阿里的Qwen3.8 Max，xAI的Grok 4.6，还有DeepSeekV4.1 Flash的两个版本（0910和1017）。成绩按总分从高到低排列：

第一名是GPT-6 Astra，71.9分：定理证明70.0%，求解器64.7%，构造104.9%，开放猜想0.0%。

第二名KimiK3.1 Pro，57.4分：定理证明38.3%，求解器54.1%，构造98.6%，开放猜想1.1%。

第三名KimiK3得分46.8：定理证明11.7%，求解器48.7%，构造95.5%，开放猜想0.0%。

第四名DeepSeekV4.1 Flash 1017拿到46.0分，定理证明6.7%，求解器53.1%，构造91.8%，开放猜想5.6%。

第五名是GLM-5.3，45.5分，其中定理证明5.0%，求解器49.1%，构造97.7%，开放猜想0.0%。

第六名Qwen3.8 Max (0902)得44.8分，定理证明5.0%，求解器49.2%，构造95.1%，开放猜想0.0%。

第七名Grok 4.6为40.5分，定理证明5.0%，求解器43.8%，构造86.2%，开放猜想0.0%。

第八名DeepSeekV4.1 Flash 0910排到40.4分，定理证明0.0%，求解器48.3%，构造86.6%，开放猜想0.0%。

拿第一名GPT-6 Astra的71.9分来算：定理70.0%乘30得21分，求解器64.7%乘30得19.4分，构造104.9%乘30得31.5分，猜想0分，四项相加恰好71.9。

榜首GPT-6 Astra比第二名高出KimiK3.1 Pro 14.5分；从第三名KimiK3一直到第八名DeepSeekV4.1 Flash 0910，这六个模型全落在40到47分之间，相互差距不到7分。

轻量版还多来了一位考生——Anthropic的Opus 5.5。它只报了轻量版，首战即登顶。

5道定理题里，Opus 5.5证出4道（80.0%），Astra证出3道（60.0%）。构造分两家打平，均为100.4%；求解器上Astra略胜，63.0%对60.5%。

两张榜单的名次排布相当吻合。

两边都参赛的模型有8个，任取两个比较先后，共可组成28对，其中26对的顺序在两榜上完全一致。统计学里衡量两份排名相似度的指标叫斯皮尔曼相关系数，完全一致取1，此处为0.93。换句话说，轻量版只有20道题，给出的座次依然可信。

不过这类考试不能只盯分数，还得看分数怎么分布。

求解器一项各家差距不大，最低43.8%，最高64.7%。构造同样如此，从86.2%到104.9%。偏偏定理证明这一项，70.0%、38.3%、11.7%、6.7%、5.0%、5.0%、5.0%、0.0%，一路断崖式下滑。

这就像高考，前面的基础题大家得分相近，一到最后的压轴大题，差距立刻被拉开。

会证明与会构造，其实是两回事。 DeepSeek0910在60次定理证明尝试中一份完整证明都没交出，构造题却做出了超过参考纪录的结果。GLM-5.3构造平均97.7%，表现很稳，但一次也没越过参考纪录。Astra最为全面，30道求解器题中有27道拿到最高平均分。Kimi不过GPT也不是每一项都压着K3.1 Pro。有一道概率可检验证明（PCP）的定理，K3.1 Pro三次全证了出来，排在第一的GPT-6 Astra反倒有一次没证出来。

拿外卖骑手来打比方，这些模型就像跑单的小哥。

让他把一条没跑过的路从头讲明白，每一步为什么这么走都得说清楚，他一句也讲不出来。可一旦塞给他一堆订单，他排出来的送法谁也没排过，核查下来还真更快。DeepSeek0910就是这么一位骑手。

那定理证不出来，到底是真不会，还是就差一口气？论文专门设了一组对比：同样的20道定理，每题给3次机会，提示分三档来考。KimiK3在没有任何提示的情况下解出3道，把中间结论列出来之后解出4道，连思路一并给出，解出7道。DeepSeek0910对应的成绩是0道、2道、6道。有人递台阶，模型确实爬得上去。

构造题里还出了几个实打实的新结果。 KimiK3造出一张图：124个顶点、630条边，其中既没有三角形，也没有四边形。这类题可以这样理解：124个村子之间修路，路越多越好，但任意三个村子不能围成三角形的环线，任意四个村子也不能围成四边形的环线。文献里此前的最好成绩是629条边，它多连出了一条。

同一个模型还交出一套[[25,7,6]]量子纠错码。量子计算机容易出错，纠错码相当于给数据加了一层保险。好比寄易碎品，真正要寄的东西只有7件，却占了25件的地方，多出来的都是防撞泡沫。这套码用25个量子比特保护7个量子比特的信息，方括号里最后那个6叫“最小距离”，数值越大保险越牢。同样规格的码此前这个数是5，它提到了6。通俗地说，能检测出的错误从最多涉及4个量子比特扩大到5个。

这两项成果，论文里展示的是KimiK3交的答卷，同时注明Astra也达到了同样的参数；项目主页上，量子码则挂在Astra名下。两个模型是各自做出来的。那张630条边的图，Qwen3.8 Max、Grok 4.6和DeepSeek0910也各造出了一张。

Astra在编码领域也交出了一份结果。题目是：拿22位长的0和1串作为“码字”，任意两个码字之间至少要有10位不相同，问这样的码字最多能有多少个？可以把它想成发车牌——每张车牌22位，任意两张至少有10位不一样，即便看错三四位，也不会把一辆车认成另一辆。

那这种车牌最多能发多少张？2012年公布的答案是上限84个，Astra证明不超过82个，把这条上限又往下压了2。说白了，这不是多造出了车牌，而是把天花板量得更准。Astra的构造平均得分104.9%，20道题里有17道追平参考纪录，另外3道超过。

再看求解器。前面提到的那道精简电路题（出自IWLS 2023竞赛），Astra写出的程序在100个测试电路上全部给出了功能正确的结果；其中22个所用元件少于参考答案，31个与参考答案持平，47个多于参考答案。这只能算“能用”，还谈不上“全胜”。

最难的猜想题，考得怎么样？

30道猜想，只有两个模型的得分不是0：KimiK3.1 Pro 1.1%，DeepSeek1017 5.6%。不过说实话，这和0%也没什么区别。

具体来说，通过审核的提交只有6次，落在2道题上。其中一道是Ryser猜想，KimiK3.1 Pro在这道题上3次里过了1次，DeepSeek1017则是3次里过了2次。另一道是MIRUP，也就是修正整数上取整猜想，DeepSeek1017的3次尝试全部通过。剩下28道题，没有任何一个完整的解。

这6次通过也不是模型自己推出来的，靠的都是查资料。

前面提过，猜想题是开卷，能上网。出题那会儿，这两道题确实还没人解开。可等到KimiK3.1 Pro和DeepSeek1017坐进考场时，OpenAI已经把这两个猜想的反例和Lean证明公开了。两个模型在网上搜到，改成考试要求的格式交了上去。

这就好比开卷考试，答案恰好印在参考书上。

论文没绕开这件事，在成绩表下面专门写了说明，还建议以后可以在断网条件下，用考试当时仍无人解开的猜想来考。论文也写了一句：OpenAI这些结果说明AI辅助解决猜想有潜力。只不过这份功劳，算不到考场上这两位考生头上。

不过0分不代表没有产出。

Astra攻一个叫Alon-Jaeger-Tarsi的猜想时，整个猜想没拿下来，却独立证明了其中一部分。这个猜想能按规模n从小到大一级一级证，像爬一栋没有顶的楼。在一种设定下（数学上叫“五元有限域”），前人1999年证到了n≤7，今年一篇预印本报告证到n≤8，Astra证到了n≤9，相当于又往上爬了一层，并且过了Lean的独立验证。按规则，整个猜想没解开，这道题它还是0分，因为猜想要求每一层都成立，这栋楼离顶还远。

论文还列了4个类似的局部结果，分属另外几个数学问题，同样经过验证。

换句话说，至少往前挪了一小步，不能算毫无进展。

还有一点要提醒：这张成绩单上的数字，换个算分方法，结果可能就变了。

求解器原本的算分公式是(B−A)/(B−K)。B是最笨解法的成绩，K是参考答案的成绩，A是模型的成绩。

这套打分方式的思路，像拿一条跑道来比：参考答案在终点，最笨的解法在起跑线，模型从起点往终点推进了多少，就是它拿到的分。抵达终点算 1，即 100%；一步没动是 0；要是往反方向跑，分数就成负的。

这个公式的毛病在于，单独一道题就能离谱到把整科成绩带歪。Qwen3.8 Max就撞上了：在IWLS 2023的一个电路（编号ex37）上，它交的电路功能没错，却用了273,020个AND门，最笨的解法只用698个，参考答案只用106个。代进公式，这道题得分大约是−460，等于反方向跑出去四百多条跑道那么远。

于是论文另设计了一把尺子，拿KimiK3的成绩当参照，每道题得分限制在0到100之间。Qwen3.8 Max的求解器成绩，按原公式算平均是64.7%，按新尺子只有49.2%。前面成绩单用的是新尺子。

构造题也类似。成绩要先按公式换算成百分数，20道题里14道用的换算方式比较特殊，其余6道按比例直接换算。同样的进步，换算出来的分差可能被放大，也可能被压缩。所以论文坚持把原始数字一并报出来：边数从629到630，最小距离从5到6，码字上限从84到82，而不只给一个“104.9%”。

在TCS这种对严谨程度要求最高的领域，几个最强的模型确实能独立完成一部分研究级别的证明、求解和构造，甚至还能改进参考答案。不过，这类本事高度集中在少数几个模型身上。至于“解决前人未解难题”这道坎，考场上的模型始终没能跨过去。说到底，还没有哪个模型能靠自己摘下“皇冠上的明珠”。