姚期智杨植麟联合发论文：100道题考遍前沿大模型，开放猜想无一攻克

（本文作者为 字母AI，钛媒体经授权发布）

11月5日，一篇新论文挂上了arXiv。

五位作者分别来自月之暗面、清华大学和上海期智研究院。两个名字格外显眼：图灵奖得主、清华大学交叉信息研究院院长姚期智，以及月之暗面（Kimi）创始人杨植麟。

论文标题是《TCSExam：对前沿大语言模型开展全领域理论计算机科学研究评估》（TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research）。

说白了，他们出了张卷子，拿去考当下最强的一批AI大模型。

TCS是理论计算机科学（Theoretical Computer Science）的缩写。修电脑、写代码都不在它关心的范围内，它琢磨的是“计算”这件事本身。

程序员好比司机，盯的是发动机和内饰；TCS关心的则是交通——从甲地到乙地最快能有多快，哪条路注定走不通。

这里处在数学与计算机科学的交叉地带，所有问题都绕着“计算”二字转，做研究主要靠证明。

时间点耐人寻味。10月初，OpenAI公开了722篇数学手稿，全部由AI撰写，并按相关性分成372个“结果族”，数论、理论计算机、几何、数学物理等17个领域都在其中。“AI把数学干废了”的话题随后冲上微博热搜。

陶哲轩曾对《自然》（Nature）表示，AI在几乎所有领域都有个致命伤：会犯没法核验的错误。数学不一样，尤其是证明，对错可以交给机器自动检查。这有点像数独，填出来难，填完了查一遍就知道对不对。所以AI公司最没有争议的成绩，会出在数学上。

可姚期智和杨植麟这篇论文考下来，结论有点泼冷水：那些至今悬而未决的开放猜想，没有任何一个参考的模型能靠自己解开。

大模型基准那么多，为什么还要另出一张卷子？

大模型的跑分几乎每两个月就涨一轮，各种榜单看得人头晕眼花。可这些榜单其实只能说明模型会做题，反映不出模型的研究水平。

做题本质上是照着菜谱炒菜，步骤现成，味道有标准，你也没见过锅包肉里加巧克力的对吧？研究没有规定好的步骤，最后能不能成，事先谁也拿不准，很多问题连出题的人自己都不知道答案。

判卷这关更难过。模型一下甩出几百页“证明”，谁有精力逐页核对？它声称自己解决了一个几十年无人攻克的猜想，可又有谁能断定它写对了？

OpenAI那722篇手稿就是现成的例子。

这篇论文想弄清的就是这件事：真让AI去干研究的活儿，它到底能干成什么样。

办法是只出机器能判卷的题。题目越像真研究，越难判分；TCS恰好是个例外，它的结论大多能被机器验证。

卷子一共100道题，分四类，对应理论计算机科学家平时干的四种活。

第一类，定理证明，20道。题目摘自2023到2026年的TCS论文，都是研究人员正式发表过的定理，覆盖13个细分方向。

模型得从头到尾交出一份完整的证明，还不能用日常语言，必须用Lean 4这种专门语言书写，以便机器检查。好比去窗口办事填表，每一栏都要按格式来，交一篇作文上去是不收的。考法分三档，可以拿爬山来理解。

第二类叫求解器工程，共30道。“求解器”指专门解某一类题目的程序。这类题考的不是解一道题，而是让模型写一个程序，把同一类题统统解决。

模型会收到一份问题说明、一个最笨的解法，外加一批公开例题。比如给定一批电路，要求功能不变，把其中一种基本元件（AND门，也叫与门）的数量尽量压低，越少越好。

第三类，显式构造，20道。前面都是让模型“纸上谈兵”，到了构造这一步，就得让模型把东西造出来。

第四类叫开放猜想，共30道。这些题到现在既没人证出来，也没人推翻。老百姓最熟悉的一个大概是哥德巴赫猜想，提出来已经两百八十多年，也没见谁拿出一个靠谱的证法。

卷子上这30道名气没那么大，性质却一样。每题留两个空：一个填“猜想成立”的完整证明，一个填“猜想不成立”的完整证明，填满其中任意一个才算数。这一栏还不给步骤分，解不开就是0分。

出题前，专家按三条标准挑题：有没有研究价值，领域覆盖全不全，结果能不能验证。

100道题都过了专家审阅。之后一个AI助手把题目翻成Lean语言、写好评分程序；再让另一个独立的AI助手对着原论文逐条核对题目的条件和范围有没有抄错，还拿一些特殊的小例子去试，并把Lean写的题目翻回人话比一遍，免得题目在翻译里走了样。

预试环节有40多道定理题被模型解出，这些题目随即被剔除。到了正式考试，只要某道题被意外证明出来，或得分异常偏高，就会重新核查题目本身及其来源。另外，模型若在考试过程中打破纪录，AI 还会对其整个运行过程再做一次审查。

和所有考试一样，TCSExam也限时。

每道题每次作答最多给12个小时，按现实流逝的时间算。Kimi K3、Kimi K3.1 Pro和两个版本的DeepSeek每题考3次，其余模型每题考1次。100道题各考一遍，最多要用1200小时。

TCSExam还分开卷和闭卷，定理证明和求解器这两类不让上网，只有构造和猜想两类允许查文献。记住这一条，后面有用。

考一次完整版太费时间，于是另有一个轻量版Lite：四类题各抽5道，共20道，每次作答时限不变，题量砍掉80%，最多要用240小时。题目、代码和评测工具全部公开，谁都能拿去复查。

四类成绩最后合成一个总分，叫TCSExam Index。算法不复杂：定理证明、求解器、构造三类各占30分，开放猜想占10分，写成公式是I=30P+30S+30C+10O，P、S、C、O分别是这四类题的平均得分。

分数如何呢？

看成绩之前，先把每一项怎么读说清楚。

参加完整版考试的有8位考生：OpenAI的GPT-6 Astra，月之暗面的Kimi K3和Kimi K3.1 Pro，智谱的GLM-5.3，阿里的Qwen3.8 Max，xAI的Grok 4.6，还有DeepSeek V4.1 Flash的两个版本（0910和1017）。成绩按总分从高到低排：

第一名GPT-6 Astra，71.9分：定理证明70.0%，求解器64.7%，构造104.9%，开放猜想0.0%。

第二名Kimi K3.1 Pro，57.4分：定理证明38.3%，求解器54.1%，构造98.6%，开放猜想1.1%。

第三名Kimi K3，46.8分：定理证明11.7%，求解器48.7%，构造95.5%，开放猜想0.0%。

第四名DeepSeek V4.1 Flash 1017，46.0分：定理证明6.7%，求解器53.1%，构造91.8%，开放猜想5.6%。

第五名GLM-5.3，45.5分：定理证明5.0%，求解器49.1%，构造97.7%，开放猜想0.0%。

第六名Qwen3.8 Max (0902)，44.8分：定理证明5.0%，求解器49.2%，构造95.1%，开放猜想0.0%。

第七名Grok 4.6，40.5分：定理证明5.0%，求解器43.8%，构造86.2%，开放猜想0.0%。

第八名DeepSeek V4.1 Flash 0910，40.4分：定理证明0.0%，求解器48.3%，构造86.6%，开放猜想0.0%。

拿头名GPT-6 Astra的71.9分拆开看：定理证明70.0%乘30得21分，求解器64.7%乘30得19.4分，构造104.9%乘30得31.5分，猜想一项挂零，四项相加恰好71.9。

GPT-6 Astra比第二名Kimi K3.1 Pro高出14.5分。第三名Kimi K3到第八名DeepSeek V4.1 Flash 0910，六个模型全卡在40到47分这段区间，相互差距不足7分。轻量版这边多出一个考生——Anthropic的Opus 5.5，它只报了轻量版，首战即登顶。

5道定理题里，Opus 5.5证出4道，命中率80.0%；Astra证出3道，60.0%。构造一项两家打平，同为100.4%；求解器反倒是Astra略占上风，63.0%对60.5%。

两张榜单的座次咬得很紧。8个模型两边都参赛，两两配对共28对，其中26对在两张榜上的先后完全对得上。衡量两份排名相似度的斯皮尔曼相关系数满值是1，这里测出0.93。轻量版题量只有20道，排出来的名次依然站得住。

分数之外，还得看分布。求解器一项各家咬得很死，低的43.8%，高的64.7%；构造也类似，86.2%到104.9%。偏偏定理证明这一项，70.0%、38.3%、11.7%、6.7%、5.0%、5.0%、5.0%、0.0%，一个台阶接一个台阶往下掉。

很像高考：基础题大家得分接近，最后那道压轴大题一上，距离立刻显出来。会证明和会构造，其实是两套本事。

DeepSeek 0910在60次定理证明尝试中一份完整证明都没交出，构造题里却做出了超过参考纪录的结果。GLM-5.3构造平均97.7%，表现稳定，可一次也没越过参考纪录。Astra最均衡，30道求解器题有27道拿到最高平均分。

GPT并非样样压过Kimi K3.1 Pro。一道关于概率可检验证明（PCP）的定理，Kimi K3.1 Pro三次全部证出，头名GPT-6 Astra那一次没证出来。

可以把这些模型想成外卖骑手。让他把一条没跑过的路线从头讲清楚，每一步为什么这么走，他一句都说不上来；可真把一堆订单塞给他，他能排出一套没人用过的送法，核查下来还更快。DeepSeek 0910就是这样的骑手。

定理证不出来，是真不会，还是只差一口气？论文做了对照：同样20道定理，每题给3次机会，提示分三档。Kimi K3裸考解出3道，给出中间结论后解出4道，连思路一并奉上则解出7道；DeepSeek 0910对应是0道、2道、6道。有人递台阶，模型确实爬得上去。

构造题里出了几个实打实的新结果。Kimi K3造出一张图：124个顶点、630条边，既无三角形也无四边形。这类题可以这么理解：124个村子之间修路，越多越好，但任意三个村子不能围成三角形环线，任意四个村子不能围成四边形环线。文献里此前的最好成绩是629条边，它多连出一条。

同一个模型还交出一套[[25,7,6]]量子纠错码。量子计算机容易出错，纠错码相当于给数据加一层保险。好比寄易碎品，真正要寄的只有7件，却占了25件的位置，其余全是防撞泡沫。这套码用25个量子比特保护7个量子比特的信息，方括号末尾的6叫“最小距离”，数值越大保险越牢。同规格的码此前这个数是5，它提到了6。通俗说，能检测出的错误从最多涉及4个量子比特扩大到5个。

这两项成果，论文里作为Kimi K3的答卷展示，同时注明Astra也达到了同样的参数；项目主页上，量子码则记在Astra名下。两个模型是各自做出来的。那张630条边的图，Qwen3.8 Max、Grok 4.6和DeepSeek 0910也各自造出了一张。

Astra另有一项与编码有关的成绩。题目是：用22位长的0和1串当“码字”，要求任意两个码字至少有10位不同，这样的码字最多能有多少个？好比发车牌，每张22位，任意两张至少10位不同，就算看错三四位，也不会把这辆车认成那辆车。这样的车牌最多能发多少张？2012年发表的结论是不超过84个，Astra证明了不超过82个，把上限又压低2。这不是造出了更多车牌，而是把天花板量得更准。Astra构造平均分104.9%，20道题里17道追平参考纪录，3道超过。

求解器方面，前面提到的那道精简电路题（题目来自IWLS 2023竞赛），Astra写的程序对100个测试电路全部给出功能正确的结果，其中22个所用元件比参考答案少，31个打平，47个比参考答案多。这只能算“能用”，谈不上“全胜”。

最难的猜想题，考得怎么样？

30道猜想，只有两个模型没吃零蛋：Kimi K3.1 Pro 1.1%，DeepSeek 1017 5.6%。说实话，这和0%也没多大差别。

细看这6次被判通过的提交，仅涉及2道题。Ryser猜想上，Kimi K3.1 Pro 3次里过了1次，DeepSeek 1017 3次里过了2次；MIRUP（修正整数上取整猜想）这边，DeepSeek 1017 3次全过。剩下28道题，连一份完整的解都没交出来。

这6次通过也不是模型自己推出来的，全靠查资料查到。

前面提过，猜想题是开卷，可以上网。出题那会儿，这两道题确实还没人解开。可Kimi K3.1 Pro和DeepSeek 1017进考场的时候，OpenAI已经把这两个猜想的反例和Lean证明公开了。两个模型在网上搜到，改成考试要的格式，交了卷。

好比开卷考试，答案恰好印在参考书上。

论文没绕开这件事，在成绩表下面专门附了说明，还建议以后在断网条件下，用考试当时仍无人解开的猜想来考。论文里也写了一句：OpenAI这些结果，显示出AI辅助解决猜想的潜力。只不过这份功劳，算不到考场上这两位考生头上。

不过0分不代表没有产出。

Astra攻一个叫Alon-Jaeger-Tarsi的猜想，整个猜想没拿下，但独立证明了其中一部分。这个猜想能按规模n从小到大一级一级证，像爬一栋没有顶的楼。在其中一种设定下（数学上叫“五元有限域”），前人1999年证到n≤7，今年一篇预印本报告证到n≤8，Astra证到n≤9，又往上爬了一层，并且通过了Lean的独立验证。按规则，整个猜想没解开，这道题照样0分，因为猜想要求每一层都成立，这栋楼离楼顶还远。

论文还列了另外4个类似的局部结果，分属别的几个数学问题，也都过了验证。

也就是说，好歹往前挪了一小步，不能算毫无进展。

还有一点要提醒：成绩单上的数字，换个算分方法，可能就变样了。

求解器原先的算分公式是(B−A)/(B−K)。B是最笨解法的成绩，K是参考答案的成绩，A是模型的成绩。

可以把它看成一段跑道：最笨解法是起跑线，参考答案是终点线，看模型从起跑线往终点跑了多远。跑到终点得1，也就是100%；原地不动得0；倒着往回跑，就是负分。

这个公式有个毛病，单道题的得分能离谱到把整科成绩带歪。Qwen3.8 Max就撞上了：在IWLS 2023的一个电路（编号ex37）上，它交的电路功能没错，却用了273,020个AND门，而最笨的解法只用698个，参考答案只用106个。代进公式，这一道题得分大约是−460，等于朝反方向跑出去四百多条跑道那么远。

于是论文另设计了一把尺子，拿Kimi K3的成绩当参照，每道题得分限制在0到100之间。Qwen3.8 Max的求解器成绩，按原公式算平均是64.7%，按新尺子算只有49.2%。前面成绩单上用的是新尺子。

构造题这边，道理也差不多。成绩得先套公式折成百分数，其中14道题的换算办法比较特别，剩下6道则直接按比例折算——20道题里就这么分的。一样幅度的提升，落到换算后的分数上，有时被放大，有时反倒缩水。正因如此，论文才非要把原始数据一起摆出来：边数629到630，最小距离5到6，码字上限84到82，而不是光撂下一句“104.9%”。

说到底，在TCS这种对严谨程度要求最狠的领域，最强的几个模型确实能独立完成一部分研究水平的证明、求解和构造工作，甚至改进参考答案。只是这种本事高度集中在少数几个模型身上。

但“解决前人未解难题”这道坎，考场上的模型始终没跨过去。归根结底一句话，始终没有模型能靠自己“摘皇冠上的明珠”。