FrontierMath（前沿数学基准）

FrontierMath 面向研究级数学难题，题目由数学家设计，答案形式明确、可自动验证，目的是把强推理模型的上限与瓶颈区分开。它测的不是计算速度或竞赛套路，而是在几乎没有现成解法可循的情况下，模型能否给出可自动验证的正确结果并说明关键思路。因此它的通过率通常很低，低分本身是设计意图，而不是评测失效。

测什么能力

题目通常涉及数论、代数几何、实分析与拓扑等方向，需要多步严密推导，而不是套用竞赛技巧。作答往往要先猜出结论再验证，或者在抽象对象上构造反例。由于答案形式明确，判分以最终答案的自动验证为主，只有少数题会再请专家复核思路，因此论证是否完整严谨并非得分前提，但关键步骤缺失会在复核中被记录。另一类失败是模型给出看似合理的中间步骤，却在关键引理上跳步，最终结论碰巧正确，这类情况在人工复核中会被区分出来。

怎么打分

• 答案验证：最终答案需通过自动检查，形式化程度高的题目可以直接验证，其余依赖专家判定。
• 难度定位：整体通过率通常很低，因此更常看解出了哪些题与题目难度分布，而不是一个总百分比。
• 尝试预算：允许的思考长度、采样次数与是否可用工具会明显改变结果，必须随分数一起说明。
• 过程与结论：最终答案正确但推理链有断点，说明泛化有限，人工复核会重点关注这类情况。

与相近基准的区别

它和竞赛数学基准的区别在难度与来源：竞赛题有既定技巧与题型，强模型容易接近饱和；研究级题目没有固定套路，区分度更高。它和形式化证明基准的区别在验证方式：形式化证明由证明助手逐条检查，最严格但题目准备成本高；此类基准以自然语言作答为主，自动验证加专家复核，覆盖更广但判定更依赖人工。它和中等难度数学题集的区别则是目的：后者用于衡量常规解题的稳定性，前者用于探测能力边界。

看结果时注意什么

• 看突破方向：整体低分意义有限，更该关注是否在特定分支上稳定解出，以及失败是计算失误还是思路缺失。
• 题目保密：为避免题目进入训练数据，公开部分有限，公开结论未必代表全部题集。
• 不要外推：在极难题上表现好不代表日常数学任务同样好，反之亦然，两者考察的稳定性不同。
• 成本不对称：提高尝试预算能换来更高通过率，但推理成本随之上升，比较时要对齐预算。

使用时把它当作能力上限的探针，而不是产品选型的唯一依据；日常任务更该看中等难度题集上的稳定表现与单位成本。若只报一个通过率而不说明题目构成与尝试预算，结论几乎无法复现。