人类最后的考试（HLE）

人类最后的考试（Humanity's Last Exam，HLE）是一套跨学科的高难度评测集，题目由各领域专家撰写并经过多轮审核，覆盖数学、自然科学、人文与工程等方向。它的定位是提供一批当时模型难以稳定答对的题目，用来观察前沿系统在知识与推理边界附近的表现，而不是评估日常使用体验。它不宜作为判断模型好坏的唯一依据。

设计取向

• 难度优先：题目刻意避开常见教材套路，压缩模型靠记忆作答的空间。
• 学科广泛：横跨多个学科分支，考察知识广度而不是单一领域深度。
• 答案明确：多数题目有唯一可判定的答案，便于自动评分与复核。
• 公开与私有分开：保留一部分不公开题目，降低针对性训练造成的失真。
• 人工复核：答案在收录前经过多轮检查，降低题目本身出错带来的噪声。

分数的解读方式

高难度题目的区分度主要集中在少数强模型之间，普通模型往往接近随机水平，因此分数差异要结合题目数量与置信区间解读。小幅领先未必代表能力跃迁，更应关注错题分布：是缺少特定学科知识，还是在多步推导中丢失条件。它考察的是知识与推理的上限，与产品成本、可用性等工程指标并不是一回事。若用于内部对比，最好固定题目子集与答题模板，让多次评测之间具备可比性。评测时最好同时记录题目子集与时间点，便于判断成绩变化来自模型还是题目更新。

与学科类基准的差异

与偏重研究生课程内容的基准相比，它更强调跨学科综合与冷门知识点的组合，题目取材更分散。与偏重代码与工具使用的评测相比，它几乎不涉及环境交互，只要求给出结论。两类信号互补：一个模型可能在工具调用上很强，却在需要长期知识积累的问题上表现平平，选型时要按业务侧重取舍，而不是只挑排名靠前的那一个。更实际的做法是把这类分数当作上限参考，再用业务样本做最终取舍。

常见误区

• 把名次当能力排序：题量有限且难度极端，名次波动受抽样影响较大。
• 忽视提示词设置：是否允许展开推理、如何解析答案，都会明显改变得分。
• 用高分推断可靠性：答对难题不代表在简单日常任务上不会出错。
• 忽略私有题目：公开部分的成绩可能受训练数据影响，参考时需保留判断。
• 忽略答题格式：答案书写方式不统一时，判分环节会引入额外误差。