2,500 道多模态题
题库于 2025 年 4 月 3 日定稿，共 2,500 道题，以多模态形式覆盖多个学科方向，用于衡量大型语言模型的综合能力。
Humanity's Last Exam
AI TOOL PROFILE工具资料由 CAIS 与 Scale AI 联合出题的多模态大模型能力基准测试
官网地址 https://lastexam.ai/
价格官网未标价
平台Web
归类大模型与开发平台
收录2026-01-01
复核2026-01-01
编辑评分
4.2 / 5
★★★★☆
Humanity's Last Exam编辑总结
Humanity's Last Exam（HLE）是由 Center for AI Safety 与 Scale AI 联合组织的多模态基准测试，用于衡量大型语言模型的综合能力。题库于 2025 年 4 月 3 日定稿为 2,500 道题，2026 年 1 月 28 日相关成果发表在 Nature（Nature 649, 1139–1146）。后续推出动态分支 HLE-Rolling 以及 2026 年 9 月 22 日发布的 HLE-Diamond。数据以 cais/hle 为路径在 Hugging Face 上开放加载，并提供 GitHub 仓库与提交面板，方便研究者复现与递交模型成绩。
Humanity's Last Exam是什么？
出题工作由组织团队与分布在各学科的数据集贡献者共同完成。
题目规模在 2025 年 4 月 3 日定稿为 2,500 道，覆盖多模态形式。相关成果于 2026 年 1 月 28 日发表在 Nature（Nature 649, 1139–1146）。在此之后，项目还发布过动态分支版本 HLE-Rolling，以及 2026 年 9 月 22 日推出的 HLE-Diamond。
研究者可以通过 Hugging Face 的 cais/hle 数据集路径直接加载题目，也可以访问 GitHub 仓库和提交面板查看规则并递交成绩。对于关注模型能力的开发团队，HLE 提供了一条对外的公开评测通道；对于普通读者，它更像一份持续更新的模型能力参考表。
Humanity's Last Exam核心功能
Hugging Face 数据集
通过 load_dataset("cais/hle") 即可加载题目数据，路径写在官网首页，研究者无需另行申请即可在 Hugging Face 环境里取用。
提交面板
官网提供 Submission Dashboard 入口，模型方可以按统一流程递交成绩，方便横向比较不同模型在同一题库上的表现。
GitHub 仓库
项目在 GitHub 上开放仓库，用于发布题目、说明和评测相关材料，方便研究者查看细节并复现评测流程。
HLE-Rolling 动态分支
2025 年 10 月 8 日发布动态分支版本 HLE-Rolling，并开放贡献渠道，可通过 agibenchmark@safe.ai 投稿题目或更新建议。
HLE-Diamond
2026 年 9 月 22 日发布 HLE-Diamond，配套提供发布说明，是题库在定稿之后的又一次版本扩充。
Nature 论文
相关成果于 2026 年 1 月 28 日发表在 Nature，卷期页码为 Nature 649, 1139–1146，可引用作为方法学依据。
Humanity's Last Exam值不值得用？
如果你需要一条对外的、有论文背书的模型能力评测线，HLE 值得纳入参考：2,500 道题已定稿，成绩可通过 Submission Dashboard 统一递交，加载只要一行 load_dataset("cais/hle")。它的长处是题目难度高、来源可追溯，2026 年 1 月 28 日发表在 Nature 649, 1139–1146，引用起来方便。需要注意的是它只覆盖高难题，不反映模型在日常任务上的表现；如果你要评的是客服问答、代码补全这类常规场景，单看 HLE 分会得出片面结论，建议与其他基准搭配使用。
建议选它的情况
- 需要一条有 Nature 论文背书的模型能力参考线时
- 要用 Hugging Face 一行代码加载题库做可复现评测时
- 想把自家模型成绩通过统一提交面板对外公布时
- 关注 HLE-Rolling、HLE-Diamond 这类题库更新节奏时
不建议选它的情况
- 想评估模型在客服、写作等日常任务上的表现，HLE 的题目难度不匹配
- 需要完整价格与商业授权说明，官网未公开相关条款
- 只做轻量对比、不打算走提交面板流程的个人测试
Humanity's Last Exam使用建议
入门先把路子走对
- 先跑通加载用 load_dataset("cais/hle") 拉取题目，先确认依赖版本与多模态数据读取正常，再开始接入自己的模型推理流程。
- 读定稿说明官网 Latest News 里有 2025 年 4 月 3 日的定稿说明，讲清 2,500 道题的构成，评测前先看一遍能避免用错子集。
- 对齐提交口径走 Submission Dashboard 前先看官网给出的提交要求，答案格式、评分口径对齐后再批量跑，能少返工一轮。
进阶省时间也省钱
- 关注 Rolling 分支HLE-Rolling 是 2025 年 10 月 8 日发布的动态分支，题目会更新；如果要做长期趋势对比，固定用一版题集并记录版本。
- 善用论文引用引用时直接写 Nature 649, 1139–1146（2026 年 1 月 28 日），比引用官网页面更利于评审和读者核查方法细节。
- 投稿走邮件想为 HLE-Rolling 贡献题目，官网给出的联系方式是 agibenchmark@safe.ai，投稿前先按官网说明整理题面与答案。
Humanity's Last Exam适合谁用？
模型评测研究者
推荐需要一条题目难度高、来源可追溯的公开基准，HLE 的 2,500 道题和 Nature 论文可同时满足复现与引用需求。
大模型开发团队
推荐要把自家模型成绩对外公布时，可通过 Submission Dashboard 递交，横向对比其他模型在同一题库上的表现。
高校与实验室
推荐用 load_dataset("cais/hle") 一行加载题目，适合做课程项目或论文实验里的高难题对照集。
产品选型团队
有条件HLE 只覆盖高难题，不反映客服、写作等日常任务表现；若只拿它做选型依据，会漏掉常规场景的差异。
个人初学者
不推荐题目定位是高难多模态，缺少入门级说明和教学配套；单纯想入门大模型，用 HLE 上手成本偏高。
Humanity's Last Exam优点和缺点
优点
- 题库定稿规模明确，2,500 道题可复现
- 成果发表于 Nature 649, 1139–1146，引用有据
- 通过 load_dataset("cais/hle") 直接加载题目
- 设有提交面板，模型成绩可统一递交对比
- 有 HLE-Rolling、HLE-Diamond 等后续版本更新
缺点
- 官网未公开评测费用与商业授权条款
- 题目定位高难，不反映日常任务表现
- 提交与投稿细节需跳转 GitHub 或邮件确认
Humanity's Last Exam关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 定稿题目数 | 2,500 questions | Latest News 2025 年 4 月 3 日公告 |
| 论文发表 | Nature 649, 1139–1146 | Latest News 2026 年 1 月 28 日公告 |
Humanity's Last Exam常见问题
Humanity's Last Exam 是谁做的？＋
由 Center for AI Safety 与 Scale AI 联合组织，标注为 1 的成员来自 Center for AI Safety，标注为 2 的成员来自 Scale AI，另有大量数据集贡献者参与出题。
题库现在有多少道题？＋
题库于 2025 年 4 月 3 日定稿，共 2,500 道题。此后还发布了动态分支 HLE-Rolling 和 2026 年 9 月 22 日的 HLE-Diamond，使用时应记录所采用的版本。
怎么把题目加载到自己的环境里？＋
官网给出的方式是 load_dataset("cais/hle")，在 Hugging Face 数据集环境下即可拉取。加载后按自己的模型推理流程逐题作答，再对照评分口径统计即可。
HLE 有论文可以引用吗？＋
有。公告显示 2026 年 1 月 28 日相关成果发表在 Nature，卷期页码为 Nature 649, 1139–1146，引用这一条比引用官网页面更便于评审核查。
我可以为题库投稿吗？＋
可以。2025 年 10 月 8 日发布的 HLE-Rolling 是动态分支版本，官网给出投稿邮箱 agibenchmark@safe.ai，投稿前建议先按官网说明整理题面与参考答案。
模型成绩怎么递交？＋
设有 Submission Dashboard 入口，按统一流程提交成绩。递交前先对齐官网给出的答案格式与评分口径，可以避免批量跑完后反复返工。
Humanity's Last Exam竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Humanity's Last Exam本工具 | 4.2 | 未标价 | 2,500 道多模态题；Hugging Face 数据集；提交面板；GitHub 仓库 | Web |
| InternVL2_5-2B-MPO | — | 未标价 | 先进的多模态大型语言模型 | — |
| Any GPT | — | 未标价 | 多模态大型语言模型 | — |
| Procyon AI Image Generation Benchmark | — | 年度站点授权，用户数与设备数不限 | 用于衡量设备 AI 加速器推理性能的基准测试工具 | Windows |
| NVLM-D-72B | — | 未标价 | 前沿的多模态大型语言模型 | — |
| InternVL2_5-38B | — | 未标价 | 先进的多模态大型语言模型系列 | — |
Humanity's Last Exam最新动态
-
HLE-Diamond 发布
发布 HLE-Diamond，并同步提供发布说明。
-
成果发表于 Nature
HLE 相关成果发表在 Nature，卷期页码为 Nature 649, 1139–1146。
-
HLE-Rolling 发布
发布动态分支版本 HLE-Rolling 并附更新日志，投稿邮箱为 agibenchmark@safe.ai。
-
题库定稿
HLE 定稿为 2,500 道题。
