短事实问答
聚焦短小、寻求事实的查询，而非长文本生成，将事实性测量的范围收窄到可操作规模，使评估结果更易解释。
SimpleQA
AI TOOL PROFILE工具资料衡量语言模型回答短事实问题的开源基准测试
价格官网未标价
平台API / Web
归类知识管理
收录2024-10-30
复核2024-10-30
编辑评分
4.3 / 5
★★★★☆
SimpleQA编辑总结
SimpleQA 是 OpenAI 于 2024 年 10 月 30 日发布的事实性基准测试，用来衡量语言模型回答短小、寻求事实类问题的能力。它包含 4,326 道题，涵盖科学与技术、电视节目、电子游戏等广泛话题。相比 TriviaQA（2017）和 NQ（2019）等已饱和的旧基准，SimpleQA 对前沿模型更具挑战性——GPT‑4o 得分不足 40%。题目经两位独立 AI 训练师交叉验证、第三位抽样复核，估计数据集的固有错误率约为 3%。
SimpleQA是什么？
SimpleQA 是 OpenAI 推出的一个事实性基准测试，面向需要评估语言模型事实正确性的研究人员与开发者。它聚焦于短小、寻求事实的查询，而非长篇生成内容，从而把事实性的测量范围收窄到可操作的规模。
数据集由 AI 训练师浏览网页后编写，要求每道题只有一个无争议的答案、答案不随时间变化，且大部分题目能诱发 GPT‑4o 或 GPT‑3.5 产生幻觉。质量校验共三轮：第二位独立训练师在看不到原始答案的情况下作答，只保留双方一致的题目；再由第三位训练师随机抽取 1,000 题复核，一致率 94.4%。
使用上，评分通过一个带提示的 ChatGPT 分类器完成，它同时看到模型预测答案与标准答案，然后判定为「正确」「错误」或「未尝试」。开发者可通过 OpenAI API 或其他前沿模型 API 高效完成评分。
SimpleQA核心功能
4,326 道题
数据集共含 4,326 道题，OpenAI 表示这一规模让 SimpleQA 作为评估基准具有相对较低的方差，结果更稳定。
话题多样性
题目覆盖从科学与技术到电视节目、电子游戏等广泛话题，避免基准集中在单一领域，能反映模型的事实性全貌。
三档评分
评分由一个带提示的 ChatGPT 分类器完成，它会同时看到模型预测答案与标准答案，判定为「正确」「错误」或「未尝试」。
多轮质量校验
由 AI 训练师编写题目，第二位独立训练师盲答，只保留双方一致的题；第三位训练师再抽 1,000 题复核，一致率 94.4%。
SimpleQA值不值得用？
如果目标是追踪模型在短事实问答上的幻觉程度、并希望结果稳定可比，SimpleQA 值得采用——4,326 道题、单一无争议答案、三档评分，让它比旧基准更难饱和。当需要对长文本中数十条事实声明逐条核查时它并不合适，因为它刻意把范围限制在短查询上。若你关注的是模型在开放式长回答中的事实性，或想评估中文等其他语种场景，需要另找配套基准。
建议选它的情况
- 需要稳定、低方差的短事实问答基准来对比不同模型
- 想衡量模型幻觉程度而非仅看通用能力分
- 团队已有 OpenAI API 或其他前沿模型 API 可用于自动评分
不建议选它的情况
- 需要评估模型在长文本中逐条事实声明的正确性
- 关心的是开放式长回答质量而非短事实问答
- 需要评估非英语或特定垂直领域的事实性
SimpleQA使用建议
入门先把路子走对
- 先读官方论文页面提供 Read paper 入口，先读论文可了解题目构造标准与评分细节，避免误用基准。
- 用 API 自动评分评分通过带提示的 ChatGPT 分类器完成，接入 OpenAI API 或其他前沿模型 API 即可批量跑分。
- 先跑基线模型先测 GPT‑4o 等已知分数的模型作对照，GPT‑4o 得分不足 40%，可用来校准自己的评测流程。
进阶省时间也省钱
- 关注未尝试率评分分「正确」「错误」「未尝试」三档，只看正确率会漏掉模型回避作答的情况，建议三档一起看。
- 结合旧基准对比TriviaQA（2017）与 NQ（2019）已饱和，把 SimpleQA 分数与它们并列展示，更能体现模型进步幅度。
- 留意约3%固有错误数据集固有错误率估计约 3%，比较分数接近的模型时，差异小于这一量级不宜过度解读。
SimpleQA适合谁用？
模型评测研究者
推荐需要可复现、低方差的短事实基准来量化幻觉，4,326 道题与三档评分正好满足对比需求。
AI 应用开发者
推荐上线前想验证所选模型的事实可靠性，可用 SimpleQA 跑分判断是否达到业务可接受水平。
长文本事实核查团队
有条件SimpleQA 只覆盖短查询，无法评估长回答中数十条事实声明，这类需求需另配工具。
中文场景产品团队
有条件题目由 AI 训练师用英文编写，是否覆盖中文事实性未说明，直接用可能不贴合本地场景。
SimpleQA优点和缺点
优点
- 开源发布，可直接获取 4,326 道题用于评测
- 题目单一无争议答案，评分快速且可自动化
- GPT‑4o 得分不足 40%，对前沿模型仍有区分度
- 第三位训练师抽 1,000 题复核，一致率 94.4%
- 覆盖科学、技术、电视节目、游戏等多话题
缺点
- 只覆盖短事实查询，无法衡量长文本事实性
- 固有错误率估计约 3%，接近分数的比较需谨慎
- 具体使用成本与限制未公布
- 题目以英文编写，非英语场景适用性未说明
SimpleQA关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 题目数量 | 4,326 | OpenAI 发布说明 |
| 抽样复核一致率 | 94.4% | OpenAI 发布说明 |
| 抽样复核不一致率 | 5.6% | OpenAI 发布说明 |
| 两位训练师不一致率中的评分者假阴性或人类错误 | 2.8% | OpenAI 发布说明 |
| 两位训练师不一致率中题目本身的问题 | 2.8% | OpenAI 发布说明 |
| 数据集固有错误率估计 | 约 3% | OpenAI 发布说明 |
| GPT‑4o 得分 | 不足 40% | OpenAI 发布说明 |
SimpleQA常见问题
SimpleQA 是什么？＋
它是 OpenAI 于 2024 年 10 月 30 日发布的事实性基准测试，用于衡量语言模型回答短小、寻求事实类问题的能力。相比 TriviaQA（2017）和 NQ（2019）等已饱和的旧基准，SimpleQA 被设计为对前沿模型更具挑战性。
数据集有多大？＋
SimpleQA 包含 4,326 道题。OpenAI 表示这一规模让基准具有相对较低的方差，评测结果更稳定。题目话题涵盖科学与技术、电视节目、电子游戏等广泛领域。
怎么评分？＋
评分使用一个带提示的 ChatGPT 分类器，它同时看到模型预测答案与标准答案，将结果判定为「正确」「错误」或「未尝试」三档。可以通过 OpenAI API 或其他前沿模型 API 高效完成评分。
模型在 SimpleQA 上能拿多少分？＋
OpenAI 在发布说明中提到，GPT‑4o 在 SimpleQA 上的得分不足 40%。这一设计目的是让基准对前沿模型保持挑战性，而不是像 TriviaQA、NQ 那样迅速饱和。
数据集质量怎么保证？＋
题目由 AI 训练师编写，第二位独立训练师在看不到原始答案的情况下作答，只保留双方一致的题。第三位训练师再随机抽取 1,000 题复核，一致率 94.4%，据此估计数据集固有错误率约为 3%。
SimpleQA 适合评估什么？＋
它适合衡量模型在短、事实类问题上的幻觉程度，是追踪事实性进步的稳定基准。它刻意把范围限制在短查询，因此不适合评估长文本中数十条事实声明逐条正确与否，也不覆盖开放式长回答质量。
SimpleQA最新动态
-
SimpleQA 发布
OpenAI 开源发布事实性基准测试 SimpleQA，包含 4,326 道题，用于衡量语言模型回答短事实问题的能力。
