长上下文类评测基准

LONG CONTEXT长文档检索与长程推理

长上下文理解类目前只有 RULER 一个基准:它用多针检索、变量追踪、常见词干扰等约 13 类任务,检验模型在长输入里「能不能真的找到并组合信息」,而不是只看厂商宣称的上下文窗口。RULER 的官方表只到 128K 档,512K / 1M 没有列——也就是说,超过 128K 之后的有效上下文,目前没有公开、可复跑的统一测法,厂商自报的数字只能当参考。

本分类收录 1 个基准 活跃 0 · 数据日期 2026-10-19

本分类收录 1 个基准:活跃 0、已饱和 1、已停用 0;高污染风险 0 个,另有 1 个(100%)能追溯到明确的 SOTA 持有模型。 全站共 36 个基准、6 个分类, 回评测基准百科看全部,或从下方「其它分类」切到相邻的一类。

本分类基准 1 长上下文 · 数据更新 2026-10-19
仍在活跃 0 题目或榜单仍在更新,有区分度
已饱和 1 前沿模型接近上限,只作能力下限
高污染风险 0 题库公开多年,分数偏乐观
有明确 SOTA 1 占比 100%,其余只有大致说法

这一类该怎么看

长上下文
看分数前先核对这三件事
  1. 「支持 1M 上下文」是接口能力,「1M 上还能用」是有效上下文,两者不是一回事;RULER 测的是后者,看分数前先确认它测到哪一档长度。
  2. 看 RULER 分数必须带上下文长度档位:128K 上的 95 分与 32K 上的 95 分不是同一件事,官方表没有 512K / 1M 列,别拿厂商自报去补这一格。
  3. 这一类的前沿分数已经很高(接近 95),说明题目对头部模型区分度下降;实际选型更该看「长文档检索 + 引用准确性」的任务级测试,而不是单一分数。

先看这几条

1 个
活跃优先、污染风险低的排前面,点进去看卡片里的完整评分说明

SOTA 持有者

1 个模型
按本分类里持有 SOTA 的基准数排,没有可追溯模型的条目不参与统计
  • Jamba-1.5-large 1 个基准 RULER

长上下文基准清单

显示 1 / 1 个
每张卡=一个基准:考什么、多少题、前沿到哪、风险多高

RULER

2024 发布 · 维护方 NVIDIA

已饱和

NVIDIA 的长上下文评测:多针检索、变量追踪、常见词干扰等约 13 类任务,检验的是有效上下文长度。

题目规模
~13 类任务
分数区间
0–100% 正确率
污染风险 低 当前前沿 95.1

SOTA:Jamba-1.5-large · 2024-08

原榜分数原文:95.1 at 128K (official table has no 512K or 1M column)

选型提示:官方表只到 128K 档,512K / 1M 没有列。

前沿模型已接近上限,区分度明显下降 论文 代码 分数来源

长上下文基准常见问题

只讲这一类自己的问题,通用问题见评测基准百科首页
上下文窗口 1M 和「有效上下文 1M」差在哪?

窗口是接口上限:能塞进 1M token 不代表模型能用好。有效上下文指在这个长度上仍能准确检索、追踪变量并正确作答的长度,通常明显小于窗口。RULER 这类基准测的就是有效上下文,且官方只给到 128K 档。

为什么 RULER 只有 128K 的官方数据?

官方表只统计到 128K;512K 与 1M 档没有公开的统一结果。原因之一是超长输入的评测成本高、可复现性差,各家的采样与截断策略也不统一。所以本页不拿厂商自报去补这一格。

RULER 接近 95 分算饱和吗?

本页按原榜标注为已饱和:头部模型在 128K 档的分数已经很接近,区分度下降。它仍然是判断「长输入里能不能找到信息」的有效下限,但不再适合给模型排名。

长上下文能力还能怎么验证?

用你自己的文档做多针检索:把若干条事实埋在不同位置,问需要跨位置组合的问题,看答案是否正确、引用是否指向真正的位置。这比任何公开基准都更贴近你的实际场景,也能暴露「读了但没读到」的情况。

其它分类

5 个
按分类切过去看另一类基准怎么读,不是筛选条件

读榜前先看这几条

本分类范围1 个基准全站共 36 个基准 / 6 个分类,按分类归入本页
这一类看什么长上下文导语、判据要点与问答都按这一类的实际考法写,题量与分数保留原值
分数怎么看来源混合官方榜、独立评测机构与厂商自报混用,卡片里逐条标注;跨来源横向比较要谨慎
状态怎么读活跃 / 已饱和 / 已停用已饱和说明前沿模型接近上限,已停用说明这个版本不再维护
没有的数据显示「—」没有 SOTA 模型或没有榜单链接时如实留空,不用估计值填充
适合谁看挑基准前先看这一类同场景的基准放在一起比,才分得出哪个数字能当证据

数据来自公开渠道整理:各基准的论文、维护方榜单与第三方跑分结果,数据日期 2026-10-19。