RULER
2024 发布 · 维护方 NVIDIA
NVIDIA 的长上下文评测:多针检索、变量追踪、常见词干扰等约 13 类任务,检验的是有效上下文长度。
- 题目规模
- ~13 类任务
- 分数区间
- 0–100% 正确率
SOTA:Jamba-1.5-large · 2024-08
原榜分数原文:95.1 at 128K (official table has no 512K or 1M column)
选型提示:官方表只到 128K 档,512K / 1M 没有列。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
长上下文理解类目前只有 RULER 一个基准:它用多针检索、变量追踪、常见词干扰等约 13 类任务,检验模型在长输入里「能不能真的找到并组合信息」,而不是只看厂商宣称的上下文窗口。RULER 的官方表只到 128K 档,512K / 1M 没有列——也就是说,超过 128K 之后的有效上下文,目前没有公开、可复跑的统一测法,厂商自报的数字只能当参考。
本分类收录 1 个基准:活跃 0、已饱和 1、已停用 0;高污染风险 0 个,另有 1 个(100%)能追溯到明确的 SOTA 持有模型。 全站共 36 个基准、6 个分类, 回评测基准百科看全部,或从下方「其它分类」切到相邻的一类。
窗口是接口上限:能塞进 1M token 不代表模型能用好。有效上下文指在这个长度上仍能准确检索、追踪变量并正确作答的长度,通常明显小于窗口。RULER 这类基准测的就是有效上下文,且官方只给到 128K 档。
官方表只统计到 128K;512K 与 1M 档没有公开的统一结果。原因之一是超长输入的评测成本高、可复现性差,各家的采样与截断策略也不统一。所以本页不拿厂商自报去补这一格。
本页按原榜标注为已饱和:头部模型在 128K 档的分数已经很接近,区分度下降。它仍然是判断「长输入里能不能找到信息」的有效下限,但不再适合给模型排名。
用你自己的文档做多针检索:把若干条事实埋在不同位置,问需要跨位置组合的问题,看答案是否正确、引用是否指向真正的位置。这比任何公开基准都更贴近你的实际场景,也能暴露「读了但没读到」的情况。
数据来自公开渠道整理:各基准的论文、维护方榜单与第三方跑分结果,数据日期 2026-10-19。