LongBench（长文本基准）

LongBench 是一套面向长文本任务的评测集，任务类型包括单文档问答、多文档问答、摘要汇总、少样本学习、代码补全与合成任务（例如段落计数与段落检索），输入长度从中等长度到超长文本不等。它的意义在于把「上下文窗口多大」这个参数，变成「长输入下答得准不准」这个结果指标。

窗口大不等于用得上

注意力机制对位置并非一视同仁：大量实验观察到关键信息放在开头或结尾时更容易被利用，埋在长文档中间时容易被忽略。另外，输入越长，无关内容对答案的干扰越强，模型也越容易把不同段落的说法混在一起。所以标称支持的上下文长度只是容量上限，实际可用长度通常更短，且随任务类型变化。

为什么需要单独测

• 位置敏感：关键信息放在开头、中间还是结尾，结果差别明显，需要做对照实验。
• 长度衰减：同一模型在短输入上很准，长输入下会明显下滑，平均分掩盖了这一点。
• 干扰放大：文档越多，无关内容对答案的干扰越强，检索质量的影响被放大。
• 与检索耦合：真实系统里先检索再回答，长文本能力只是整条链路中的一环。
• 成本随长度上升：输入越长，显存占用与延迟越高，能力与成本要一起权衡。

和检索增强的区别

• 解决问题的方式不同：长上下文靠一次性塞入原文，检索增强靠先筛出相关片段再生成。
• 失效模式不同：前者怕信息被淹没，后者怕该检索的内容没被召回，两者需要分别验证。
• 成本结构不同：长上下文省掉了检索工程，但每次请求都要付出更长的输入开销。
• 可追溯性不同：检索方案能指出答案来自哪一段，纯长上下文往往说不清依据在哪。

做长文档产品时的取舍

• 先切分再汇总：按章节切分逐段处理能降低单次输入长度，代价是跨段信息需要额外汇总。
• 关键内容前置：把检索出的相关片段放在输入靠前位置，利用位置偏好提升命中率。
• 缓存可复用前缀：长文档反复问答时，固定前缀的计算结果可以复用，明显降低延迟与开销。
• 要求给出出处：让模型标明答案来自哪一段，便于人工核对，也能发现它是否真的读到了关键部分。
• 准备降级策略：输入过长时先做筛选与压缩，必要时返回「不确定」，而不是在信息不全时硬答。

做长文档产品时，不要因为窗口标称很长就把整份文档塞进去，应先用这类评测确认模型在目标长度下的实际表现，再决定检索粒度与压缩策略。落地后还要把长输入下的失败案例单独收集起来，它们往往比平均分更能指出该补检索还是该改压缩。