DeepSeek长文检索为何时好时坏？字节Seed团队找到相位敏感性这个原因
在使用同类压缩方案的开源大模型中，长上下文检索准确率在不同相位之间最高能相差40个百分点。
10月9日消息，拿
DeepSeek处理篇幅很长的文档时，你可能碰到过这种怪事：同样一个问题，模型有时候能准确地把答案找出来，有时候却像换了个脑子，怎么也搜不到关键内容。这种忽好忽坏的表现，让不少用户摸不着头脑，很多人第一反应是网络出了问题，或者觉得是自己的提示词没写好。字节跳动Seed团队最近在arXiv上发表的一篇论文，对此给出了说法。
今年9月底，字节Seed团队把论文提交到了预印本平台arXiv，他们认为DeepSeek这类情况的根源，在于分块KV缓存压缩所导致的相位敏感性。研究团队测试的对象包括基础版和后训练版的DeepSeek-V4-Flash、DeepSeek-V4-Pro，还有经过后训练的DeepSeek-V4.1-Flash。
据了解，这些模型用的是分块KV缓存压缩技术，按固定步幅把连续的token窗口压成数量更少的缓存条目，借此减少长上下文推理时的内存占用和注意力计算开销。
不过这套压缩办法也带来了一个新的位置参数——Token相位，指的是token处在压缩窗口边界什么位置上。
团队在研究中发现，用了这种压缩方案的模型有一个系统性的不对称特点：同一段信息，处在某个相位时模型很容易就能检索到；
一旦换到别的相位，就很难读出来。研究人员给这种检索性能周期性起伏的现象起了个名字，叫“相位敏感性”。
在采用同类压缩方案的开源大模型里，长上下文检索准确率在不同相位之间的差距最高能达到40个百分点。也就是说，大家平时看的基准平均分，会把模型这种周期性短板给盖住。
那这个发现有什么价值？平时人们参考AI评测成绩，盯的都是平均分。平均分就像一名学生总均分80分，可某些章节能拿满分，某些章节却只有20分。
放到大模型身上，就是说AI能不能在文档里找到答案，不只看问题本身，还跟目标信息在文本中的位置有关。一些看上去不起眼的细节，就可能让关键信息掉进模型的“相位盲区”。
