字节Seed团队：DeepSeek长上下文为何性能漂移

10 月 9 日消息，字节 Seed 团队 9 月底在 arXiv 上挂出一篇论文，讨论分块 KV 缓存压缩引发的相位敏感性，并把矛头指向 DeepSeek“抽风”的根源。

这次评估覆盖了 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro 的基础版与后训练版，另外还有后训练后的 DeepSeek-V4.1-Flash。

分块 KV 缓存压缩的做法，是按固定步幅把连续标记的窗口压成更少的缓存条目，借此降低长上下文推理的内存开销和注意力成本。

但压缩同时带来了一个新的位置坐标——Token 的相位，也就是它相对压缩窗口边界所处的位置。

团队在用了这种压缩的模型里看到一种系统性的不对称：同一份信息，落在某个阶段就很容易被检索到，落到另一个阶段却很难找出来。他们把这种检索表现的周期性起伏叫作相位敏感性（phase sensitivity）。在采用同类压缩的大型开放权重模型中，长上下文检索准确率在不同阶段之间最多能差 40 个百分点，这也说明平均基准分数背后，可能藏着被掩盖的周期性短板。

论文链接见 IT之家附文。