Netpreme X-Mem™联调SGLang HiSparse：16K上下文TPOT最多降63.58%
XM-Sparse将Netpreme X-Mem™与SGLang HiSparse深度整合，通过高带宽访问外置KV缓存显著降低解码延迟，并借助海量外部容量支持更大批次与更高并发。测试显示，在16K上下文和20% miss率下，X-Mem™相比主机DRAM将每输出token时间缩短49.25%，峰值吞吐提升2.09–3.
XM-Sparse把Netpreme X-Mem™和SGLang HiSparse做了深度整合。外置KV缓存获得高带宽访问，解码延迟因此下降；容量也随之上来，更大批次和更高并发都能撑住。
TL;DR
- 对SGLang HiSparse来说，X-Mem™给的是高带宽和海量外部容量：外置KV访问更快，批次规模也能突破主机DRAM的上限。
- 批次相同，解码更快。16K上下文、20% top-k miss率、每GPU批次192的条件下，X-Mem™把平均每输出token时间（TPOT）压低了49.25%，对比对象是PCIe主机DRAM；miss率升到40%时，降幅为63.58%。
- 上下文拉长，吞吐同样更高。20% miss率下，16K–1M上下文范围内，X-Mem™的解码吞吐达到主机DRAM峰值的2.09–3.04倍。
这些数据来自X-Mem™ Pilot Virtual Machine的实测，目前该平台已开放申请，X-Mem™硅片也即将上市。
稀疏注意力为什么需要一层又快又大的内存
稀疏注意力在每次解码时只碰选中的KV条目，可选中哪些条目是动态变的，完整KV缓存还是得留着。SGLang HiSparse的做法是：用热KV缓冲压住外部内存读取，索引键缓存则放在GPU HBM里。
Agentic负载对吞吐的要求更狠。编码代理要同时挂着数百个会话，每个会话的KV复用率最高到95%。高并发下能服务多少，直接由解码吞吐决定。
带宽与容量瓶颈怎么建模
建模对比了解码吞吐在四种外部内存配置下的表现：PCIe、CXL、NVLink-C2C，以及Scale-up扩展内存。128K上下文时，容量和带宽两头都卡。24TB容量加900 GB/s带宽，性能会明显上一个台阶。
短上下文和长上下文的差别
16K和1M上下文，分别把带宽约束和容量约束顶到前面。16K时瓶颈主要在带宽，900 GB/s能带来1.80倍提升；到了1M，限制变成容量，24TB配置可以把批次从4拉到20。
Netpreme X-Mem™：给SGLang HiSparse配的高带宽高容量内存层
X-Mem™ MPU借助高带宽 fabric，在scale-up域内给GPU扩出数十TB内存。一个节点可装4个MPU，合计24TB DDR5，聚合带宽约4TB/s。
和SGLang HiSparse怎么集成
XM-Sparse保留了HiSparse原有的稀疏选择、缓存管理和预取机制，CUDA Graph也支持。KV管理跟着请求生命周期走：发布、获取、写回、释放。
XM-Sparse的测试平台与解码性能
测试用四块NVIDIA B300解码GPU跑GLM-5.3。20% miss率下，X-Mem™把TPOT明显拉低，峰值吞吐也提到主机DRAM的2倍以上。
