GLM-5.3-Flash在H200上提速：四卡实现48064 tokens/s预填充
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务，需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案，包括混合缓存复用、加速投机执行、针对性内核调优和FP8 prefill通信。实验结果
GLM-5.3-Flash把稀疏注意力、循环线性注意力与MoE架构放在了一起。要在长上下文场景里把服务跑得高效，高并发下的内存、更低的输出token成本、够用的prefill吞吐，三样都得满足。Ant International AI Infra团队在H200上用SGLang做了实践，手段包括混合缓存复用、快速投机执行、内核调优以及FP8通信，效果明显。
1. 架构与工作负载
这个模型的注意力状态有两种表示：稀疏注意力负责存历史KV，线性注意力则维护循环状态。PD分离之后，两者可以各自设定并行度和后端；四卡H200实例之间，缓存通过NIXL传输。
测试分两项：prefill用64K输入、10-token输出、无共享前缀来测；decode容量则用64K/1K、99.9%共享前缀来测。
2. 把缓存容量变成并发能力
池子大小按FP8 KV与BF16循环状态重新配平，投机状态交给ReplaySSM管理。KV-only RadixCache让不同请求之间可以共享前缀KV，每个请求的循环状态仍然单独保留。
3. 压低有用输出的成本
拿MTP718和DFlash2 block8做对比，后者一次前向就能生成一个block，周期时间由86.94ms降到74.14ms，输出吞吐提升8.4%。
围绕真实路由对MoE GEMM做了调优，M1024配置下吞吐又多了3.12%。DSA Partial改用更大的KV tile（128），迭代次数随之减少。
最终，四卡H200上的prefill输入吞吐达到48064 tokens/s，decode输出吞吐为12027 tokens/s，3P1D端到端吞吐的提升相当明显。
