GLM-5.3-Flash登陆H200：四卡跑出prefill 48064 tokens/s
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务，需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案，包括混合缓存复用、加速投机执行、针对性内核调优和FP8 prefill通信。实验结果
GLM-5.3-Flash把稀疏注意力、循环线性注意力和MoE架构揉在一起。放到长上下文场景里，想服务得高效，高并发内存、低输出token成本、足够的prefill吞吐三样缺一不可。Ant International AI Infra团队的做法是在H200上走SGLang，配混合缓存复用、快速投机执行、内核调优和FP8通信，效果相当可观。
1. 架构与工作负载
模型的注意力状态有两种表示：稀疏注意力存历史KV，线性注意力维护循环状态。PD分离让两者各自配置并行度和后端，四卡H200实例之间用NIXL传缓存。
测试分两组：prefill用64K输入/10-token输出、无共享前缀来测；decode容量则用64K/1K、99.9%共享前缀来测。
2. 将缓存容量转化为并发
池大小靠FP8 KV与BF16循环状态重新平衡，投机状态交给ReplaySSM管理。KV-only RadixCache让前缀KV能跨请求共享，同时每个请求的循环状态仍各自独立保留。
3. 降低有用输出成本
MTP718与DFlash2 block8做了对比，后者一次前向就生成block，周期时间由86.94ms压到74.14ms，输出吞吐涨了8.4%。
MoE GEMM针对真实路由做了调优，M1024配置下吞吐又多了3.12%。DSA Partial改用更大的KV tile（128），迭代次数随之减少。
四卡H200上最终跑出prefill输入吞吐48064 tokens/s、decode输出吞吐12027 tokens/s，3P1D端到端吞吐的提升很明显。
