GLM-5.3推理缓存实测:p99延迟从3.96秒涨到17.3秒
你肯定听过这句话:计算机世界里,读缓存永远比重新算一遍快。这几乎是所有工程师的本能直觉,就像你不会把算过的数学题再算一遍,而是直接抄答案。但有一组工程师发现,这个直觉在他们的系统里彻底失灵了。他们在给一个叫GLM-5.3的大模型做推理服务,这是一个超大规模的混合专家模型MoE:混合专家模型,一种让模型的不同部...
计算机世界里流传着一句话:读缓存永远比重新算一遍快。这几乎是工程师的本能反应——算过的数学题,直接抄答案就是了。
可有一组工程师发现,这个常识在他们那套系统里根本不成立。
他们服务的对象叫GLM-5.3,是个超大规模的混合专家模型(MoE)。按定义,MoE让模型的不同部分各自负责不同类型的任务,模型规模能扩大,计算量却不会明显上升。
这套系统跑在由8块英伟达B300显卡搭成的节点上。为了加快长文本处理,他们加了一层共享缓存,用来存放此前算过的注意力数据,指望遇到相似请求时直接复用、省掉重算的时间。缓存打开之后,中位数延迟基本没动,可最慢的那1%请求(p99延迟)从3.96秒涨到了17.3秒。工程师们一度把整个功能回滚掉了。
论文讲的就是他们怎样找出病根,又怎样把这套拖后腿的缓存改造成真能提速的组件。核心结论一句话:读缓存本身也要付出代价,这个代价往往被大大低估。
缓存到底慢在哪,得先弄清模型如何调用显卡
要看懂这篇论文,先得了解这套系统的结构。GLM-5.3采用的是MLA注意力机制。MLA即多头潜在注意力,由DeepSeek系列模型提出,做法是把每个词元的键值信息压成一个共享的低秩向量,存放这些中间结果所需的空间因此大幅缩小。
这一设计的好处在于:无论模型有多少个注意力头,每个词元要存的中间数据量都是固定的,而且很小。论文所描述的场景中,FP8精度下每256个词元打成一个"块",一块只有12.4MB,摊到每个词元是48.4KB。
长文本处理格外吃显卡,工程师们还动用了"预填充上下文并行"技术。PCP即预填充上下文并行:把一段长文本切成几份,交给多块GPU同时处理,处理完各GPU再通过网络通信把结果同步给所有参与者,每块GPU才能掌握完整的上下文。
在一个节点里,8块GPU(学术上叫"8个rank")如同咬合在一起的齿轮,每一步都要通信同步。只要有一块慢了,另外七块都得干等。
缓存分两层。靠近GPU的一层放在本地内存里(L1),速度快,容量小;远的一层寄存在名为Valkey的键值数据库(L2),容量大,所有推理引擎都能共用,像个公共图书馆。
毛病恰恰出在L2。
打个比方:你开了家连锁奶茶店,各店自己记账(L1),但总部要统一查账,所有门店的流水都得写进同一本总账(L2),而记这本账的只有一个会计。生意一好,八家店同时来写账,全堵在会计那儿排队。要是没有这本总账,各店记各店的,反倒互不干扰、速度更快,代价是总部无从知道别家店算过的东西能不能直接拿来复用。单个Valkey实例面对八个GPU并发请求时,遇到的正是这种局面。
一个加减法就能算清的成本模型
工程师们没有凭感觉猜,而是搭了个只有两项的简单数学模型,用来回答"这次缓存命中划不划算"。
公式很直白:重算耗时等于词元数除以GPU的处理速度;从缓存加载的耗时,则是一个固定开销加上数据量除以缓存能给出的带宽。
其中有个关键临界点,叫"收支平衡带宽",记作B*:缓存必须达到的最低传输速度,算法是每个词元的数据大小乘以GPU每秒能处理的词元数。速度低于这条线,读缓存注定比重新算还慢。
GLM-5.3跑在B300上的这套配置,算出的B*是2.53 GB/s。实测中单个Valkey实例最多只给到1.71 GB/s,连及格线都没摸到。
打个比方,你开车去修理厂,对方说“我们流水线快得很,自己拿零件比等快递强”。可快递送零件的速度要是赶不上流水线消耗的速度,等快递纯属白耗时间,快递公司再守时也白搭。关键从来不在快递准不准点,而在它跑不跑得赢流水线的消耗。
还有一个更棘手的东西:公式里那个叫T0的“固定开销”。它指每次缓存命中都得掏的固定时间,跟带宽没关系,调度、查找、未命中部分的补算、多卡之间的数据广播同步都算在里面。
工程师拿一个实测点反推,得出T0约为0.33秒。也就是说带宽再大,一次缓存命中也逃不掉这0.33秒。而16000词元的提示词重算只要0.31秒。算下来,命中的提示词长度得超过大约17000个词元(GPU速度乘以T0),缓存才可能比重算快;否则带宽多大都没用,缓存必输。
这个模型的价值不在事后解释。论文专门取了三组没参与拟合的独立测试数据来验证,预测值和实测值贴得很近,误差在个位数百分比以内。
带宽不够只是第一层。第二层更隐蔽,也更要命:同步加载。发现带宽不够,其实还没摸到真正的病根。
按这套系统最初的设计,请求一旦命中缓存,GPU这边就得停下来,专门等缓存数据加载完才继续跑。而8块GPU是绑在一起同步推进的,一个在等缓存,另外七个只能陪着干等。
排队论里管这叫单服务窗口队列。论文用利用率ρ来衡量队列健不健康,ρ等于请求到达速率乘以每次服务所需时间。ρ小于1,队列能稳住;ρ一超过1,队伍就越积越长,永远消化不完。
实测数据很难看:单个Valkey实例、同步加载的配置下,ρ算出来是1.13,已经越过临界点。系统运行的前三分之一时间里,中位延迟还是3.52秒,到最后三分之一飙到52.30秒,最多时59个请求同时堵在引擎里,GPU实际利用率只有7%。
拆开看更吓人。83.32秒的p99延迟,意味着每100个请求里最慢的那个,用户要等一分多钟才看到第一个字。GPU利用率只有7%,这块昂贵的硬件九成以上时间在闲置干等,全被缓存系统的堵塞浪费掉了。
好比一条高速公路只开一个收费窗口,还规定所有车道必须同步过关:一辆车慢了,后面所有车道一起停摆。车流一旦超过窗口的处理能力,排队的车越积越多,永远散不开,路再宽、车再多,通行能力也卡死在那一个窗口上。换成每条车道各开一个窗口、互不干扰,车流立刻就能跑起来。
病根找到了,解法其实很自然:既然瓶颈是“所有数据挤在一个会计那里”,那就给每个会计发一本自己的账本——把缓存拆开存,让每块GPU管自己那一份。
做法是把MLA的KV缓存按块索引切开,分给8个rank各自负责。论文管这叫“分片存储”:每个256词元的数据块按编号对8取余,决定归哪个rank管,该rank只负责自己名下块的存储、查找和加载,别的rank不碰。
这里有个精巧的数学证明值得单说。原来的调度器查找逻辑,是向每个rank问一句“你这边缓存命中到第几个块”,再取所有答案里的最小值,当作整个提示词能复用的最长前缀。工程师证明了,存储分片之后这套“取最小值”的逻辑依然完全正确,一行新协议代码都不用改——某个块缺了,拥有它的rank自然会报出缺口位置,取最小值就自动定位到真正的断点。这个证明不光停在理论推导,还在多达800个块的随机场景下做了穷举验证。
分片之后还有个坑得填:加载顺序不能乱。8个rank必须同步推进,不能有谁因为本地缺块就跳过某次集体通信,否则程序直接卡死。论文设计了一套协议,让每个rank不管本地什么情况,都严格按同样的顺序走完“取数据、交换指纹信息、协商出一致的可用前缀长度、按归属广播数据”这几步,保证哪怕某个rank本地出错,大家仍能达成一致,没人掉队。
存储拆完,下一步顺理成章是拆服务器:原来8个rank挤在一个Valkey实例上抢流水线,现在每个rank配一个专属Valkey实例,各碰各的数据,复杂的分布式协调协议和哈希路由全都不需要。带宽提升很直接:从1.71 GB/s涨到10.76 GB/s,整整6.3倍。就像原来八个部门共用一台打印机天天排队,现在每个部门各配一台,打印任务互不干扰,整体吞吐量自然往上翻。要是继续共用一台,打印机本身再快,八个部门抢着用,瓶颈永远在“抢”上,不在打印机的性能上限。
拆分存储解决了带宽,但论文团队没停手。前面算过,带宽拉满单次命中还是躲不开固定成本T0,那至少别让这个成本拖累整个系统的稳定性——异步加载加上三个潜藏多年的客户端bug,是接下来要处理的事。
答案就是异步加载:缓存加载不再卡住GPU主流程,某个请求加载慢了只耽误它自己,其他请求照常跑。
异步加载这套机制原本只服务于普通张量并行场景,默认由rank 0独自承担查找工作。工程师把它推广到分片模式时,先保证每个rank只预取归自己管的那部分数据块,随后又修正了“某个rank一个都没命中”的边界情形——按旧逻辑会误报0个词元命中,可在分片模式下真实结果或许是256个词元,因为块0的归属权握在别的rank手上。这处改动借助3000组随机命中模式做了属性测试。
排查期间还发现三个非常隐蔽的客户端bug,任何一个都会让请求无限期挂起,而GPU的运行轨迹上又看不出丝毫活动,查起来特别吃力。头一个是“完成通知丢失”:客户端原本先发出请求,再去登记一张接收结果的“回执单”,倘若结果恰好在这两步之间的空档处理完毕,回执就会被直接丢弃,调用方从此卡在等待结果的位置上。分片存储让这个问题放大了8倍,原先只有一次查找会受影响,如今每个rank都要查找,暴露窗口也跟着乘了8。生产环境里出现过某个引擎连续16次请求全部超时,一查才发现所有查找线程都堵在等结果上,可实际上压根没有待处理任务在排队。
第二个bug藏得更深,牵扯到网络协议里字节数对不上。Redis系列数据库用5个字节的特殊字符串表示“键不存在”,客户端代码却固定按11字节读取响应,读不满就永远读不完,连接随即作废。再加上缓存淘汰策略(LRU)的作用,一个数据块完全可能在“查找”与“真正加载”之间的空档被淘汰,一旦发生,加载会直接卡满10秒(系统设定的超时上限)才恢复,这10秒里全部8个GPU都跟着白等。
第三个bug是异步加载请求把键名用岔了:查找走一套命名方式,取数据走另一套,于是rank 0之外的其他rank查到数据存在,真去取时却取不到,顺带把前一个bug也牵了出来。
三个bug单拎出来都不算大,可它们恰好点明一件事:复杂系统里拖垮性能的,常常不是算法本身差,而是那些平时概率极低、一触发就卡死全局的边角情况。
配置
|---|---|---|
| 单实例,同步加载 | 9.70秒 | 83.32秒 | 7% |
| 单实例,异步加载 | 3.20秒 | 3.82秒 | 28% |
| 8实例,同步加载 | 0.41秒 | 0.80秒 | 21% |
| 8实例,异步加载 | 0.41秒 | 0.73秒 | 20% |
| **8实例,异步加载,全部修复** | **0.40秒** | **0.67秒** | 22% |
| 纯重新计算(对照组) | 0.31秒 | 1.28秒 | 0.8% |
表格里最耐人寻味的是最后那组对比:全部修复后的缓存方案p99为0.67秒,比纯重新计算的1.28秒更稳,可中位延迟0.40秒,还是比重新计算的0.31秒多出0.09秒。论文直言,这段差距基本都来自前面提到的T0固定成本,堆带宽解决不了,想追平甚至反超重新计算,得从算法本身压掉这笔固定开销,例如把多次广播合成一次,或让数据获取与元信息交换重叠起来跑。延迟之外,吞吐量也有实打实的增长。8块B300同时跑8个20万词元级超长提示词的压力测试中,仅分片存储一项改动就把吞吐量从每秒4.32万词元拉到4.94万词元,涨了14%。排查途中工程师还顺手发现一个与缓存无关、却同样拖慢速度的内核效率问题:FlashInfer库里一个融合算子受专家并行机制影响,大量线程块在處理不属于自己的数据,占掉17%的GPU时间,换成官方提供的优化内核实现后,这部分耗时从1.57毫秒降到0.23毫秒。两项改动叠加,吞吐量达到每秒5.73万至5.80万词元,提升34%,已接近完全关闭缓存系统时的水平,差距仅4%到5%。
团队没有停在实验室数据上,把全部改动搬进真实的五节点生产环境跑了一轮企业SLA压力测试。四个预填充节点加一个解码节点的配置下,首字延迟的中位数、90分位数和均值全部达标;单节点吞吐效率(每分钟处理的词元数)做到255万,约为原来聚合部署方式的3.6倍。
写在后面
这篇论文最出乎我意料的,其实不是那套精巧的分片设计,而是T0这个固定成本本身的存在。工程师起初认定问题只是“带宽不够”——很直觉的判断,加带宽、拆实例,按理就该解决。可算出17000词元这道门槛后才发现,带宽再怎么无限大,短提示词的缓存命中依旧赢不了重新计算。性能优化有时就是这样,真正的瓶颈不在你盯着的那个维度,而藏在一堆看似无关紧要的“固定开销”里:调度、查找、广播同步,单看每样都是毫秒级小事,叠在一起却能划出整个系统的可行性边界。
另一个耐人寻味的细节是,这三个客户端bug在单一存储、同步加载的旧架构下几乎从没露过头,是分片和异步化这两项“正确的改进”把触发概率放大了8倍,才被工程师撞见。这挺反直觉:你为解决一个问题所做的改动,有时反而会把另一个一直潜伏的问题推到台前。论文里反复强调每个修复都配了专门的回归测试,原因大概也在这里——在多卡同步的系统里,一个看似无关的小bug真能让整台价值不菲的GPU集群陷入近乎瘫痪的空转。
如果你的系统里也有一层“理应更快”的缓存,不妨问一句:它交付数据的速度,真追得上你计算资源消耗数据的速度吗?
Q&A
Q1:为什么论文里说的缓存读取有时候会比重新计算还慢?
缓存读取为何有时反倒不如重新算?论文给出了临界值B*的算法:每词元数据量乘以GPU处理速度。实际缓存带宽一旦低于这个值,读缓存就比让GPU直接重算更慢。单个Valkey实例实测只有1.71GB/s,而所需带宽是2.53GB/s,差距明显。
那MLA又是什么?这是DeepSeek系列模型提出的注意力设计,思路是把每个词元的键值信息压成一个低秩向量,由所有注意力头共享。存储的中间数据量因此很小,也不会随注意力头数量增加而变大。GLM-5.3正是靠它来降低显存和存储开销。
分片存储方案针对的是拥堵问题。原方案里,所有GPU的缓存数据都写进同一个存储实例,排队严重。分片方案改为按数据块编号把存储分给不同GPU各自负责,每个GPU配上独立的存储实例。效果是带宽从1.71GB/s升到10.76GB/s,整体p99延迟从83.32秒降到0.67秒。