内存墙（Memory Wall）

内存墙描述的是计算能力与访存能力之间不断拉大的差距：单位时间能做的运算越来越多，但能把数据搬到计算单元旁边的带宽涨得慢得多。结果是芯片的理论算力大部分时间用不上，实际性能由数据搬运速度决定。它和「算力不足」是两回事——前者缺的是喂数据的速度，后者缺的是算的能力，优化方向完全不同。

失衡从哪里来

计算单元的算力来自晶体管尺寸缩小与集成密度提升，在制程代际之间大致翻倍；而访存要跨越片外存储、封装与互连，受引脚数量、信号完整性与功耗限制，提升幅度小得多。判断一个算子受哪边限制，可以看算术强度：每读入一字节数据能参与多少次运算。这个比值高时算力是瓶颈，一旦降到几次，瓶颈就翻转到搬运上，大模型推理里逐元素操作多的环节正是这种情况。

缓解路径

• 提高数据复用：通过分块与批处理让同一份数据被多次使用，把算术强度提上去。
• 拉近存储距离：片上缓存、堆叠存储与近存计算都在缩短数据要走的物理距离。
• 减少搬运次数：算子融合把多步计算合并，避免中间结果反复写回再读出。
• 降低单次搬运量：用更窄的数值格式减少字节数，用同样的带宽搬更多有效信息。
• 改变调度顺序：把访存密集与计算密集的操作错开重叠，掩盖等待时间。

怎么判断自己撞上了内存墙

• 算力利用率低：计算单元的忙碌比例长期偏低，而显存带宽接近打满。
• 加算力不加速：换更强的芯片或加并行度，端到端时间几乎没变。
• 批大小敏感：增大批大小明显变快，说明瓶颈在每次搬运的数据量上。
• 算子融合收益大：把相邻算子合并后提升显著，通常意味着中间结果搬运占了太多时间。

常见误区

• 把算力当唯一指标：峰值算力高不等于实际快，数据喂不上就是白算。
• 只想着换硬件：定位到搬运瓶颈后，改数据布局与算子融合往往收益更快、成本更低。
• 混淆带宽与延迟：带宽决定吞吐上限，延迟决定单次访问要等多久，优化手段并不相同。
• 以为缓存能兜住：工作集远大于缓存容量时，命中率会迅速下降，收益非常有限。

这条规律解释了为什么很多优化不看算力看访存：把瓶颈定位到搬运环节之后，往往不需要换硬件，改数据布局、批大小与计算顺序就能拿到明显收益。反过来，如果确实是算力受限，再怎么调布局也收效有限——先分清瓶颈在哪一边，再决定投入方向。