32GB内存跑180B模型:用Transformers实现MoE专家流式加载
在只有32GB统一内存的Mac上运行1800亿参数的Qwen模型听起来像天方夜谭,但通过优化Transformers库的专家卸载机制,我们实现了接近专用引擎Strata的性能。本文详细拆解了如何利用SSD流式加载稀疏专家、构建有界缓存以及编写Metal内核,将推理速度提升至14 tokens/s,仅比最优方案慢6%。这
为什么要在32GB内存上死磕180B模型?
我最近有个执念:尽量摆脱对在线API的依赖,把更大的模型跑在本地。家里那台配了两张RTX 4090的Windows主机(我叫它“Orthrus”,希腊神话里的双头犬)虽然算力强劲,但被孩子们的游戏占满了硬盘,而且固定台式机的位置限制了我的工作流。我更喜欢“移动办公”:一小时在厨房喝咖啡,两小时在书桌前,剩下的时间在沙发上。所以,我那台配备32GB统一内存的MacBook M5成了主力。
起初,我尝试在Orthrus上运行Qwen 27B模型,通过局域网让笔记本调用。但这不够优雅。社交媒体上的朋友建议我试试Strata引擎配合Qwen3.8-Flash-Next模型。Strata是个专门针对MoE(混合专家)模型的推理引擎,它的核心思路很直接:只把当前需要的“热”专家留在显存里,其他的扔进内存甚至硬盘。毕竟在MoE模型中,专家权重占了90%以上,这种策略能让1800亿参数的模型在消费级显卡上跑起来。
有人已经在32GB的Mac M4上用Strata跑出了13.5 tokens/s的速度。虽然对于高频代码辅助来说还是有点慢,但这勾起了我的好奇心:如果不用专用的Strata,只用通用的Hugging Face Transformers库,能不能在同样的硬件限制下,跑出接近的性能?
现有的卸载方案为什么不够好?
在动手之前,我先调研了llama.cpp、vLLM和Transformers在处理装不下显存的MoE模型时是怎么做的。核心问题就三个:专家存在哪?计算在哪跑?每个token生成时数据怎么搬?
llama.cpp 的做法是把GGUF文件映射到内存,专家可以留在CPU上计算。只要专家能塞进内存,速度就很快。但如果内存也不够,页面缓存就会频繁抖动。虽然最近加了GPU专家缓存,但这会打碎计算图,导致性能损失约10%。
vLLM 允许把部分权重卸载到 pinned RAM(固定内存)。但对于MoE层,它每次都要通过PCIe总线读取被路由到的专家,且没有缓存机制。这意味着同一个热门专家在每个token生成时都要重新读一遍。虽然这对大batch场景还行,但对单用户单卡来说,带宽浪费严重。
Transformers 依靠Accelerate库进行卸载。它的粒度是“模块”,也就是把整个层的专家库都拷到GPU上。对于MoE来说,每层有几百个专家,但每次只用其中几个。Transformers不管路由逻辑,全盘拷贝,效率极低。而且在Mac上,CPU和GPU共享内存,“卸载到CPU”并不能释放空间,只是换了个标签而已。
我在一张24GB显存的A10G显卡上做了对比测试。结果显示,Strata以82-88 tokens/s遥遥领先。llama.cpp在专家能 fit 进内存时表现不错(63-64 tokens/s),而vLLM在开启专家卸载后只有20 tokens/s左右。至于原生的Transformers + Accelerate,速度只有可怜的0.16 tokens/s。这说明,如果要在大模型上突围,必须做到两点:只流式传输路由器选中的专家,并且使用有界缓存,让SSD成为瓶颈而不是Python代码。
改造Transformers:从OLMoE开始小步试错
既然原生Transformers太慢,我决定自己动手改。所有的代码原型都是借助AI生成的,包括Transformers的PR、模型特定包和Metal内核。我的主要工作是确定方向、分析性能剖面(profile)并决定保留哪些优化。
我先拿OLMoE-1B-7B这个较小的模型练手,因为它能完全装入内存,方便对比每个token的输出是否正确。
第一版实现很简单:专家存在磁盘,设备上搞个LRU缓存,用Python循环逐个运行专家。即使所有专家都在缓存里,速度也只有10.1 tokens/s,而原生Transformers能跑32 tokens/s。问题出在循环上:原生代码使用grouped_mm,一个内核就能并行处理一层的所有专家,而我的Python循环串行执行,开销太大。
关键的突破点在于把缓存改造成**“槽位池”(slot pool)**。我预分配了一个设备张量作为共享池,并为每一层维护一个从专家ID到槽位的映射表。当路由器选出专家后,我把它们的权重重映射到槽位池中。这样,槽位池看起来就像一个常规的专家库,可以直接调用原生的grouped_mm内核,无需自定义矩阵乘法。这一改动让速度飙升到34.6 tokens/s,几乎追平了原生的38.1 tokens/s。
实现experts_offload:让Qwen在Mac上跑起来
有了原型,我将其整合进Transformers的from_pretrained方法中,提出了experts_offload参数。要体验这个功能,需要安装特定的PR分支。
针对目标模型Qwen3.8-Flash-Next,配置如下:
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={"": "mps", "experts.*": "disk"},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30, # 12GB缓存
"quantized_experts": f"{path}/experts-q3", # 3bit量化专家路径
},
)在这个方案中,标记为"disk"的专家不走Accelerate的老路,而是进入流式加载路径。加载器会跳过这些张量,MoE层切换到卸载实现。当发生缓存未命中时,8个I/O线程会从磁盘读取专家数据。为了掩盖延迟,我会提前运行接下来两层的_router_,预测需要的专家并进行预取。此外,专家权重可以离线量化为3bit,进一步减小I/O体积。
Qwen3.8-Flash-Next有48层,每层512个专家(激活10个),FP8精度下专家权重达121GB。光流式加载专家还不够,还有一个51GB的n-gram嵌入表需要处理。最终方案是:
- 专家量化为3bit,占用磁盘49GB,设备缓存12GB。
- 稠密层权重量化为8bit,占用约5.4GB。
- n-gram表保留在磁盘,按需读取行数据。
转换过程耗时约5小时。加载后,模型占用约18GB内存,处理6K长度的prompt时峰值达到25.4GB。这已经逼近32GB Mac的极限,我得关掉浏览器,否则macOS开始交换内存,速度会骤降。
性能对比:距离Strata还有多远?
最初版本在Mac M5上的解码速度约为10 tokens/s。作为对比,同硬件下的Strata能达到14.8 tokens/s。差距主要来自几个方面:
- GPU提交延迟:PyTorch在MPS后端会积攒小内核直到下一次同步,导致GPU在Python处理逻辑时空转。强制在每个块后提交GPU任务,提升了10%的速度。
- 缺失的Metal内核:macOS上没有Gated DeltaNet和超连接(hyper-connections)的快速路径,我不得不手写Metal内核来加速这些部分。
- 权重优化:我换用了Strata的GGUF权重格式,将每个token的稠密权重传输量从5.4GB降到3.9GB,单个专家大小从2.15MB降到1.75MB。
- Prefill优化:通过增大分块大小,并在计算当前层时预取下一层的专家,Prefill速度从68 tokens/s提升到了228 tokens/s,甚至略高于Strata的220 tokens/s。
- 长文档处理:注意力机制只在索引器选定的块上计算,KV缓存原地增长而非每次复制,显著降低了内存带宽压力。
经过这一系列优化,最终结果如下:
| 场景 | Transformers (tok/s) | Strata (tok/s) | 差距 |
|---|---|---|---|
| 解码 (200 tokens) | 13.9 | 14.8 | 1.06x |
| Prefill (4K prompt) | 228 | 220 | 1.0x (更快) |
| 长文档后解码 | 12.4 | 13.7 | 1.1x |
在短文本解码上,Transformers方案仅比Strata慢6%,而在Prefill阶段甚至反超。这对于一个通用库来说,是个相当不错的成绩。
剩下的6%差距在哪里?
尽管性能接近,但仍有约10ms/token的主机往返开销。其中只有1ms是同步唤醒,剩下的9ms是GPU在等待Python队列下一层任务时的空转。Strata之所以快,是因为它一次性排队整个token的工作,并在每层通过Metal共享事件等待主机读取专家。而PyTorch目前不暴露这种细粒度的控制能力。
我尝试过用自旋锁内核模拟这种机制,让GPU等待CPU写入的标志位,但效果不稳定,有时甚至会导致GPU挂起。真正的解决方案需要在PyTorch的MPS流中引入原生操作,但这涉及到底层框架的修改,风险较大,所以我暂时止步于此。
结语:不仅仅是为了跑通模型
最终,我在32GB Mac上实现了约14 tokens/s的推理速度。虽然对于实时代码代理来说还是略显迟缓,我的双4090主机依然是主力,但这次实验的价值远超速度本身。
通过这个项目,我从系统层面深入理解了MoE和LLM的工作原理:路由到底有多稀疏?专家缓存能带来多大收益?每个token的内存带宽消耗分布如何?主机和GPU之间的等待时间花在哪?Transformers的模块化设计让这一切变得可探索、可调试。
更重要的是,这个方案没有引入任何C++扩展,完全基于Python、运行时编译的Metal内核以及从Hub加载的预建内核。所有为本次实验编写的Metal内核都已开源发布。通用的专家流式加载实现已合并到Transformers PR #50717中。
如果你也在尝试在有限资源下运行超大MoE模型,不妨试试这个方案。它或许不能让你彻底告别云端,但至少能让你在本地更从容地探索大模型的边界。