32GB内存跑180B模型:用Transformers实现MoE专家流式加载

资讯 AI 应用前沿 全文 4222 字 · 约 11 分钟读完 分类SSDQwen阿里存储

在只有32GB统一内存的Mac上运行1800亿参数的Qwen模型听起来像天方夜谭,但通过优化Transformers库的专家卸载机制,我们实现了接近专用引擎Strata的性能。本文详细拆解了如何利用SSD流式加载稀疏专家、构建有界缓存以及编写Metal内核,将推理速度提升至14 tokens/s,仅比最优方案慢6%。这

所属频道 大厂动态算力与芯片开源生态

为什么要在32GB内存上死磕180B模型?

我最近有个执念:尽量摆脱对在线API的依赖,把更大的模型跑在本地。家里那台配了两张RTX 4090的Windows主机(我叫它“Orthrus”,希腊神话里的双头犬)虽然算力强劲,但被孩子们的游戏占满了硬盘,而且固定台式机的位置限制了我的工作流。我更喜欢“移动办公”:一小时在厨房喝咖啡,两小时在书桌前,剩下的时间在沙发上。所以,我那台配备32GB统一内存的MacBook M5成了主力。

起初,我尝试在Orthrus上运行Qwen 27B模型,通过局域网让笔记本调用。但这不够优雅。社交媒体上的朋友建议我试试Strata引擎配合Qwen3.8-Flash-Next模型。Strata是个专门针对MoE(混合专家)模型的推理引擎,它的核心思路很直接:只把当前需要的“热”专家留在显存里,其他的扔进内存甚至硬盘。毕竟在MoE模型中,专家权重占了90%以上,这种策略能让1800亿参数的模型在消费级显卡上跑起来。

有人已经在32GB的Mac M4上用Strata跑出了13.5 tokens/s的速度。虽然对于高频代码辅助来说还是有点慢,但这勾起了我的好奇心:如果不用专用的Strata,只用通用的Hugging Face Transformers库,能不能在同样的硬件限制下,跑出接近的性能?

现有的卸载方案为什么不够好?

在动手之前,我先调研了llama.cpp、vLLM和Transformers在处理装不下显存的MoE模型时是怎么做的。核心问题就三个:专家存在哪?计算在哪跑?每个token生成时数据怎么搬?

llama.cpp 的做法是把GGUF文件映射到内存,专家可以留在CPU上计算。只要专家能塞进内存,速度就很快。但如果内存也不够,页面缓存就会频繁抖动。虽然最近加了GPU专家缓存,但这会打碎计算图,导致性能损失约10%。

vLLM 允许把部分权重卸载到 pinned RAM(固定内存)。但对于MoE层,它每次都要通过PCIe总线读取被路由到的专家,且没有缓存机制。这意味着同一个热门专家在每个token生成时都要重新读一遍。虽然这对大batch场景还行,但对单用户单卡来说,带宽浪费严重。

Transformers 依靠Accelerate库进行卸载。它的粒度是“模块”,也就是把整个层的专家库都拷到GPU上。对于MoE来说,每层有几百个专家,但每次只用其中几个。Transformers不管路由逻辑,全盘拷贝,效率极低。而且在Mac上,CPU和GPU共享内存,“卸载到CPU”并不能释放空间,只是换了个标签而已。

我在一张24GB显存的A10G显卡上做了对比测试。结果显示,Strata以82-88 tokens/s遥遥领先。llama.cpp在专家能 fit 进内存时表现不错(63-64 tokens/s),而vLLM在开启专家卸载后只有20 tokens/s左右。至于原生的Transformers + Accelerate,速度只有可怜的0.16 tokens/s。这说明,如果要在大模型上突围,必须做到两点:只流式传输路由器选中的专家,并且使用有界缓存,让SSD成为瓶颈而不是Python代码。

改造Transformers:从OLMoE开始小步试错

既然原生Transformers太慢,我决定自己动手改。所有的代码原型都是借助AI生成的,包括Transformers的PR、模型特定包和Metal内核。我的主要工作是确定方向、分析性能剖面(profile)并决定保留哪些优化。

我先拿OLMoE-1B-7B这个较小的模型练手,因为它能完全装入内存,方便对比每个token的输出是否正确。

第一版实现很简单:专家存在磁盘,设备上搞个LRU缓存,用Python循环逐个运行专家。即使所有专家都在缓存里,速度也只有10.1 tokens/s,而原生Transformers能跑32 tokens/s。问题出在循环上:原生代码使用grouped_mm,一个内核就能并行处理一层的所有专家,而我的Python循环串行执行,开销太大。

关键的突破点在于把缓存改造成**“槽位池”(slot pool)**。我预分配了一个设备张量作为共享池,并为每一层维护一个从专家ID到槽位的映射表。当路由器选出专家后,我把它们的权重重映射到槽位池中。这样,槽位池看起来就像一个常规的专家库,可以直接调用原生的grouped_mm内核,无需自定义矩阵乘法。这一改动让速度飙升到34.6 tokens/s,几乎追平了原生的38.1 tokens/s。

实现experts_offload:让Qwen在Mac上跑起来

有了原型,我将其整合进Transformers的from_pretrained方法中,提出了experts_offload参数。要体验这个功能,需要安装特定的PR分支。

针对目标模型Qwen3.8-Flash-Next,配置如下:

model = AutoModelForCausalLM.from_pretrained(
    f"{path}/dense",
    dtype=torch.bfloat16,
    device_map={"": "mps", "experts.*": "disk"},
    quantization_config=MetalConfig(bits=8),
    experts_offload={
        "cache_bytes": 12 << 30,  # 12GB缓存
        "quantized_experts": f"{path}/experts-q3",  # 3bit量化专家路径
    },
)

在这个方案中,标记为"disk"的专家不走Accelerate的老路,而是进入流式加载路径。加载器会跳过这些张量,MoE层切换到卸载实现。当发生缓存未命中时,8个I/O线程会从磁盘读取专家数据。为了掩盖延迟,我会提前运行接下来两层的_router_,预测需要的专家并进行预取。此外,专家权重可以离线量化为3bit,进一步减小I/O体积。

Qwen3.8-Flash-Next有48层,每层512个专家(激活10个),FP8精度下专家权重达121GB。光流式加载专家还不够,还有一个51GB的n-gram嵌入表需要处理。最终方案是:

  • 专家量化为3bit,占用磁盘49GB,设备缓存12GB。
  • 稠密层权重量化为8bit,占用约5.4GB。
  • n-gram表保留在磁盘,按需读取行数据。

转换过程耗时约5小时。加载后,模型占用约18GB内存,处理6K长度的prompt时峰值达到25.4GB。这已经逼近32GB Mac的极限,我得关掉浏览器,否则macOS开始交换内存,速度会骤降。

性能对比:距离Strata还有多远?

最初版本在Mac M5上的解码速度约为10 tokens/s。作为对比,同硬件下的Strata能达到14.8 tokens/s。差距主要来自几个方面:

  1. GPU提交延迟:PyTorch在MPS后端会积攒小内核直到下一次同步,导致GPU在Python处理逻辑时空转。强制在每个块后提交GPU任务,提升了10%的速度。
  2. 缺失的Metal内核:macOS上没有Gated DeltaNet和超连接(hyper-connections)的快速路径,我不得不手写Metal内核来加速这些部分。
  3. 权重优化:我换用了Strata的GGUF权重格式,将每个token的稠密权重传输量从5.4GB降到3.9GB,单个专家大小从2.15MB降到1.75MB。
  4. Prefill优化:通过增大分块大小,并在计算当前层时预取下一层的专家,Prefill速度从68 tokens/s提升到了228 tokens/s,甚至略高于Strata的220 tokens/s。
  5. 长文档处理:注意力机制只在索引器选定的块上计算,KV缓存原地增长而非每次复制,显著降低了内存带宽压力。

经过这一系列优化,最终结果如下:

场景 Transformers (tok/s) Strata (tok/s) 差距
解码 (200 tokens) 13.9 14.8 1.06x
Prefill (4K prompt) 228 220 1.0x (更快)
长文档后解码 12.4 13.7 1.1x

在短文本解码上,Transformers方案仅比Strata慢6%,而在Prefill阶段甚至反超。这对于一个通用库来说,是个相当不错的成绩。

剩下的6%差距在哪里?

尽管性能接近,但仍有约10ms/token的主机往返开销。其中只有1ms是同步唤醒,剩下的9ms是GPU在等待Python队列下一层任务时的空转。Strata之所以快,是因为它一次性排队整个token的工作,并在每层通过Metal共享事件等待主机读取专家。而PyTorch目前不暴露这种细粒度的控制能力。

我尝试过用自旋锁内核模拟这种机制,让GPU等待CPU写入的标志位,但效果不稳定,有时甚至会导致GPU挂起。真正的解决方案需要在PyTorch的MPS流中引入原生操作,但这涉及到底层框架的修改,风险较大,所以我暂时止步于此。

结语:不仅仅是为了跑通模型

最终,我在32GB Mac上实现了约14 tokens/s的推理速度。虽然对于实时代码代理来说还是略显迟缓,我的双4090主机依然是主力,但这次实验的价值远超速度本身。

通过这个项目,我从系统层面深入理解了MoE和LLM的工作原理:路由到底有多稀疏?专家缓存能带来多大收益?每个token的内存带宽消耗分布如何?主机和GPU之间的等待时间花在哪?Transformers的模块化设计让这一切变得可探索、可调试。

更重要的是,这个方案没有引入任何C++扩展,完全基于Python、运行时编译的Metal内核以及从Hub加载的预建内核。所有为本次实验编写的Metal内核都已开源发布。通用的专家流式加载实现已合并到Transformers PR #50717中。

如果你也在尝试在有限资源下运行超大MoE模型,不妨试试这个方案。它或许不能让你彻底告别云端,但至少能让你在本地更从容地探索大模型的边界。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenCode配Ollama与Qwen3-Coder:本地跑AI编程助手实战

    不想把代码传给云端?这篇教程教你用 OpenCode、Ollama 和阿里通义千问代码模型,在本地电脑搭建零成本的 AI 编程助手。从环境安装到配置调优,全程不依赖外部 API,适合注重隐私或内网开发的场景。哪怕内存只有 8GB,也有对应的轻量级方案可选。

    来源 AI 应用前沿
  2. Qwen4-Max以2.4T参数MoE架构切入工业生产,单任务成本降58%

    阿里巴巴推出新一代基座大模型Qwen4-Max,采用稀疏注意力MoE架构,总参数达2.4T。新模型在编程评测中得分提升28%,Token用量减半,单任务费用降低58%。它不仅能处理百万级上下文,还能深入汽车制造、药物研发等工业场景,自主完成从设计到仿真的长周期闭环任务,目前已通过千问AI平台向开发者开放。

    来源 AI 应用前沿
  3. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  4. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  5. Windows BitLocker加密被破!原本破解要19年,如今只需20天

    【TechWeb】Windows Hello和BitLocker的PIN保护机制,正面临一场来自硬件层的挑战。柏林工业大学的研究团队11月18日发表论文,披露了一项名为"Hello Again"的物理攻击:通过在主板闪存芯片与处理器之间的通信链路上做手脚,攻击者可以绕过TPM的错误尝试锁定保护,从而大幅缩短暴力破解时间

    来源 AI 行业观察
  6. 内存涨价逼出“灰色操作”:二手拆机内存杀入手机供应链,价格直接打5折

    持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部分主流手机品牌也可能

    来源 TechWeb
  7. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  8. 阿里财报:国际站GMV持续双位数增长,Accio付费企业数翻倍

    11月19日,阿里巴巴发布2027财年第二季度财报。阿里全球B2B业务呈现跨境出海与AI商业化双线高速增长:阿里国际站GMV持续保持双位数增长;全球电商AI工作台Accio付费企业数达到10万,较上一季度增长100%。 海外需求仍是第一条增长曲线,尤其是北美和欧洲买家下单踊跃。本财年前两个季度,阿里国际站交易GMV增长

    来源 AI 行业观察
  9. 阿里巴巴 CEO 吴泳铭:千问已在平头哥芯片训练下一代模型,百炼基于国产芯片提供模型推理服务

    IT之家 11 月 19 日消息,据财联社今日报道,在 2027 财年第二季度财报分析师电话会上,阿里巴巴集团 CEO 吴泳铭表示,千问已经在平头哥芯片上训练下一代模型,百炼已经基于国产芯片提供模型推理服务。 吴泳铭强调,阿里的全栈 AI 基础设施将在国产算力供应链上形成明显优势,而自研芯片与自研模型的深度协同,将持续

    来源 AI 行业观察
  10. 合肥复制“长鑫模式”

    市值一度突破4万亿的长鑫存储,是中国风险投资史的奇迹。我们曾在《中国风险投资史》中写到,宁德时代的成功标志着人民币基金的成熟,如果要增补一章,那么长鑫存储则是人民币基金的高峰。 对合肥而言,长鑫的成功也意味着合肥组局模式的成功。在京东方、蔚来这两次投资里,合肥国资是出钱、出地的股东,在长鑫上,它是真正组局的人。 我们看

    来源 AI 行业观察
  11. Counterpoint:印度高端旗舰将涨价超 30%

    IT之家 11 月 19 日消息,Counterpoint Research 报告显示,受 AI 数据中心需求拉动 DRAM、NAND 价格持续上涨影响,印度高端旗舰智能手机的价格门槛正从原先的 5 万至 7 万卢比(IT之家注:现汇率约合 3,566 至 4,993 元人民币)区间,被迫上移至 10 万卢比(现汇率约

    来源 腾讯网
  12. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  13. 苹果拟签三星DRAM长约:AI算力推高内存成本,四年协议锁定产能

    报道称,受AI算力基建需求激增引发芯片供应紧张影响,苹果拟与三星电子达成罕见的四至五年期DRAM内存供应协议,2027年上半年生效,延续至2031或2032年,以锁定最低采购量,保障未来iPhone、MacBook等产能。此前苹果靠大订单和短期续约压价,但2026年初AI服务器扩建致存储供需失衡,该模式失效。

    来源 AI 产业速递
  14. 2715亿营收、344亿现金流出:阿里的利润拐点与“未完成”的账单

    11月19日,阿里巴巴发布2027财年第二季度财报。表面数字足够亮眼:营收2715.19亿元,同比增长10%;经调整EBITA 326.36亿元,同比暴增260%;经营利润291.16亿元,同比增长443%。美股盘前一度拉升超4%。 但把镜头推向现金流的另一端,画风突变——自由现金流净流出344.72亿元,上年同期为净

    来源 AI 行业观察
  15. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  16. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  17. AI 芯片拉动韩国出口向万亿美元迈进,但股市暴跌拖累内需

    IT之家 11 月 18 日消息,据路透社报道,随着科技巨头依靠半导体产业为全球人工智能浪潮提供支持,韩国出口引擎正全速运转。然而,AI 市场情绪起伏不定,让普通投资者很难从这轮行情中真正获利。在韩国,约四分之一的民众都参与了股票投资。以 SK 海力士(SK Hynix)和三星电子(Samsung Electronic

    来源 腾讯网
  18. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  19. 前复星锐正合伙人刘方未入职Today AI任联合创始人

    Today AI已累计完成超过2亿美元的融资。本文为IPO早知道原创作者|Stone Jin据IPO早知道消息,前复星锐正资本合伙人、复星全球合伙人刘方未日前已加入个人AI助理公司Today AI并担任联合创始人一职。值得一提的是,刘方未与Today AI创始人齐俊元相识已超10年——2014年,彼时刘方未代表盘古创富

    来源 腾讯网
向下滚动自动加载更多