Superfluid 舰队模式:多台电脑连起来跑本地大模型
本地跑大模型虽隐私安全,但单设备算力有限且易闲置。Superfluid 推出“舰队模式”,能将办公室内不同品牌、不同芯片的电脑(Mac、NVIDIA、AMD等)聚合成一个统一的推理端点。实测显示,六台异构设备协同可将吞吐量提升近五倍,且支持节点故障无缝切换,无需修改客户端代码即可享受分布式算力红利。
为什么要把几台电脑凑到一块儿跑 AI
不少开发者和小团队都卡在同一个坎上:手上几台机器的性能其实不差,一台顶配 MacBook Pro,一台拿来渲染的工作站,或者几台吃灰的旧 Mac Studio。想在本地跑大语言模型(LLM),图的是数据不外流、省下 API 开销、延迟也低,可真到跑的时候,单台设备的显存和算力总是不够用。
资源闲置的问题同样扎眼。一台机器满负荷跑模型,旁边几台却闲着。过去的路子无非两条:把模型切开分散到不同设备上,技术门槛高,通信开销也大;或者人工在不同机器之间倒换服务,用起来割裂。
Base Compute 团队开源的 Superfluid 项目最近更新了一个叫“舰队模式”(Fleet Mode)的功能,思路更务实:模型权重不拆,改成复制,把多台异构设备组成一个统一的推理集群。
Superfluid 舰队模式的工作方式
它的核心思路不复杂:把大模型拆散到不同显卡上跑太麻烦,那就让每台设备各加载一份完整的模型副本,再由一个“头节点”(Head)统一分派任务。
架构逻辑:头节点与工作节点
集群里会指定一台机器当“头节点”。对外它提供标准的 OpenAI、Anthropic 或 Ollama 兼容接口,客户端看过去,就是一个普通的 API 服务器。
其余机器以“节点”(Nodes)身份加入。每个节点按自己的硬件特性(Apple Silicon、NVIDIA CUDA、AMD ROCm 等)自动挑选合适的后端运行时,比如 llama.cpp 或 BaseRT。
用户发来请求时,头节点自己不算,它干的是调度的活:
- 会话保持:聊天历史、模板和分词器逻辑由头节点维护。
- 智能分发:头节点盯着所有节点的健康状况、队列深度和计算速度,新会话交给预计完成时间最短的那个节点。
- 上下文感知:某段对话前几轮如果在节点 A 上处理过,下一轮就优先发给节点 A,用上它缓存的 KV Cache(键值缓存),省掉重复计算。
关键优势:只传 Token,不传权重
这套设计带来一个明显的技术好处:网络传输被压到极小。
模型并行(Model Parallelism)方案里,设备之间要频繁同步体量巨大的激活值和梯度,带宽压力很大。Superfluid 的舰队模式不一样,网线上跑的只有文本 Token 的 ID。模型权重、KV 缓存和中间激活值,全都留在各自节点本地。
也就是说,办公室网络只是普通千兆以太网,甚至 Wi-Fi,都成不了瓶颈。另外,集群靠 Noise 协议握手并加密,只有拿到有效令牌(Token)的设备才进得来,局域网内的安全有保障。
容错机制:故障转移无感
分布式系统最怕节点掉线。Superfluid 的处理方式很干净:某个节点在流式输出途中突然断开,头节点马上能检测到中断。这时已经返回给客户端的 Token 被当作已完成的提示词(Prompt)的一部分,剩下的生成任务无缝转到另一个健康节点接着跑。
对终端用户来说,除了可能出现短暂停顿,对话流不会断,也不会冒出重复生成的内容。
动手搭建:三步组建本地算力池
Superfluid 的安装刻意走极简路线,没有运维背景的开发者也能很快上手。
第一步:安装 Superfluid
所有要加入集群的机器(支持 macOS Apple Silicon、Linux x86-64 和 arm64),执行一行命令就能装好:
curl -fsSL https://superfluid.sh/install.sh | sh第二步:把头节点跑起来
挑一台状态比较稳、网络条件也过得去的机器当头节点。先做出一个集群令牌,再启动服务、监听其他节点发来的连接:
# 生成令牌
superfluid fleet token
# 启动服务,假设使用 Qwen3-4B 模型
superfluid serve unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
--http 0.0.0.0:8453 \
--fleet-listen 0.0.0.0:8454这里 --http对客户端开放的 API 端口是--fleet-listen内部节点之间通信用的则是另一个端口。
第三步:让节点入伙
换到别的闲置机器上,用刚生成的令牌把节点加进集群:
superfluid node join \
--model unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
--token <你的令牌>节点起来以后,会借 mDNS 在局域网里自动找到头节点(手动填 IP 也行),接着自动下载或加载匹配自身硬件的运行时环境,然后就进入待命状态。
客户端调用
你的 Python 脚本、Chat 界面,或者其他任何兼容 OpenAI 格式的工具,只要把base_url指向头节点的地址就行,后端究竟有几台机器在跑,完全不用管:
from openai import OpenAI
client = OpenAI(
base_url="http://<头节点IP>:8453/v1",
api_key="not-needed" # 本地部署通常不需要密钥
)
reply = client.chat.completions.create(
model="unsloth/Qwen3-4B-Instruct-2507-GGUF",
messages=[{"role": "user", "content": "总结这篇技术文章的核心观点。"}],
)
print(reply.choices[0].message.content)实测数据:异构集群跑出了什么水平
Base Compute 团队做了两组对比测试,用来验证这套方案的实际表现。
测试一:六台异构设备混编集群
测试环境横跨三家公司的三种不同架构芯片:
- Apple M6、M4 Pro 和 M1 Max
- AMD Ryzen AI Max 395
- 两台 NVIDIA GB10 系统
测试模拟了 64 个办公用户持续一小时的高并发请求。结果,节点一台台加进去,集群吞吐量跟着线性上涨,首字延迟(Time to First Token)则明显往下走。
| 节点数量 | 输出吞吐量 (tok/s) | 首字延迟中位数 (s) | 首字延迟 P90 (s) |
|---|---|---|---|
| 1 台 | 112 | 98.5 | 309.1 |
| 2 台 | 180 | 42.5 | 147.9 |
| 3 台 | 304 | 24.8 | 70.8 |
| 4 台 | 424 | 16.1 | 30.0 |
| 5 台 | 481 | 13.8 | 24.1 |
| 6 台 | 534 | 11.7 | 20.7 |
测试中还人为杀掉了一个节点,集群总吞吐量只从 534 微降到 532 tok/s,正在进行的 61 个请求全部完成,没有丢数据。故障转移机制在生产环境里靠不靠得住,这一下就看出来了。
测试二:纯 Apple Silicon 高性能集群
另一组测试用了 12 台 Mac Studio M3 Ultra 搭集群,跑参数量更大的 Qwen3.6-35B-A3B 模型,结果相当亮眼:
- 持续吞吐量:10,656 tok/s(提示词处理 9,249 tok/s,生成 1,407 tok/s)
- 并发能力:稳定支撑 384 个并发 Agent
- 稳定性:累计处理 38,563 个请求,零失败
可见即便是单一架构的高端设备,靠 Superfluid 也能搭出企业级的本地推理后端。
局限性与适用场景
算力聚合的问题,舰队模式确实解决了,可它并不是什么万能药。用的人有几件事得留心。
- 头一条是内存门槛。每个节点都要装一份完整的模型,所以模型大小得压到集群里最弱那台机器能拿出的显存或内存以下。手头一台 8GB 内存的旧笔记本、一台 128GB 的工作站,能跑的也只是适配 8GB 的模型,工作站那块大显存派不上用场,更大模型照样跑不起来。
- 再就是网络。传输的虽然只是 Token,局域网质量太差的话,首字延迟还是会受影响。头节点最好放在有线网络环境里部署。
- 至于适用场景,手里有多台闲置开发机的最合适,小型工作室、看重数据隐私的企业内部部署也同样对路。反过来,只想跑 70B+ 这类超大模型、单机显存又不够的用户,传统模型并行方案恐怕还是唯一出路,哪怕落地起来更麻烦。
结语
舰队模式的思路说起来有点反直觉,效率却很高。它不走复杂的模型切分那条路,而是靠软件层的调度和冗余,换来系统的鲁棒性和易用性。
对多数本地 AI 爱好者和中小企业而言,这意味着不必再纠结买哪张最强的显卡,把手头每台设备都用起来就行。角落里积灰的旧 MacBook、旧工作站,都能变成私有 AI 算力池里的一员。
本地模型的质量还在往上走,这种低成本、高隐私、易扩展的推理架构,说不定会成为未来边缘计算的主流形态之一。