Superfluid 舰队模式:多台电脑连起来跑本地大模型

资讯 AI 应用前沿 全文 3813 字 · 约 10 分钟读完 分类AMD英伟达大模型算力

本地跑大模型虽隐私安全,但单设备算力有限且易闲置。Superfluid 推出“舰队模式”,能将办公室内不同品牌、不同芯片的电脑(Mac、NVIDIA、AMD等)聚合成一个统一的推理端点。实测显示,六台异构设备协同可将吞吐量提升近五倍,且支持节点故障无缝切换,无需修改客户端代码即可享受分布式算力红利。

所属频道 模型发布算力与芯片

为什么要把几台电脑凑到一块儿跑 AI

不少开发者和小团队都卡在同一个坎上:手上几台机器的性能其实不差,一台顶配 MacBook Pro,一台拿来渲染的工作站,或者几台吃灰的旧 Mac Studio。想在本地跑大语言模型(LLM),图的是数据不外流、省下 API 开销、延迟也低,可真到跑的时候,单台设备的显存和算力总是不够用。

资源闲置的问题同样扎眼。一台机器满负荷跑模型,旁边几台却闲着。过去的路子无非两条:把模型切开分散到不同设备上,技术门槛高,通信开销也大;或者人工在不同机器之间倒换服务,用起来割裂。

Base Compute 团队开源的 Superfluid 项目最近更新了一个叫“舰队模式”(Fleet Mode)的功能,思路更务实:模型权重不拆,改成复制,把多台异构设备组成一个统一的推理集群。

Superfluid 舰队模式的工作方式

它的核心思路不复杂:把大模型拆散到不同显卡上跑太麻烦,那就让每台设备各加载一份完整的模型副本,再由一个“头节点”(Head)统一分派任务。

架构逻辑:头节点与工作节点

集群里会指定一台机器当“头节点”。对外它提供标准的 OpenAI、Anthropic 或 Ollama 兼容接口,客户端看过去,就是一个普通的 API 服务器。

其余机器以“节点”(Nodes)身份加入。每个节点按自己的硬件特性(Apple Silicon、NVIDIA CUDA、AMD ROCm 等)自动挑选合适的后端运行时,比如 llama.cpp 或 BaseRT。

用户发来请求时,头节点自己不算,它干的是调度的活:

  1. 会话保持:聊天历史、模板和分词器逻辑由头节点维护。
  2. 智能分发:头节点盯着所有节点的健康状况、队列深度和计算速度,新会话交给预计完成时间最短的那个节点。
  3. 上下文感知:某段对话前几轮如果在节点 A 上处理过,下一轮就优先发给节点 A,用上它缓存的 KV Cache(键值缓存),省掉重复计算。

关键优势:只传 Token,不传权重

这套设计带来一个明显的技术好处:网络传输被压到极小。

模型并行(Model Parallelism)方案里,设备之间要频繁同步体量巨大的激活值和梯度,带宽压力很大。Superfluid 的舰队模式不一样,网线上跑的只有文本 Token 的 ID。模型权重、KV 缓存和中间激活值,全都留在各自节点本地。

也就是说,办公室网络只是普通千兆以太网,甚至 Wi-Fi,都成不了瓶颈。另外,集群靠 Noise 协议握手并加密,只有拿到有效令牌(Token)的设备才进得来,局域网内的安全有保障。

容错机制:故障转移无感

分布式系统最怕节点掉线。Superfluid 的处理方式很干净:某个节点在流式输出途中突然断开,头节点马上能检测到中断。这时已经返回给客户端的 Token 被当作已完成的提示词(Prompt)的一部分,剩下的生成任务无缝转到另一个健康节点接着跑。

对终端用户来说,除了可能出现短暂停顿,对话流不会断,也不会冒出重复生成的内容。

动手搭建:三步组建本地算力池

Superfluid 的安装刻意走极简路线,没有运维背景的开发者也能很快上手。

第一步:安装 Superfluid

所有要加入集群的机器(支持 macOS Apple Silicon、Linux x86-64 和 arm64),执行一行命令就能装好:

curl -fsSL https://superfluid.sh/install.sh | sh

第二步:把头节点跑起来

挑一台状态比较稳、网络条件也过得去的机器当头节点。先做出一个集群令牌,再启动服务、监听其他节点发来的连接:

# 生成令牌
superfluid fleet token
# 启动服务,假设使用 Qwen3-4B 模型
superfluid serve unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
  --http 0.0.0.0:8453 \
  --fleet-listen 0.0.0.0:8454

这里 --http对客户端开放的 API 端口是--fleet-listen内部节点之间通信用的则是另一个端口。

第三步:让节点入伙

换到别的闲置机器上,用刚生成的令牌把节点加进集群:

superfluid node join \
  --model unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
  --token <你的令牌>

节点起来以后,会借 mDNS 在局域网里自动找到头节点(手动填 IP 也行),接着自动下载或加载匹配自身硬件的运行时环境,然后就进入待命状态。

客户端调用

你的 Python 脚本、Chat 界面,或者其他任何兼容 OpenAI 格式的工具,只要把base_url指向头节点的地址就行,后端究竟有几台机器在跑,完全不用管:

from openai import OpenAI
client = OpenAI(
    base_url="http://<头节点IP>:8453/v1",
    api_key="not-needed"  # 本地部署通常不需要密钥
)
reply = client.chat.completions.create(
    model="unsloth/Qwen3-4B-Instruct-2507-GGUF",
    messages=[{"role": "user", "content": "总结这篇技术文章的核心观点。"}],
)
print(reply.choices[0].message.content)

实测数据:异构集群跑出了什么水平

Base Compute 团队做了两组对比测试,用来验证这套方案的实际表现。

测试一:六台异构设备混编集群

测试环境横跨三家公司的三种不同架构芯片:

  • Apple M6、M4 Pro 和 M1 Max
  • AMD Ryzen AI Max 395
  • 两台 NVIDIA GB10 系统

测试模拟了 64 个办公用户持续一小时的高并发请求。结果,节点一台台加进去,集群吞吐量跟着线性上涨,首字延迟(Time to First Token)则明显往下走。

节点数量 输出吞吐量 (tok/s) 首字延迟中位数 (s) 首字延迟 P90 (s)
1 台 112 98.5 309.1
2 台 180 42.5 147.9
3 台 304 24.8 70.8
4 台 424 16.1 30.0
5 台 481 13.8 24.1
6 台 534 11.7 20.7

测试中还人为杀掉了一个节点,集群总吞吐量只从 534 微降到 532 tok/s,正在进行的 61 个请求全部完成,没有丢数据。故障转移机制在生产环境里靠不靠得住,这一下就看出来了。

测试二:纯 Apple Silicon 高性能集群

另一组测试用了 12 台 Mac Studio M3 Ultra 搭集群,跑参数量更大的 Qwen3.6-35B-A3B 模型,结果相当亮眼:

  • 持续吞吐量:10,656 tok/s(提示词处理 9,249 tok/s,生成 1,407 tok/s)
  • 并发能力:稳定支撑 384 个并发 Agent
  • 稳定性:累计处理 38,563 个请求,零失败

可见即便是单一架构的高端设备,靠 Superfluid 也能搭出企业级的本地推理后端。

局限性与适用场景

算力聚合的问题,舰队模式确实解决了,可它并不是什么万能药。用的人有几件事得留心。

  1. 头一条是内存门槛。每个节点都要装一份完整的模型,所以模型大小得压到集群里最弱那台机器能拿出的显存或内存以下。手头一台 8GB 内存的旧笔记本、一台 128GB 的工作站,能跑的也只是适配 8GB 的模型,工作站那块大显存派不上用场,更大模型照样跑不起来。
  2. 再就是网络。传输的虽然只是 Token,局域网质量太差的话,首字延迟还是会受影响。头节点最好放在有线网络环境里部署。
  3. 至于适用场景,手里有多台闲置开发机的最合适,小型工作室、看重数据隐私的企业内部部署也同样对路。反过来,只想跑 70B+ 这类超大模型、单机显存又不够的用户,传统模型并行方案恐怕还是唯一出路,哪怕落地起来更麻烦。

结语

舰队模式的思路说起来有点反直觉,效率却很高。它不走复杂的模型切分那条路,而是靠软件层的调度和冗余,换来系统的鲁棒性和易用性。

对多数本地 AI 爱好者和中小企业而言,这意味着不必再纠结买哪张最强的显卡,把手头每台设备都用起来就行。角落里积灰的旧 MacBook、旧工作站,都能变成私有 AI 算力池里的一员。

本地模型的质量还在往上走,这种低成本、高隐私、易扩展的推理架构,说不定会成为未来边缘计算的主流形态之一。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  2. AMD遭做空报告突袭:股价收跌7.72%,盘中曾扩至11%

    继浑水做空英伟达之后,同为芯片产业头部公司的AMD也被做空了。 当地时间11月19日,对冲基金Hunterbrook Capital发布做空报告,将市场对英伟达融资模式的担忧,直接引向了近期备受资金追捧的AMD。 消息发布后,AMD股价跌幅一度扩大至11%,至11月9日以来最低水平。截至美股收盘,AMD报489.19美

    来源 AI 行业观察
  3. AMD遭Hunterbrook做空:被指循环交易,承诺规模超英伟达

    Hunterbrook Capital称AMD为采购自家芯片的企业提供融资与担保,承诺规模已远超英伟达,而其现金储备却相对不足。报告还指出,AMD增长所倚重的部分产品线,或将面临严格的出口管制。AMD回应称,Hunterbrook报告歪曲了AMD的业务实践与合作关系。报告发布后,AMD盘中最大跌幅11%。

    来源 华尔街见闻
  4. Anthropic上市首日冲高回落,美股三大指数齐跌,道指失守5万点

    费城半导体指数跌2.4%,AMD遭做空重挫7.7%,英伟达跌3.3%,创52周新低。甲骨文跌3%,盘中创一年新低。CoreWeave跌6.1%。10年期美债收益率下行1.5个基点。美元指数涨0.2%,创18个月新高。离岸人民币跌至一个月低位、触及6.70关口。WTI原油涨1.1%。黄金创去年9月以来最低。白银跌3%。比

    来源 华尔街见闻
  5. 国产大模型的算力阵痛期

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。 无独有偶,就在20天前的10

    来源 AI 行业观察
  6. 黄仁勋辞职,奥特曼表态:很难想象没有Jensen的AI行业

    英伟达创始人、前CEO黄仁勋上周因多起丑闻宣布辞职,其中涉及与一名据称是中国间谍的女性存在婚外情。OpenAI首席执行官萨姆·奥特曼随即公开表示“很难想象没有Jensen的AI行业”。这一罕见的高调表态,引发业界对英伟达未来走向、AI算力供应稳定性以及全球芯片格局的广泛讨论。

    来源 AI 科技快讯
  7. 姚顺雨清华演讲:AI最稀缺的是Trust和Taste,小模型体系值得关注

    腾讯 AI 负责人姚顺雨昨天在清华做了一次分享,博主@幻觉工程师 根据搞到的分享材料,整理成了笔记如下:1. 未来一个值得关注的方向是小模型体系。AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型.

    来源 腾讯网
  8. AMD遭做空报告指控循环交易,股价盘中跌11%

    对冲基金Hunterbrook Capital发布做空报告,重挫AMD股价。该报告指出AMD在客户融资安排上存在循环交易隐患,且对AI支出放缓高度敏感,AMD方面否认相关指控。周四,AMD股价盘中最大跌幅达11%,低至470.56美元,为当日纳斯达克100指数成分股中跌幅最大的个股。该股此前年内涨幅已逾一倍。截至发稿,

    来源 腾讯网
  9. 高盛拆解圣诞行情:12月15日前先跌,散户撑起当前买盘

    高盛认为,当前美股买盘结构高度依赖散户支撑。上周散户净买入美股高达62亿美元,为近11周单周峰值,资金集中涌入英伟达、AMD等半导体龙头。而当市场带着"恐惧"进入年末,波动率往往收敛,指数涨幅因此相当有限,且通常需要先经历一轮调整。

    来源 华尔街见闻
  10. Genesis AI拿下5亿美元A轮,美团M-Drone 4L海外首秀

    资本洞察Genesis AI 完成 5 亿美元 A 轮,英伟达、AMD、三星集体入股11 月 18 日,通用机器人公司 Genesis AI 创始人周衔宣布完成 5 亿美元 A 轮,投后估值 35 亿美元。本轮由 Premji Invest、Khosla Ventures、Eclipse 联合领投,英伟达 NVentu

    来源 腾讯网
  11. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  12. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  13. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  14. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  15. 英伟达停售H200:25%关税通道终结

    当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。

    来源 TechWeb
  16. 英伟达停售H200:25%关税通道关闭,杰富瑞测算营收最多减620亿美元

    当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。

    来源 TechWeb
  17. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  18. 英伟达克雷斯任临时CEO:AI芯片节奏未改,散热厂商同步看涨

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望及

    来源 腾讯网
  19. 黄仁勋辞职一周,英伟达近20万签名请愿复职、工程师称不回归就走

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 腾讯网
  20. 25%关税通道成历史:英伟达停售H200,外交部回应中方原则立场

    【TechWeb】当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。一个时代的终结:黄仁.

    来源 腾讯网
向下滚动自动加载更多