1–8 卡：单机自建 / 单节点租用
14 个方案适合推理服务、微调与小规模训练。重点看单机功耗与机房条件，风冷即可，电费与机位成本可控。
整机与集群方案
SYSTEMS21 个方案从单台 8 卡整机到 1016 卡的 SuperPOD 与 384 卡超节点，规格全部取自厂商官方文档：卡数、总显存、FP16 密集算力、整机功耗、节点内互联与对外组网。自建前先看这一页，比只看单卡参数靠谱得多。
资料整理时间
2026-10-12
从 8 卡整机到千卡超节点 · 21 个方案
收录方案2114 个 8 卡整机 · 7 个机柜级
最大集群规模1,016 卡NVIDIA DGX SuperPOD（DGX B200 版）
单方案最大总显存182,880 GBHBM / HBM3e 统一编址容量
液冷方案8其余为风冷或风冷+液冷混合
有官方整机功耗8OEM 机型官方只给电源容量，故留空
按规模选方案
先定规模再看型号16–72 卡：多节点集群 / 机柜级
4 个方案适合中等规模训练与高并发推理。必须考虑节点间网络（InfiniBand / RoCE）与冷却方式，液冷开始成为选项。
128 卡以上：SuperPOD / 超节点
3 个方案适合大模型预训练。核心约束是供电（单柜 120kW+）、液冷改造与网络拓扑，采购周期与机房改造周期都要按季度算。
方案规格总表
当前 21 / 个| # | 方案 | 加速卡 | 显存与算力 | 功耗 | 互联 | 价格线索 | |
|---|---|---|---|---|---|---|---|
| 1 |
NVIDIA DGX SuperPOD（DGX B200 版）NVIDIA · 风冷（DGX B200 节点）官方示例配置 4 SU / 127 节点 / 70 个机柜（Legrand NVIDPD13） |
NVIDIA B200 SXM1016 卡 | 总显存 182,880 GB单卡 180 GBFP16 密集 2,286,000 TFLOPS · 单卡 2,250 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：节点内 NVLink 5（1.8 TB/s/卡，聚合约 14.4 TB/s/节点）对外：NDR 400Gbps InfiniBand（Quantum QM9700 交换机），每节点 8× 400G 计算网口 + 独立存储网 | 官方未公布定价 | 官方文档 → |
| 2 |
华为 Atlas 900 A3 SuperPoD 超节点华为 · 液冷（计算柜）+ 风冷（总线设备柜）；计算柜液冷比约 70%12× 计算柜（47U）+ 4× 总线设备柜（47U） |
昇腾 910（官方页面：最大支持 384×昇腾910）384 卡 | 总显存 49,152 GB单卡 128 GBFP16 密集 307,200 TFLOPS · 单卡 800 TFLOPS | 66 kW每卡分摊 172 W（含 CPU / 网卡 / 风扇）满负载月耗电约 47,520 度 | 节点内：灵衢（UnifiedBus）总线：D2D 双向 784 GB/s，单跳时延 200ns，总线带宽 1:1 无收敛对外：超节点内 384 卡全互联；跨超节点/集群组网规格官方页面未给出 | 官方未公布定价 | 官方文档 → |
| 3 |
NVIDIA DGX SuperPOD（DGX H100 版）NVIDIA · 风冷（DGX H100 节点）按 scalable unit 扩展：1 SU = 32 台 DGX H100 节点（256 卡） |
NVIDIA H100 SXM256 卡 | 总显存 20,480 GB单卡 80 GBFP16 密集 253,312 TFLOPS · 单卡 990 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：节点内 NVLink 4（900 GB/s/卡）对外：NVIDIA NDR 400Gbps InfiniBand（Quantum-2 系列交换机） | 官方未公布定价 | 官方文档 → |
| 4 |
NVIDIA DGX GB200NVIDIA · 液冷整柜（rack-scale，1 机柜；官方未标注 U 数） |
NVIDIA Blackwell GPU（GB200 Grace Blackwell Superchip）72 卡 | 总显存 13,400 GB单卡 186 GBFP16 密集 180,000 TFLOPS · 单卡 2,500 TFLOPS | 120 kW每卡分摊 1,667 W（含 CPU / 网卡 / 风扇）满负载月耗电约 86,400 度 | 节点内：NVLink 5 + NVLink Switch System：9× L1 NVLink Switch，整柜聚合 130 TB/s，每卡 1.8 TB/s对外：72× ConnectX-7 单端口 400G InfiniBand + 36× BlueField-3 双端口（200G IB/Ethernet）（DGX GB200 官方规格表） | 官方未公布定价 | 官方文档 → |
| 5 |
NVIDIA GB200 NVL72NVIDIA · 液冷（整柜液冷）整柜（rack-scale，1 机柜） |
NVIDIA Blackwell GPU（B200）×72 + 36× Grace CPU72 卡 | 总显存 13,400 GB单卡 186 GBFP16 密集 180,000 TFLOPS · 单卡 2,500 TFLOPS | 120 kW每卡分摊 1,667 W（含 CPU / 网卡 / 风扇）满负载月耗电约 86,400 度 | 节点内：NVLink 5 + NVLink Switch System，整柜聚合 130 TB/s，每卡 1.8 TB/s对外：NVIDIA Quantum-X800 InfiniBand / Spectrum-X800 Ethernet + BlueField-3 DPU；机内每 tray 配 ConnectX 系列 400G 级网卡 | 二手报道：富士康量产版整柜单价约 300 万美元（未获 NVIDIA / 富士康官方确认，原文站点不提供全文，仅见标题与搜索摘要）非官方定价，仅供参考 | 官方文档 → |
| 6 |
NVIDIA GB300 NVL72NVIDIA · 液冷（整柜液冷，MGX 架构）整柜（rack-scale，1 机柜；8 个 33kW 电源框） |
NVIDIA Blackwell Ultra GPU（B300）×72 + 36× Grace CPU72 卡 | 总显存 20,000 GB单卡 278 GBFP16 密集 180,000 TFLOPS · 单卡 2,500 TFLOPS | 142 kW每卡分摊 1,972 W（含 CPU / 网卡 / 风扇）满负载月耗电约 102,240 度 | 节点内：NVLink 5：每卡 1.8 TB/s，9 个 NVSwitch tray，整柜聚合 130 TB/s（官方参考架构）对外：每 tray 4× 双端口 ConnectX-8 SuperNIC（每 GPU 1 个 800 Gb/s 口），官方建议每 GPU 计算带宽 400 GB/s（最小，8×400G）～800 GB/s（推荐，16×400G）；北南向 1× 双端口 BlueField-3 400G；上层可用 Quantum-X800 IB 或 Spectrum-X Ethernet | 官方未公布定价 | 官方文档 → |
| 7 |
华为 Atlas 900 A2 PoD 集群基础单元华为 · 液冷 + 风冷（规格表写「液冷+风冷」，宣传语写「全液冷散热」，官方口径不一致）47U 机柜（2250mm×600mm×1050mm，不含前后造型门） |
昇腾 910（官方彩页标注「昇腾910」，未细分 910B / 910C）64 卡 | 总显存 4,096 GB单卡 64 GBFP16 密集 25,600 TFLOPS · 单卡 400 TFLOPS | 50.5 kW每卡分摊 789 W（含 CPU / 网卡 / 风扇）满负载月耗电约 36,360 度 | 节点内：未公布对外：官方彩页：「支持机柜单元扩展，全节点 200G 网络互联」（未细分协议） | 官方未公布定价 | 官方文档 → |
| 8 |
NVIDIA DGX H100NVIDIA · 风冷8U |
NVIDIA H100 SXM (80GB HBM3)8 卡 | 总显存 640 GB单卡 80 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 10.2 kW每卡分摊 1,275 W（含 CPU / 网卡 / 风扇）满负载月耗电约 7,344 度 | 节点内：NVLink 4（第四代），每卡 900 GB/s 双向，4× NVSwitch；8 卡聚合约 7.2 TB/s（推算）对外：8× ConnectX-7 单端口 400G（4× OSFP 口），InfiniBand NDR 400Gbps 或 400GbE；另 2× ConnectX-7 双端口以太网卡（存储/带内管理） | 二手整理：商业报价约 $270,000（SemiAnalysis 2023 估算）；美国教育版 SKU 二手列表 $273,056.55（ShopBLT）——NVIDIA 未公布官方定价非官方定价，仅供参考 | 官方文档 → |
| 9 |
NVIDIA DGX H200NVIDIA · 风冷8U |
NVIDIA H200 SXM (141GB HBM3e)8 卡 | 总显存 1,128 GB单卡 141 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 10.2 kW每卡分摊 1,275 W（含 CPU / 网卡 / 风扇）满负载月耗电约 7,344 度 | 节点内：NVLink 4，每卡 900 GB/s 双向，4× NVSwitch；8 卡聚合约 7.2 TB/s（推算）对外：8× ConnectX-7 单端口 400G（IB NDR / 400GbE）+ 2× ConnectX-7 双端口以太网卡 | 官方未公布定价 | 官方文档 → |
| 10 |
NVIDIA DGX B200NVIDIA · 风冷10U |
NVIDIA B200 SXM (180GB HBM3e)8 卡 | 总显存 1,440 GB单卡 180 GBFP16 密集 18,000 TFLOPS · 单卡 2,250 TFLOPS | 14.3 kW每卡分摊 1,788 W（含 CPU / 网卡 / 风扇）满负载月耗电约 10,296 度 | 节点内：NVLink 5（第五代），每卡 1.8 TB/s，2× NVLink Switch，官方聚合带宽 14.4 TB/s对外：8× ConnectX-7 单端口 400G（4× OSFP，IB NDR/400GbE）+ 2× BlueField-3 DPU 双端口卡；HGX B200 板级网络带宽官方为 0.8 TB/s | 官方未公布定价 | 官方文档 → |
| 11 |
NVIDIA HGX H100 8-GPUNVIDIA（板卡）/ OEM 整机 · 冷却未公布形态由 OEM 决定 |
NVIDIA H100 SXM (80GB)8 卡 | 总显存 640 GB单卡 80 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：NVLink 4：每卡 900 GB/s 双向（官方），4× NVSwitch；整机聚合约 7.2 TB/s（推算）对外：由 OEM 整机决定；同类 DGX/HGX 参考配置为每节点 8× 400G NDR InfiniBand | 二手：整机 8 卡 H100 服务器美国渠道列表价区间 $234,200–$440,619.75（gpuperhour 整理，非官方）非官方定价，仅供参考 | 官方文档 → |
| 12 |
NVIDIA HGX H200 8-GPUNVIDIA（板卡）/ OEM 整机 · 冷却未公布形态由 OEM 决定 |
NVIDIA H200 SXM (141GB HBM3e)8 卡 | 总显存 1,128 GB单卡 141 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：NVLink 4：每卡 900 GB/s（官方）；聚合约 7.2 TB/s（推算）对外：由 OEM 决定；官方推荐 NDR 400G InfiniBand / 400GbE | 官方未公布定价 | 官方文档 → |
| 13 |
NVIDIA HGX B200 8-GPUNVIDIA（板卡）/ OEM 整机 · 冷却未公布形态由 OEM 决定 |
NVIDIA B200 SXM (180GB HBM3e)8 卡 | 总显存 1,400 GB单卡 175 GBFP16 密集 18,000 TFLOPS · 单卡 2,250 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：NVLink 5：每卡 1.8 TB/s，整板聚合 14.4 TB/s（官方）对外：官方板级网络带宽 0.8 TB/s；OEM 通常配 8× 400G ConnectX-7（NDR IB / 400GbE） | 官方未公布定价 | 官方文档 → |
| 14 |
NVIDIA RTX 6000 Ada 8 卡方案NVIDIA（单卡）/ OEM 整机 · 冷却未公布形态由 OEM 决定 |
NVIDIA RTX 6000 Ada Generation (48GB GDDR6 ECC)8 卡 | 总显存 384 GB单卡 48 GBFP16 密集 — | 官方未公布OEM 机型官方只给电源容量 | 节点内：PCIe Gen4 x16（官方规格）；不支持 NVLink对外：由整机决定（NVIDIA 官方工作站方案建议搭配 ConnectX 网卡） | 官方未公布定价 | 官方文档 → |
| 15 |
NVIDIA RTX PRO 6000 Blackwell Server Edition（8 卡方案）NVIDIA（单卡）/ OEM 整机 · 风冷或液冷（官方单卡有 Dual-Slot FHFL 风冷版与 Single-Slot FHXL 液冷版）形态由 OEM 决定 |
NVIDIA RTX PRO 6000 Blackwell Server Edition (96GB GDDR7)8 卡 | 总显存 768 GB单卡 96 GBFP16 密集 — | 官方未公布OEM 机型官方只给电源容量 | 节点内：PCIe Gen5 x16（OEM 整机，如 Dell XE7745 的 8× Gen5 x16 DW-FHFL）；无 NVLink对外：由整机决定（Dell 等提供 OCP 3.0 网卡位） | 二手媒体：PCMag 2026 报道官方价已涨至 $16,000/卡（原文 403，仅见搜索结果标题）非官方定价，仅供参考 | 官方文档 → |
| 16 |
Dell PowerEdge XE7745（8× RTX PRO 6000 Blackwell SE）Dell · 风冷4U |
NVIDIA RTX PRO 6000 Blackwell Server Edition (96GB, 600W DW)8 卡 | 总显存 768 GB单卡 96 GBFP16 密集 — | 官方未公布OEM 机型官方只给电源容量 | 节点内：8× PCIe Gen5 x16 双宽全高半长（DW-FHFL）插槽，单卡最高 600W；无 NVLink对外：1× OCP NIC 3.0（x8 PCIe 通道）；官方规格表未列具体 IB/RoCE 网卡型号与带宽 | 官方未公布定价 | 官方文档 → |
| 17 |
AMD Instinct MI300X 8 卡平台（Dell PowerEdge XE9680）AMD（加速卡）/ Dell（整机） · 风冷（XE9680 机箱；单卡 TBP 750W）6U（Dell PowerEdge XE9680） |
AMD Instinct MI300X (192GB HBM3)8 卡 | 总显存 1,536 GB单卡 192 GBFP16 密集 10,459 TFLOPS · 单卡 1,307 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：AMD Infinity Fabric：每卡 8 条 link、单 link 峰值 128 GB/s（官方单卡规格）；8 卡 OAM 全互联（整机聚合带宽官方未给）对外：Dell XE9680 提供 1× OCP 3.0 与最多 10× PCIe Gen5 x16 插槽用于 IB/RoCE 网卡；官方页面未给每节点具体 400G 端口数与型号 | 官方未公布定价 | 官方文档 → |
| 18 |
AMD Instinct MI355X 8 卡平台（Dell XE9785 / XE9785L）AMD（加速卡）/ Dell（整机） · XE9785：风冷；XE9785L：液冷（CPU/GPU/NVLink 交换机液冷）XE9785：10U；XE9785L：3 OU 计算节点，装在 IR7000 机柜（44 或 50 OU） |
AMD Instinct MI355X (288GB HBM3E)8 卡 | 总显存 2,304 GB单卡 288 GBFP16 密集 20,000 TFLOPS · 单卡 2,500 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：AMD Infinity Fabric：每卡 7 条 link、峰值 153 GB/s、8 卡全互联（官方单卡规格）对外：Dell 规格表未列 MI355X 配置的每节点网口带宽；XE9785 提供 1× OCP NIC 3.0 与 12× PCIe Gen5 x16 FHHL 插槽 | 官方未公布定价 | 官方文档 → |
| 19 |
Dell PowerEdge XE9680（H100 / H200 / MI300X 通用机型）Dell · 风冷6U（10.36 英寸高） |
8× NVIDIA HGX H100 80GB / H200 141GB / AMD MI300X 192GB / Intel Gaudi3 / H20（中国区）8 卡 | 总显存 1,128 GB单卡 141 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：H100/H200 配置：NVLink 4（900 GB/s/卡）；MI300X 配置：AMD Infinity Fabric对外：1× OCP 3.0 网卡位 + 最多 10× PCIe Gen5 x16 全高半长插槽（用于 IB/RoCE 网卡）；官方页面未给每节点端口数与带宽 | 官方未公布定价 | 官方文档 → |
| 20 |
Dell PowerEdge XE9680L / XE9685L（8× HGX B200）Dell · 液冷（CPU、GPU、NVLink 交换机均液冷）4U（需 IR5000 机柜） |
8× NVIDIA HGX B200 180GB 1000W SXM68 卡 | 总显存 1,440 GB单卡 180 GBFP16 密集 18,000 TFLOPS · 单卡 2,250 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：NVLink 5，8 卡全互联；官方规格表未给整板聚合带宽（NVIDIA 官方为 14.4 TB/s）对外：1× OCP NIC 3.0（x8 PCIe）；官方规格表未列具体 IB/RoCE 端口带宽 | 官方未公布定价 | 官方文档 → |
| 21 |
Supermicro SYS-821GE-TNHR（8U HGX H100 / H200）Supermicro · 风冷8U |
NVIDIA HGX H100 / H200 8-GPU8 卡 | 总显存 640 GB单卡 80 GBFP16 密集 7,916 TFLOPS · 单卡 990 TFLOPS | 官方未公布OEM 机型官方只给电源容量 | 节点内：NVLink 4（900 GB/s/卡，DGX/HGX 同平台）对外：8× PCIe Gen5 x16 LP 插槽 + 2× PCIe Gen5 x16 FHHL（可选再加 2）用于网卡；具体 IB/RoCE 型号由配置决定 | 官方未公布定价 | 官方文档 → |
按加速卡家族汇总
3 个家族
NVIDIA
17 个方案
该家族最大方案：1,016 卡 · NVIDIA DGX SuperPOD（DGX B200 版）
AMD
2 个方案
该家族最大方案：8 卡 · AMD Instinct MI300X 8 卡平台（Dell PowerEdge XE9680）
华为昇腾
2 个方案
该家族最大方案：384 卡 · 华为 Atlas 900 A3 SuperPoD 超节点
机柜功率密度
3 个可算方案| 方案 | 机架高度 | 整机功耗 | 功率密度 | 47U 机柜折算 | 每卡分摊 |
|---|---|---|---|---|---|
|
NVIDIA DGX B200 |
10U | 14.3 kW | 1,430 W/U | 67.2 kW | 1,788 W |
|
NVIDIA DGX H100 |
8U | 10.2 kW | 1,275 W/U | 59.9 kW | 1,275 W |
|
NVIDIA DGX H200 |
8U | 10.2 kW | 1,275 W/U | 59.9 kW | 1,275 W |
节点内互联代际分布
7 类| 节点内互联 | 方案数 | 该代际最大规模 | 代表机型 |
|---|---|---|---|
| NVLink 4（Hopper 代） | 7 个方案 | 最大 256 卡 | NVIDIA DGX SuperPOD（DGX H100 版） |
| NVLink 5（Blackwell 代） | 7 个方案 | 最大 1,016 卡 | NVIDIA DGX SuperPOD（DGX B200 版） |
| 仅 PCIe Gen5 | 2 个方案 | 最大 8 卡 | NVIDIA RTX PRO 6000 Blackwell Server Edition（8 卡方案）、Dell PowerEdge XE7745（8× RTX PRO 6000 Blackwell SE） |
| AMD Infinity Fabric | 2 个方案 | 最大 8 卡 | AMD Instinct MI300X 8 卡平台（Dell PowerEdge XE9680）、AMD Instinct MI355X 8 卡平台（Dell XE9785 / XE9785L） |
| 仅 PCIe Gen4 | 1 个方案 | 最大 8 卡 | NVIDIA RTX 6000 Ada 8 卡方案 |
| 未公布 / 其他 | 1 个方案 | 最大 64 卡 | 华为 Atlas 900 A2 PoD 集群基础单元 |
| 华为灵衢 UnifiedBus | 1 个方案 | 最大 384 卡 | 华为 Atlas 900 A3 SuperPoD 超节点 |
自建前必须算清的四件事
① 供电与制冷够不够？
一台 8 卡 H100 整机约 10.2kW，DGX B200 约 14.3kW，GB300 NVL72 整柜 142kW——后者已经不是「加几台机器」的量级，而是需要专门改造机房：三相供电、液冷管路、更高承重。传统风冷机柜通常 6–12kW/柜，跑 NVL72 必须液冷。先确认机房单柜供电上限，再决定买什么。
② 节点内互联与跨节点网络是否匹配任务？
张量并行吃节点内带宽（NVLink 900 GB/s/卡 vs PCIe Gen5 x16 约 64 GB/s，差一个数量级），数据并行与流水并行吃跨节点网络（NDR 400G InfiniBand）。如果买 8 卡 PCIe 版去跑需要强通信的并行策略，卡会大量空等。表里的「节点内互联 / 对外组网」两列就是用来判断这件事的。
③ 电费与总拥有成本算过没有？
用功耗与电费页把整机功耗、电价与 PUE 填进去，得到月电费；再用成本测算对比同算力的租用价格与盈亏平衡小时数。注意整机功耗要按最大功耗算（不是 PSU 容量，也不是单卡 TDP 简单相加——CPU、网卡、风扇与 PUE 都会加进去）。
④ 采购价与交期能不能接受？
NVIDIA 对 DGX / GB200 / GB300 整机均未公布官方定价，表里出现的价格都是二手整理或媒体报道；OEM 机型（Dell、Supermicro）同样需要询价。这意味着报价差异可能很大，务必至少拿到两家 OEM 的正式报价，并把交期写进合同——热门代际的交期曾长达数月。
为什么有些方案没有功耗数据？
因为 OEM 机型（Dell XE 系列、Supermicro）的官方规格书只给电源容量（如 2800W / 3000W Watt Titanium PSU），而电源容量是「能供多少电」，不是「实际最大功耗」。拿 PSU 容量当功耗会把电费算高三倍以上，所以这些机型的功耗列留空，只保留有官方整机功耗的 NVIDIA DGX 与华为 Atlas 数据。
整机与集群规格取自厂商官方文档；资料整理时间 2026-10-12，交付细节以厂商方案为准。
