硬件设施：55 个词条

🏭 万卡集群（10K-GPU Cluster） 10K-GPU Cluster 由一万张以上GPU或AI加速卡组成的大规模训练集群，用并行计算把超大模型的训练周期压缩到可接受范围，比拼的是网络、调度与容错等系统工程能力。 硬件设施 算力分布式训练基础设施 🔲 AI芯片（AI Chip） AI Chip 专为AI计算设计的处理器统称，涵盖GPU、NPU、TPU等类型。训练看并行算力，端侧看能效，生态兼容性往往比单项指标更影响落地效果。 硬件设施 算力芯片推理 🏢 智算中心（AI Data Center） AI Data Center 以AI计算为核心的新型数据中心，围绕加速卡设计网络与散热，为模型训练和推理提供算力底座，算力利用率与能耗是普遍痛点。 硬件设施 算力基础设施数据中心 🧮 存算一体（Computing-in-Memory） Computing-in-Memory 把存储与计算合并在同一物理单元的芯片技术，用于打破冯·诺依曼瓶颈，被视为提升AI推理能效的下一代突破口，目前受限于精度与生态。 硬件设施 芯片前沿能效 🧠 神经形态计算（Neuromorphic Computing） Neuromorphic Computing 模拟人脑神经元与突触工作方式的芯片与算法方向，以事件驱动换取超低功耗，代表探索包括IBM TrueNorth、Intel Loihi等，整体仍处研究阶段。 硬件设施 芯片前沿类脑计算 🧠 高带宽内存（HBM） High Bandwidth Memory 把多层内存芯片垂直堆叠并与处理器紧邻封装的高性能显存，用超宽位宽换取成倍的数据吞吐，缓解算力增长快于供数速度的内存墙问题。 硬件设施 显存内存墙先进封装 🖥️ 英伟达 Blackwell（GB200/B200） NVIDIA Blackwell / GB200 / B200 面向大规模 AI 训练与推理的 GPU 架构，以整机柜超节点形态交付，用更高算力密度、新一代高带宽显存与高速互连支撑万亿参数模型。 硬件设施 AI 芯片超节点训练算力 ⚡ 英伟达 H100 / H200（Hopper） NVIDIA H100 / H200 (Hopper) Hopper 架构下面向数据中心的主力 AI 加速卡，长期作为大模型训练的事实标准配置，凭借成熟软件生态与卡间互连支撑大规模并行训练。 硬件设施 训练卡数据中心张量核心 🔗 NVLink（NVSwitch） NVLink / NVSwitch 英伟达 GPU 之间的高速直连通道与交换网络，把多张卡的显存与算力连成整体，缓解训练中梯度同步与张量并行的通信瓶颈。 硬件设施 卡间互连超节点分布式训练 🌐 InfiniBand（RDMA） InfiniBand / RDMA 面向高性能计算的高速网络技术，配合远程直接访存让机器之间直接读写内存，为数千张加速卡组网提供低延迟、高带宽的跨机通信。 硬件设施 集群组网RDMA低延迟 💧 液冷散热（Liquid Cooling） Liquid Cooling 用液体代替空气带走芯片与机柜热量的冷却方式，在远超风冷承受范围的高功率密度机柜中稳定导出热量，同时降低机房空调能耗。 硬件设施 数据中心高密机柜能效 🧮 国产 AI 芯片（昇腾/寒武纪） Ascend / Cambricon 国内厂商设计的 AI 加速器与配套软件栈，在训练与推理场景提供算力供给的替代方案，核心竞争点从单卡算力延伸到互连与软件生态。 硬件设施 自主算力AI 芯片昇腾 🔷 AMD Instinct（MI300） AMD Instinct MI300 Series AMD 面向数据中心 AI 与高性能计算的加速器系列，采用计算与显存融合封装思路，为算力市场提供英伟达之外的选择以改善成本与交付。 硬件设施 AI 加速器大显存开放生态 💡 光互连（CPO） Optical Interconnect / CPO 用光信号代替电信号在芯片、板卡与机柜之间传输数据，并把光引擎与交换芯片共同封装，为更大规模集群提供更高带宽密度与更远传输距离。 硬件设施 光通信共封装集群互联 📊 数据中心能效比（PUE） Power Usage Effectiveness 衡量数据中心能源效率的常用指标，等于全站总耗电与 IT 设备耗电之比，数值越接近 1 说明电力越多用于计算而非制冷与配电等辅助环节。 硬件设施 能效指标数据中心制冷 🌱 AI 能耗与碳排（AI Energy） AI Energy & Carbon 关注模型训练与日常调用所消耗的电力及其对应的二氧化碳排放，涉及用电结构、芯片能效、推理调用规模与机房冷却方式等多个环节。 硬件设施 能耗碳排放绿色算力 🏎️ LPU 推理芯片（Groq） Groq LPU 专为大模型推理设计的处理器，以确定性数据流架构和片上大容量存储换取极低响应延迟，适合对首字响应与输出速度敏感的实时交互场景。 硬件设施 推理芯片低延迟数据流架构 🟦 晶圆级引擎（WSE） Cerebras Wafer-Scale Engine 把整片硅晶圆制成一颗超大芯片的加速器，用极宽的片上互连替代多卡之间的网络通信，降低大规模模型并行的通信开销与编程复杂度。 硬件设施 超大芯片片内互连高性能计算 🏭 先进制程与封装（3nm / CoWoS） 3nm / CoWoS 先进制程与封装指芯片制造中缩小晶体管尺寸与把多颗芯片高密度互连这两条链路，共同决定算力芯片的性能、功耗与产能上限。 硬件设施 算力产能制程先进封装 📱 端侧AI芯片（Snapdragon / Dimensity NPU） Snapdragon / Dimensity NPU 端侧AI芯片指集成在手机、平板与笔记本中的神经网络处理单元，让模型在本地完成推理，兼顾响应速度、隐私保护与云端成本。 硬件设施 终端算力神经网络处理单元本地推理 🖥️ 英伟达A100/H800（A100 / H800） A100 / H800 A100与H800是英伟达面向数据中心的两代加速卡，前者奠定大规模训练基础，后者在互连规格上做了调整，存量规模依然庞大。 硬件设施 数据中心加速卡存量算力 🔌 Intel Gaudi（Gaudi） Gaudi Intel Gaudi是英特尔推出的AI加速卡产品线，主打训练与推理的性价比，为数据中心提供英伟达之外的另一种加速器选择。 硬件设施 加速卡异构算力数据中心 🔗 PCIe与卡间拓扑（PCIe Topology） PCIe Topology PCIe与卡间拓扑指服务器内部加速卡、处理器与内存之间的连接方式，它决定数据在芯片之间怎么走、能跑多快，直接影响多卡效率。 硬件设施 服务器架构互连带宽多卡部署 🌐 以太网RDMA（RoCEv2） RoCEv2 RoCEv2是在标准以太网上实现远程直接内存访问的协议，让服务器之间绕过处理器直接搬运数据，成为大规模算力组网的常见选择。 硬件设施 集群组网远程直接内存访问低延迟 🧩 CXL内存扩展（CXL） CXL CXL是一种基于高速总线的内存互连标准，让处理器按缓存一致性方式访问外部内存与设备，用于缓解显存和内存容量不足的问题。 硬件设施 内存扩展互连标准资源池化 🧮 现场可编程门阵列（FPGA） FPGA FPGA 是可在出厂后重新配置电路结构的芯片，用硬件电路直接实现算法，兼顾低延迟与灵活性但开发门槛高。 硬件设施 芯片硬件推理加速 🔲 张量核心（Tensor Core） Tensor Core 张量核心是 GPU 里专门做矩阵乘加的硬件单元，是深度学习算力大幅提升的关键，也是各种算力指标的计算基础。 硬件设施 芯片GPU算力 🛰️ 数据处理单元（DPU） Data Processing Unit DPU 是负责网络、存储与虚拟化卸载的处理器，把基础设施任务从 CPU 上挪走，让算力专注在业务计算上。 硬件设施 芯片网络数据中心 🧊 GPU 虚拟化（vGPU / MIG） GPU Virtualization GPU 虚拟化把一张物理卡切成多份或跨机共享，用来提高利用率、隔离多租户，但会带来性能与显存开销。 硬件设施 GPU资源调度部署 🗄️ 机柜级系统（Rack Scale） Rack-Scale System 机柜级系统把整柜服务器当作一台机器设计，用高速互联把大量加速卡连成一体，专为大模型训练与推理服务。 硬件设施 数据中心算力互联 🖥️ AI 服务器整机（AI Server） AI Server AI 服务器是把多张加速卡、主机通道、高速网卡与盘位组装成可训练整机的硬件形态，配比失衡会让昂贵的卡长期空转。 硬件设施 服务器算力硬件集群 ⚖️ 训练卡与推理卡（Training vs Inference Accelerator） Training vs Inference Accelerator 训练卡追求大显存与高速互联以吃下反向传播，推理卡更看重低精度吞吐与每瓦成本，两者规格取向从一开始就分叉。 硬件设施 加速卡训练推理 🛣️ 显存带宽（VRAM Bandwidth） VRAM Bandwidth 显存带宽决定单位时间能从显存搬多少数据，大模型逐词解码几乎全程卡在带宽上，容量只决定模型能不能装下。 硬件设施 显存带宽推理性能 🚗 车载 AI 芯片（Automotive SoC） Automotive AI Chip 车载 AI 芯片要在车规温度、振动与长供货周期约束下跑感知与座舱模型，算力冗余和失效降级比峰值算力更重要。 硬件设施 车载芯片智能驾驶车规 🧩 芯粒（Chiplet） Chiplet 芯粒把一颗大芯片拆成多块小裸片再封装成整体，用互连密度换取良率与成本，是延续算力增长的关键设计路线。 硬件设施 先进封装芯片设计良率 🕸️ 集群网络拓扑（Fat-Tree / Spine-Leaf） Cluster Network Topology 集群网络拓扑决定万卡之间能否同时高速对话，层数与收敛比会直接换算成集合通信的有效带宽。 硬件设施 集群网络组网收敛比 🛡️ 显存纠错（ECC） GPU Memory ECC 显存纠错用额外校验位实时发现并修正显存位翻转，开销取决于具体实现，长周期大规模训练里它基本是必选项。 硬件设施 可靠性显存纠错 🏭 晶圆代工（Foundry） Foundry 晶圆代工把芯片设计变成可用的硅片，制程节点、产能排期与良率爬坡速度直接决定算力供给的节奏与成本。 硬件设施 半导体制造制程供应链 🔀 GPU 直接数据通路（GPUDirect） GPUDirect GPUDirect 让网卡与存储设备绕过主机内存直接读写显存，省掉两次拷贝，是跨节点训练带宽利用率的关键。 硬件设施 零拷贝RDMA显存 🔗 混合键合（Hybrid Bonding） Hybrid Bonding 混合键合用铜与铜直接键合取代焊球凸点，把堆叠层间距压到微米级，换来存储与逻辑之间成倍提升的互连密度。 硬件设施 先进封装三维堆叠互连密度 🚦 无损网络（PFC / 拥塞控制） Lossless Network 无损网络用流控与拥塞控制保证不丢包，因为远端直接访存一次丢包就要重传整段，延迟抖动会拖垮集合通信。 硬件设施 RDMA流控拥塞控制 🔢 低精度计算格式（FP8 / FP4） Low-Precision Formats 低精度格式用更少位宽表示浮点数，降低每次运算要搬运的字节数、提高矩阵乘吞吐，代价是要靠缩放因子补偿动态范围。 硬件设施 数值格式低精度训练加速 🧱 内存墙（Memory Wall） Memory Wall 内存墙指算力增长远快于访存带宽，计算单元大量时间在等数据，是「算力涨了推理却没变快」的根因。 硬件设施 访存瓶颈算力带宽 ⚡ 数据中心供电（Power Distribution） Power Distribution 数据中心供电要把市电降压、变换并冗余分配到每个机柜，功率密度上升后它常先于散热成为部署瓶颈。 硬件设施 数据中心供配电冗余 🐛 静默数据损坏（SDC） Silent Data Corruption 静默数据损坏是不报错却算错的硬件故障，会在大规模长时间训练中悄悄污染梯度，表现为损失曲线莫名发散。 硬件设施 可靠性训练故障硬件错误 🌡️ 热设计功耗（TDP） TDP 热设计功耗是芯片持续满载时需被带走的热量上限，它决定散热方案、机柜密度与长期降频风险。 硬件设施 功耗散热规格 🌱 算力能效比（TOPS/W） TOPS per Watt 算力能效比用每瓦能提供多少算力衡量芯片效率，在功耗与散热受限的场景里，它比峰值算力更能决定实际产出。 硬件设施 能效算力指标 🔧 带外管理（BMC） BMC / Out-of-Band Management 带外管理是独立于操作系统的管理通道，能在系统卡死或掉卡时远程看日志、重启与刷固件，是集群运维的兜底手段。 硬件设施 集群运维远程管理固件 📡 边缘数据中心（Edge Data Center） Edge Data Center 边缘数据中心把推理算力放到离用户更近的小型机房，用延迟与回传成本换取更小的单点规模与更难的运维条件。 硬件设施 边缘计算推理部署机房 🧵 片上网络（NoC） Network-on-Chip 片上网络是芯片内部搬运数据的路由结构，它的带宽与仲裁策略决定加速器阵列能不能被喂满，是利用率被低估的一环。 硬件设施 微架构片内互连带宽 🤝 开放互连标准（UALink / UEC） Open Interconnect Standards 开放互连标准分两条路线：UALink 做机架内加速器互连，UEC 做基于以太网的节点组网，以打破私有互连锁定。 硬件设施 互连标准开放生态集群网络 💡 光子计算芯片（Photonic Computing） Photonic Computing 光子计算用光信号做矩阵运算，理论上能在极低功耗下获得高并行带宽，难点在于非线性与存储都要回到电域。 硬件设施 光计算前沿硬件矩阵运算 🧮 开放指令集 AI 芯片（RISC-V） RISC-V AI Chip 基于开放指令集的 AI 芯片可自由扩展向量与矩阵指令，适合做定制加速器与边缘控制核，代价是软件生态要自己补。 硬件设施 指令集开放生态边缘芯片 🔋 微控制器 AI（TinyML） TinyML TinyML 在毫瓦级微控制器上跑极小的模型，用内存与算力的极端约束换取常开、低延迟与数据不出设备。 硬件设施 端侧AI微控制器低功耗 🗂️ 统一内存（Unified Memory） Unified Memory 统一内存包含同一物理内存池与统一虚拟地址加页迁移两种机制，都能省掉显式拷贝、装下更大模型，代价是带宽被多方争用。 硬件设施 内存架构端侧部署带宽