图形处理器（GPU）

GPU（Graphics Processing Unit，图形处理器）最初为游戏画面渲染而生，如今却是AI训练与推理的核心硬件。它把成千上万个计算核心组织成并行阵列，恰好匹配深度学习里海量的矩阵乘加运算，于是从“显卡”变成了“算力”。在AI产业链中，GPU的供给、性能与成本，几乎决定了大模型能跑多大、多快、多便宜，因此常被称作“AI时代的石油”。

为什么AI离不开GPU

深度学习模型的主要计算是矩阵乘法，也就是大量彼此独立的乘加运算。CPU（Central Processing Unit，中央处理器）只有几个到几十个核心，擅长逻辑判断与串行任务，跑这类运算效率很低；GPU则拥有数千个计算核心，能够同时开工，把“一个一个算”变成“一批一批算”。训练还依赖反向传播反复迭代，同一组算子在全部数据上重复执行，正是并行硬件的用武之地。

主流AI GPU与各自定位

• 数据中心主力：NVIDIA H100、H200 面向大模型训练，单卡 80GB 显存，配合高速互联组成集群。
• 上代数据中心卡：A100 仍是许多集群的中坚，生态成熟、供应相对充足。
• 新一代旗舰：NVIDIA B200 性能大幅提升，用于更大规模的训练任务。
• 消费级显卡：RTX 4090 拥有 24GB 显存，适合个人开发者做微调与小规模推理。
• 其他路线：Apple M 系列采用统一内存架构，适合本地推理；华为昇腾、寒武纪等国产芯片在特定场景逐步落地。

显存决定能跑多大的模型

显存（VRAM）大小直接决定单卡能装下的模型规模。以 FP16（16 位浮点）精度估算，700 亿参数的模型光权重就要约 140GB 显存，远超单张数据中心卡的容量，因此必须靠多卡并行切分，或者用量化把权重压到更低精度。选型时先算显存账，再比较算力与价格，通常比只看跑分更有效。

实践要点

• 先看显存再看算力：显存不够直接跑不起来，算力只影响快慢。
• 区分训练与推理：训练吃互联带宽与多卡扩展，推理更看重单卡吞吐与单位成本。
• 算清总拥有成本：自建要计入电费、散热、机位与折旧，短期项目租云往往更划算。
• 关注软件生态：CUDA（统一计算设备架构）的成熟度仍是选型的关键变量。

常见误区

• 把GPU等同于AI芯片：TPU、NPU 等专用芯片在推理与端侧各有优势。
• 只比单卡跑分：集群性能取决于互联，网络跟不上，卡再多也会空转。
• 忽视利用率：优化调度与批处理，常常比加卡更省钱。
• 以为训练永远是需求大头：应用铺开之后，推理正成为GPU增长的主要驱动力。