六项加速计算技术
Blackwell GPU 架构集成六项变革性技术,将推动数据处理、工程仿真、电子设计自动化、计算机辅助药物设计与量子计算等方向的突破。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
面向万亿参数大模型的加速计算平台,推理成本与能耗最高降低 25 倍
官网地址 https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power…
NVIDIA 于 2024 年 3 月 18 日发布的 Blackwell 平台,用于在万亿参数级大模型上运行实时生成式 AI,相比上一代推理成本与能耗最高降低 25 倍。GPU 架构集成六项加速计算技术,覆盖数据处理、工程仿真、电子设计自动化、计算机辅助药物设计与量子计算。AWS、Google、Meta、Microsoft、OpenAI、Oracle、Tesla、xAI 等均在预期采用名单内;未公开具体定价与各云厂商上线时间表。
Blackwell 是 NVIDIA 推出的加速计算平台,面向需要在万亿参数级大语言模型上跑实时生成式 AI 的组织。它由 GPU 架构、NVLink 与可靠性技术共同组成,官方定位是支撑「新一轮工业革命」的算力引擎,由创始人兼 CEO 黄仁勋在 GTC 上发布。
平台的核心是六项加速计算技术,配合新的 Tensor Core 与 TensorRT-LLM 编译器,把大模型推理的运营成本与能耗相对上一代最多压低 25 倍。列举的落地方向包括数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算,这些都是 NVIDIA 眼中的新兴行业机会。
从使用方式看,多数团队不会直接买卡,而是通过云服务获得算力:Amazon Web Services、Google Cloud、Microsoft、Oracle 等主流云厂商都在预期采用名单中,AWS 还与 NVIDIA 共同开发了 Project Ceiba,把下一代 Grace Blackwell Superchips 与 AWS Nitro System 虚拟化及 Elastic Fabric Adapter 网络结合,用于 NVIDIA 自身的 AI 研发。服务器厂商 Dell Technologies 也在名单内,Meta、OpenAI、Tesla、xAI 则是预期采用的 AI 公司。
Blackwell GPU 架构集成六项变革性技术,将推动数据处理、工程仿真、电子设计自动化、计算机辅助药物设计与量子计算等方向的突破。
面向万亿参数规模的大语言模型,支持组织构建并运行实时生成式 AI,强调这是该平台面向的核心负载形态。
借助新的 Tensor Core 与 TensorRT-LLM 编译器,大模型推理的运营成本与能源消耗相比上一代最多降低 25 倍。
Blackwell 平台包含 NVLink 技术,配合可靠性技术共同支撑大规模集群内的 GPU 间通信,官方将其列为平台三大组成之一。
当你的训练或推理负载已经到万亿参数级别、并且对单位算力的成本和能耗敏感时,Blackwell 是 NVIDIA 给出的官方答案,官方口径是相对上一代最多省 25 倍成本与能耗。当需求只是中小规模模型或常规推理时,这一代的收益不明显,而且云上实际可用的实例、区域和价格官网均未公开,短期内更现实的做法是先用现有 GPU 资源。官方未公开售价与各家的上线时间表,采购决策仍需等云厂商与服务器厂商公布具体规格。
负载在万亿参数级别、需要实时生成式 AI 能力的团队,官方对该平台的定位正是这一档模型。
AWS、Google Cloud、Microsoft、Oracle 均在预期采用名单中,通过云实例获取算力比自建更现实。
点名的方向包括工程仿真、电子设计自动化、计算辅助药物设计与量子计算,属于平台重点覆盖场景。
未公开售价与云上实例费率,立项前无法给出确定成本,采购流程较长的团队要先解决这一环。
25 倍的成本与能耗下降面向大模型推理,中小负载用现有 GPU 通常已足够,换代收益有限。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 推理成本与能耗降幅 | up to 25x | NVIDIA 官方新闻稿 |
| GPU 架构加速计算技术数量 | six | NVIDIA 官方新闻稿 |
| 发布日期 | March 18, 2024 | NVIDIA 官方新闻稿 |
| AWS 与 NVIDIA 合作年数 | more than 13 years | Amazon 总裁兼 CEO Andy Jassy 评论 |
给出的口径是在万亿参数级大模型上,推理的运营成本与能源消耗相比上一代最多降低 25 倍。这一数字来自新的 Tensor Core 与 TensorRT-LLM 编译器,平台整体由 GPU 架构、NVLink 与可靠性技术组成,集成六项加速计算技术。
定位是万亿参数级大语言模型,支持组织构建并运行实时生成式 AI。平台同时也覆盖数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算等负载。
预期的采用方包括 Amazon Web Services、Dell Technologies、Google、Meta、Microsoft、OpenAI、Oracle、Tesla 和 xAI,覆盖主流云厂商、服务器厂商与 AI 公司。多数团队通过云厂商的 GPU 实例获取算力,自建则由服务器厂商提供整机。
官方预期采用的云厂商包括 Amazon Web Services、Google、Microsoft 和 Oracle。
官方把这项提升归因于新的 Tensor Core 和 TensorRT-LLM 编译器,二者共同作用使大模型推理的运营成本与能耗相对上一代最多降低 25 倍。平台同时还包含 NVLink 与可靠性技术,用于支撑集群规模下的互联与稳定性。
点名的方向包括数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算,加上生成式 AI 本身,官方将这些统称为 NVIDIA 的新兴行业机会。
在 GTC 上宣布 Blackwell 平台推出,用于在万亿参数级大模型上运行实时生成式 AI,推理成本与能耗相比上一代最多降低 25 倍。