NVIDIA Blackwell Platform

NVIDIA Blackwell Platform

AI TOOL PROFILE工具资料

面向万亿参数大模型的加速计算平台,推理成本与能耗最高降低 25 倍

官网地址 https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power…

访问官网
价格官网未标价
平台云服务 / 服务器
归类大模型与开发平台
收录2024-03-18
复核2024-03-18
编辑评分 4.4 / 5

NVIDIA Blackwell Platform编辑总结

EDITOR REVIEW编辑评测

NVIDIA 于 2024 年 3 月 18 日发布的 Blackwell 平台,用于在万亿参数级大模型上运行实时生成式 AI,相比上一代推理成本与能耗最高降低 25 倍。GPU 架构集成六项加速计算技术,覆盖数据处理、工程仿真、电子设计自动化、计算机辅助药物设计与量子计算。AWS、Google、Meta、Microsoft、OpenAI、Oracle、Tesla、xAI 等均在预期采用名单内;未公开具体定价与各云厂商上线时间表。

NVIDIA Blackwell Platform是什么?

Blackwell 是 NVIDIA 推出的加速计算平台,面向需要在万亿参数级大语言模型上跑实时生成式 AI 的组织。它由 GPU 架构、NVLink 与可靠性技术共同组成,官方定位是支撑「新一轮工业革命」的算力引擎,由创始人兼 CEO 黄仁勋在 GTC 上发布。

平台的核心是六项加速计算技术,配合新的 Tensor Core 与 TensorRT-LLM 编译器,把大模型推理的运营成本与能耗相对上一代最多压低 25 倍。列举的落地方向包括数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算,这些都是 NVIDIA 眼中的新兴行业机会。

从使用方式看,多数团队不会直接买卡,而是通过云服务获得算力:Amazon Web Services、Google Cloud、Microsoft、Oracle 等主流云厂商都在预期采用名单中,AWS 还与 NVIDIA 共同开发了 Project Ceiba,把下一代 Grace Blackwell Superchips 与 AWS Nitro System 虚拟化及 Elastic Fabric Adapter 网络结合,用于 NVIDIA 自身的 AI 研发。服务器厂商 Dell Technologies 也在名单内,Meta、OpenAI、Tesla、xAI 则是预期采用的 AI 公司。

NVIDIA Blackwell Platform核心功能

CAPABILITIES工具标签

六项加速计算技术

Blackwell GPU 架构集成六项变革性技术,将推动数据处理、工程仿真、电子设计自动化、计算机辅助药物设计与量子计算等方向的突破。

万亿参数级大模型

面向万亿参数规模的大语言模型,支持组织构建并运行实时生成式 AI,强调这是该平台面向的核心负载形态。

推理成本降 25 倍

借助新的 Tensor Core 与 TensorRT-LLM 编译器,大模型推理的运营成本与能源消耗相比上一代最多降低 25 倍。

NVLink 高速互联

Blackwell 平台包含 NVLink 技术,配合可靠性技术共同支撑大规模集群内的 GPU 间通信,官方将其列为平台三大组成之一。

NVIDIA Blackwell Platform值不值得用?

VERDICT工具标签

当你的训练或推理负载已经到万亿参数级别、并且对单位算力的成本和能耗敏感时,Blackwell 是 NVIDIA 给出的官方答案,官方口径是相对上一代最多省 25 倍成本与能耗。当需求只是中小规模模型或常规推理时,这一代的收益不明显,而且云上实际可用的实例、区域和价格官网均未公开,短期内更现实的做法是先用现有 GPU 资源。官方未公开售价与各家的上线时间表,采购决策仍需等云厂商与服务器厂商公布具体规格。

建议选它的情况

  • 训练或推理万亿参数级大模型的团队
  • 对单位算力成本与能耗高度敏感的业务
  • 跑工程仿真、电子设计自动化、计算辅助药物设计的机构
  • 通过 AWS、Google Cloud 等云厂商获取算力的企业

不建议选它的情况

  • 只做中小规模模型微调、现有 GPU 已够用的团队
  • 需要马上采购现货、无法等待云实例上线的项目
  • 预算需先看到明确单价才能立项的采购流程

NVIDIA Blackwell Platform使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先确认云上是否有实例Blackwell 主要通过 AWS、Google Cloud、Microsoft、Oracle 等云厂商提供,先在你的目标云平台查看是否已有对应 GPU 实例可开。
  2. 按负载选平台形态训练用整机与集群,推理用云实例更划算;列举的六项技术与 TensorRT-LLM 编译器都围绕推理降本,推理场景优先级更高。
进阶省时间也省钱
  1. 关注 TensorRT-LLM 编译器官方把 25 倍的推理成本与能耗下降归因于新 Tensor Core 与 TensorRT-LLM 编译器,迁移时优先用该编译器重编模型,收益最直接。
  2. 跟踪 Project Ceiba 进展NVIDIA 与 AWS 联合开发的 Project Ceiba 把 Grace Blackwell Superchips 与 Nitro System、Elastic Fabric Adapter 结合,是观察大规模集群落地方式的窗口。

NVIDIA Blackwell Platform适合谁用?

WHO IS IT FOR工具标签

大模型训练团队

推荐

负载在万亿参数级别、需要实时生成式 AI 能力的团队,官方对该平台的定位正是这一档模型。

云上租算力的企业

推荐

AWS、Google Cloud、Microsoft、Oracle 均在预期采用名单中,通过云实例获取算力比自建更现实。

科研与工程仿真机构

推荐

点名的方向包括工程仿真、电子设计自动化、计算辅助药物设计与量子计算,属于平台重点覆盖场景。

预算需先看单价的项目

有条件

未公开售价与云上实例费率,立项前无法给出确定成本,采购流程较长的团队要先解决这一环。

中小规模模型开发者

不推荐

25 倍的成本与能耗下降面向大模型推理,中小负载用现有 GPU 通常已足够,换代收益有限。

NVIDIA Blackwell Platform优点和缺点

PROS & CONS工具标签

优点

  • 称推理成本与能耗相比上一代最多降低 25 倍
  • 面向万亿参数级大模型,支持实时生成式 AI
  • GPU 架构包含六项加速计算技术
  • AWS、Google、Meta、Microsoft、OpenAI 等在预期采用名单内
  • AWS 与 NVIDIA 联合开发 Project Ceiba 用于自身 AI 研发
  • 覆盖数据处理、工程仿真、电子设计自动化等场景

缺点

  • 未公开售价与云上实例费率
  • 未提供可对比的基准测试详细数据
  • 中小规模模型场景下换代收益不明显

NVIDIA Blackwell Platform关键指标

MEASURED FACTS工具标签
指标数值数据来源
推理成本与能耗降幅 up to 25x NVIDIA 官方新闻稿
GPU 架构加速计算技术数量 six NVIDIA 官方新闻稿
发布日期 March 18, 2024 NVIDIA 官方新闻稿
AWS 与 NVIDIA 合作年数 more than 13 years Amazon 总裁兼 CEO Andy Jassy 评论

NVIDIA Blackwell Platform常见问题

FAQ工具标签
Blackwell 相比上一代提升有多大?

给出的口径是在万亿参数级大模型上,推理的运营成本与能源消耗相比上一代最多降低 25 倍。这一数字来自新的 Tensor Core 与 TensorRT-LLM 编译器,平台整体由 GPU 架构、NVLink 与可靠性技术组成,集成六项加速计算技术。

能跑多大的模型?

定位是万亿参数级大语言模型,支持组织构建并运行实时生成式 AI。平台同时也覆盖数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算等负载。

怎么才能用上,要自己买卡吗?

预期的采用方包括 Amazon Web Services、Dell Technologies、Google、Meta、Microsoft、OpenAI、Oracle、Tesla 和 xAI,覆盖主流云厂商、服务器厂商与 AI 公司。多数团队通过云厂商的 GPU 实例获取算力,自建则由服务器厂商提供整机。

哪些云平台会提供?

官方预期采用的云厂商包括 Amazon Web Services、Google、Microsoft 和 Oracle。

推理降本 25 倍是怎么实现的?

官方把这项提升归因于新的 Tensor Core 和 TensorRT-LLM 编译器,二者共同作用使大模型推理的运营成本与能耗相对上一代最多降低 25 倍。平台同时还包含 NVLink 与可靠性技术,用于支撑集群规模下的互联与稳定性。

主要面向哪些行业场景?

点名的方向包括数据处理、工程仿真、电子设计自动化、计算机辅助药物设计和量子计算,加上生成式 AI 本身,官方将这些统称为 NVIDIA 的新兴行业机会。

NVIDIA Blackwell Platform最新动态

CHANGELOG工具标签
  1. NVIDIA Blackwell 平台发布

    在 GTC 上宣布 Blackwell 平台推出,用于在万亿参数级大模型上运行实时生成式 AI,推理成本与能耗相比上一代最多降低 25 倍。