4 万亿晶体管
WSE-3 集成 4 万亿个晶体管,采用 5nm 制程,是上一代 WSE-2 的两倍性能,功耗和价格保持不变。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Cerebras 第三代晶圆级 AI 芯片,4 万亿晶体管,驱动 CS-3 超级计算机
官网地址 https://www.cerebras.net/press-release/cerebras-announces-third-generation-wa…
WSE-3 是 Cerebras Systems 于 2024 年 3 月发布的第三代晶圆级引擎,采用 5nm 制程,集成 4 万亿晶体管和 900,000 个 AI 优化计算核心。它驱动 CS-3 AI 超级计算机,提供 125 petaflops 峰值 AI 性能,支持训练高达 24 万亿参数的模型。其优势在于单芯片超大内存系统和数据并行训练能力,训练千亿参数模型如同在 GPU 上训练十亿参数模型一样简单。短板是功耗和散热要求极高,且价格官网未公开。
WSE-3 是 Cerebras Systems 推出的第三代晶圆级引擎(Wafer Scale Engine),由 CEO Andrew Feldman 领导的团队研发,面向训练业界最大规模 AI 模型的企业和超大规模计算需求。
根据官方发布信息,WSE-3 采用台积电 5nm 制程,拥有 4 万亿晶体管、900,000 个 AI 优化计算核心和 44GB 片上 SRAM。它驱动 Cerebras CS-3 AI 超级计算机,提供 125 petaflops 的峰值 AI 性能,外部内存可选 1.5TB、12TB 或 1.2PB。CS-3 可训练高达 24 万亿参数的模型,集群规模最多可扩展至 2048 个 CS-3 系统,合计提供高达 256 exaFLOPs 的算力。
对普通用户而言,WSE-3 本身不直接面向个人,而是通过 Cerebras 的云服务或合作伙伴 API 间接使用。开发者可以通过 Cerebras 软件框架使用 PyTorch 2.0 原生支持进行模型训练,或通过 AWS Marketplace、OpenRouter、HuggingFace、Vercel 等合作伙伴调用推理服务。企业用户则可以直接采购 CS-3 超级计算机,用于训练前沿大模型。
WSE-3 集成 4 万亿个晶体管,采用 5nm 制程,是上一代 WSE-2 的两倍性能,功耗和价格保持不变。
芯片包含 900,000 个 AI 优化计算核心,提供 125 petaflops 峰值 AI 性能,专为训练大规模模型设计。
WSE-3 配备 44GB 片上 SRAM,外部内存可选 1.5TB、12TB 或 1.2PB,支持单逻辑内存空间存储 24 万亿参数模型。
WSE-3 驱动 CS-3,可集群至 2048 个系统,提供高达 256 exaFLOPs 算力,用于训练比 GPT-4 和 Gemini 大 10 倍的前沿模型。
CS-3 支持纯数据并行模式训练 1B 到 24T 参数模型,无需分区或重构,千亿参数模型训练如同 GPU 上十亿参数模型一样简单。
Cerebras 软件框架原生支持 PyTorch 2.0,并支持多模态模型、视觉 Transformer、混合专家和扩散模型等最新技术。
Cerebras 是唯一为动态和非结构化稀疏提供原生硬件加速的平台,可将训练速度提升高达 8 倍。
Cerebras Inference 通过 AWS Marketplace、OpenRouter、HuggingFace、Vercel 等合作伙伴提供 API 接入,支持低延迟实时应用。
官方说明 ↗当需要训练超大规模模型(万亿参数级别)时,WSE-3 和 CS-3 值得考虑,其单芯片内存空间和数据并行能力可大幅简化工作流。当需求是中小规模训练或推理时,传统 GPU 集群可能更灵活、更经济。对于预算有限或需要快速试错的团队,建议先通过 Cerebras Inference 的开发者档位或合作伙伴 API 体验,再决定是否采购硬件。
需要训练万亿参数级别模型,WSE-3 的单芯片内存和数据并行能力可简化工作流。
有大规模模型训练需求,可采购 CS-3 或通过云服务使用,但需评估成本和运维能力。
可通过 Cerebras Inference 开发者档位或合作伙伴 API 体验推理,但无法直接使用 WSE-3 硬件。
超级计算机采购和运维成本高,建议先用云服务或 GPU 集群替代。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 晶体管数量 | 4 trillion | Cerebras Systems 新闻稿 |
| AI 核心数 | 900,000 | Cerebras Systems 新闻稿 |
| 峰值 AI 性能 | 125 petaflops | Cerebras Systems 新闻稿 |
| 片上 SRAM | 44GB | Cerebras Systems 新闻稿 |
| 制程 | 5nm | Cerebras Systems 新闻稿 |
| 外部内存 | 1.5TB, 12TB, or 1.2PB | Cerebras Systems 新闻稿 |
| 最大模型参数量 | 24 trillion parameters | Cerebras Systems 新闻稿 |
| 集群规模 | 2048 CS-3 systems | Cerebras Systems 新闻稿 |
| 集群算力 | 256 exaFLOPs | Cerebras Systems 新闻稿 |
| 训练加速(稀疏) | 8x | Cerebras Systems 新闻稿 |
| GPT-3 实现代码行数 | 565 lines | Cerebras Systems 新闻稿 |
| 代码量减少 | 97% less code | Cerebras Systems 新闻稿 |
WSE-3 芯片和 CS-3 超级计算机的价格官网未公开。Cerebras Inference 推理服务有开发者档位,新用户添加有效支付方式可获得一次性 $5 促销额度,该额度在激活后 30 天内有效,到期或耗尽后 API 和 Playground 访问将暂停,除非另行购买 PayGo 额度。
WSE-3 是 Cerebras 第三代晶圆级 AI 芯片,采用 5nm 制程,拥有 4 万亿晶体管、900,000 个 AI 核心、44GB 片上 SRAM,提供 125 petaflops 峰值 AI 性能,可训练高达 24 万亿参数的模型,集群规模最多 2048 个 CS-3 系统。
WSE-3 适合训练万亿参数级别的前沿大模型,支持纯数据并行和动态稀疏加速,训练千亿参数模型如同 GPU 上十亿参数模型一样简单。GPU 集群更适合中小规模训练和推理,部署更灵活,成本可能更低。具体选择需根据模型规模、预算和运维能力决定。
官网未说明国内是否可以直接购买或使用 WSE-3 和 CS-3。Cerebras Inference 推理服务可通过 AWS Marketplace、OpenRouter、HuggingFace、Vercel 等合作伙伴接入,但国内访问这些服务的可用性需以各平台官方说明为准。
Cerebras 软件框架原生支持 PyTorch 2.0,并支持多模态模型、视觉 Transformer、混合专家和扩散模型等最新技术。开发者可以训练从 1B 到 24T 参数的模型,采用纯数据并行模式,无需分区或重构。
CS-3 在性能翻倍的同时保持与上一代相同的功耗,而 GPU 功耗每代翻倍。Cerebras 称 CS-3 在更小空间和更低功耗下提供更多计算性能,但具体功耗数值官网未公开。
根据官方发布信息,使用 2048 个 CS-3 系统,Llama 70B 可以从零开始在一天内完成训练;紧凑的四系统配置可以在一天内微调 70B 模型。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| WSE-3本工具 | 4.3 | 官网未公开芯片与超级计算机价格,推理服务有开发者档位,新用户可获一次性 $5 促销额度。 | 4 万亿晶体管;900,000 AI 核心;44GB 片上内存;CS-3 超级计算机 | API / 云服务 / 本地部署 |
| Lightning | — | 未标价 | 世界上最快的文本到语音模型 | — |
| Animon | — | 未标价 | 世界上最好的免费动漫 AI 模型 | — |
| NEAR AI | — | 未标价 | 构建世界上最好的真正开放的人工智能,让用户拥有数据和 AI 的未来 | — |
| Claude 3 Haiku | — | 未标价 | 我们最快的 AI 模型,能应对各种企业级应用场景 | Web / API / Amazon Bedrock |
| SmolVLM-256M-Instruct | — | 未标价 | SmolVLM-256M 是世界上最小的多模态模型,可高效处理图像和文本输入并生成文本输 | — |
WSE-3 采用 5nm 制程,拥有 4 万亿晶体管和 900,000 个 AI 核心,驱动 CS-3 超级计算机,提供 125 petaflops 峰值性能。
官方公告 ↗