Axelera AI发布Titania架构:LPDDR6内存加持,单机20 PFLOPS
采用LPDDR6内存,单台服务器提供20 PFLOPS算力,目标实现最高7倍每瓦吞吐量。 AI推理需求持续增长,数据中心面临的功耗、散热和内存成本压力也越来越突出。传统GPU服务器对高带宽....
该架构选用LPDDR6内存,一台服务器能输出20 PFLOPS算力,目标是每瓦吞吐量最高提升到原来的7倍。
AI推理需求一直在涨,数据中心在功耗、散热和内存成本上的负担随之加重。传统GPU服务器离不开高带宽内存(HBM)和液冷设施,大型AI模型的部署成本因此被推得更高。
欧洲AI芯片公司Axelera AI近日亮出第三代芯片架构Titania。它想借Chiplet设计、存算一体和LPDDR6内存,在压低硬件成本与功耗的同时,把推理能力送到大型AI模型面前。公司给出的目标是:每瓦吞吐量最高做到顶级数据中心服务器的7倍,总拥有成本(TCO)最多改善20倍,并且能在传统风冷机柜里部署。
第三代架构Titania,走的是Chiplet设计路线
Axelera AI于2021年成立,总部设在荷兰埃因霍温,主攻AI推理加速芯片。公司先前已推出Metis和Europa两代架构,分别对应边缘AI与企业级AI应用。到了Titania,产品布局进一步伸向大型数据中心推理市场。
技术路线上,Titania沿用了公司此前的数字存算一体(D-IMC)架构,同时加入Chiplet设计、LPDDR6内存和可编程RISC-V计算单元。
D-IMC的思路,是让计算尽量贴近数据存放的位置,从而削减数据在计算单元与存储单元之间来回搬运所消耗的功耗和延迟。Titania在这套思路之上补上了浮点计算支持,并用更多、更小的计算核心来应对生成式AI和大规模推理任务。
据悉,每颗Titania Chiplet由台积电N4C工艺制造,集成32个AI核心、16个计算核心和128MB共享SRAM,FP8峰值算力为1.25 PFLOPS。一个系统级封装(SiP)装进两颗Chiplet,FP8算力合计2.5 PFLOPS。芯片另外配有RISC-V计算资源,负责数据调度、向量处理以及不同计算单元之间的任务协调。Axelera AI希望通过这套设计提升计算资源利用率,压掉数据搬运带来的额外开销。
不靠HBM,LPDDR6撑起1TB整机内存
Titania最引人注意的地方之一,是用LPDDR6取代传统AI加速器高度依赖的HBM。
HBM带宽确实高,可成本、供应和先进封装要求同样给AI服务器建设添了压力。Axelera AI的做法是:靠存算一体架构压低数据移动需求,再让LPDDR6提供更大的内存容量。
按公司公布的信息,每个Titania SiP可提供128GB LPDDR6内存。把多个封装组合起来,整机就能拿到更大的内存容量,用来存大型模型参数、应付推理过程中的缓存需求。
这套方案尤其瞄准混合专家模型(MoE)。这类模型总参数规模庞大,但每次推理只激活其中一部分专家,所以内存容量、数据调度和缓存管理都会直接影响实际推理效率。
整机层面,Axelera AI拿出了AX8参考服务器方案,用8个Titania SiP加速封装,主要配置是:
FP8算力:20 PFLOPS;加速器内存容量:1TB;内存带宽:19.6TB/s
机箱规格:4U;典型功耗:5~6kW;散热方式:风冷
按公司的设计目标,单台AX8装得下一个1.6万亿参数的FP4模型,还能给KV Cache留出空间。
机柜部署上,两台AX8服务器能放进传统15kW机柜,五台则可部署在30kW风冷机柜中。公司想借此让企业少依赖液冷设施来部署大型AI推理系统,把数据中心改造成本降下来。
多种部署形态并行,软件生态继续补齐
除AX8服务器外,Titania还提供标准PCIe加速卡和OCP规范的UBB基板等形态。UBB基板可集成8个Titania OAM模块,靠扩展网络让多个加速器协同计算,适配不同规模的数据中心部署需求。
Titania在软件上沿用Axelera AI的Voyager工具链,模型部署可走张量并行、专家并行、流水线并行等路径。推测解码、KV Cache卸载与KV Cache分离也在支持之列。这些能力主要用来优化大模型推理时的计算调度和内存资源利用。
视频处理也被一并纳入:芯片支持片上8K视频解码、4K视频编码,兼容H.265和AV1格式。大语言模型、视觉语言模型、语音模型以及实时视频分析任务,因此可以跑在同一套硬件平台上。
Axelera AI还打算让不同代际产品在软件上保持兼容。按公司的规划,原本部署在Europa平台上的模型和应用能够迁移到Titania,客户重新开发、移植的工作量随之减少。
商业化层面,Axelera AI称Titania已拿到超过3亿美元的客户承诺订单。产品经由OEM合作伙伴提供,覆盖风冷和液冷两种服务器配置。量产时间定在2027年第三季度,客户的部署承诺已延伸至2028年初。
研发资金方面,Titania得到欧洲高性能计算联合事业(EuroHPC JU)DARE项目的支持。2025年3月,Axelera AI宣布获得最高6160万欧元的项目资金,用于开发面向高性能计算和数据中心的可扩展AI Chiplet。该项目重点推动的是欧洲自主处理器、加速器及RISC-V相关技术。
市场定位上,Titania瞄准大型AI推理基础设施,企业私有化部署、主权云和模块化数据中心是其主要去处。
这款产品的推出,意味着Axelera AI进一步向大型AI推理市场挺进。数据中心也因此多了一种硬件选择,与传统的GPU加HBM组合不同。
回到硬件形态,Titania可做成准PCIe加速卡和符合OCP规范的UBB基板等。UBB基板能集成8个Titania OAM模块,通过扩展网络让多个加速器协同计算,适配不同规模的数据中心部署需求。
*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。