高通AI200推理加速器开放客户评估:单卡768GB内存,单机架56卡
Dragonfly AI200 单卡配备 768GB LPDDR5X,56 卡机架总内存达 43TB,提供 0.414 PB/s 内存带宽。
Qualcomm(高通)当地时间本月 17 日宣布,已与 AI 私有云企业 Cirrascale 合作,向部分客户开放 Dragonfly(飞龙)AI200 推理加速器的评估。这些客户可以在云环境里试用,看自家 AI 工作负载跑在这颗芯片上表现如何。IT之家 11 月 20 日消息。

作为高通首款机架级人工智能解决方案,Dragonfly AI200 单卡配有 768GB LPDDR5X 内存,纵向扩展走 PCIe Gen6,横向扩展靠 RoCE。
单个 140kW 液冷 ORv3 机架装了 56 卡,总内存 43TB,内存带宽 0.414 PB/s,能在一个机架里跑 10T 级超大模型推理,总持有成本也更低。