高通AI200推理加速器开放客户评估:单卡768GB,携手Cirrascale上云
IT之家 11 月 20 日消息,Qualcomm(高通)当地时间本月 17 日宣布,其携手 AI 私有云企业 Cirrascale,向部分客户开放 Dragonfly(飞龙)AI200 推理加速器的评估。客户可通过云环境探索其 AI 工作负载在该芯片上的表现。 Dragonfly AI200 是高通的第一款机架级人工
高通当地时间本月 17 日对外公布,已联合 AI 私有云厂商 Cirrascale,把 Dragonfly(飞龙)AI200 推理加速器开放给一部分客户做评估。客户能借助云环境,查看自己的 AI 工作负载跑在这颗芯片上是什么表现。IT之家 11 月 20 日消息。

Dragonfly AI200 是高通首款机架级人工智能解决方案。这颗卡配有 768GB LPDDR5X 内存,纵向扩展走 PCIe Gen6,横向扩展靠 RoCE。
一个 140kW 液冷 ORv3 机架里装了 56 张卡,内存合计 43TB,内存带宽 0.414 PB/s。这样的单机架能跑 10T 级超大模型推理,总持有成本也更低。