Marvell联合Penguin推光子内存扩展,明年下半年上市
Celestial AI 实现远距离高带宽存储器 (HBM) 的梦想即将成为现实,这是 Marvell Technology 与系统集成商 Penguin Solutions 合作构建光子存储结构的....
对不太熟悉这套方案的人来说,CPO 模块一般是直接做进计算或交换 ASIC 里的,NPO 模块则算一种折中做法。它们用电气方式连到主机,主机可以是 CPU、GPU 或其他 ASIC,再通过光学方式接入网络其余部分。NPO 有望在
按照他们的说法,借助 Penguin 开发的软件层,每套系统都能访问整个共享内存空间,就像接入网络附加存储的系统能访问设备全部容量一样。
就我们掌握的情况看,这类功能眼下不少都依赖兼容
这项技术的意义很直白:内存一旦能在多台服务器之间共享和池化,每台服务器自己的DRAM就不必配那么多,成本上或许能省下一块。
Virk 称,该软件除了打通通信,还提供多种内存分层模式,客户可借这些模式把资源开放给接入的系统。这些模式大多沿用典型的
这种模式说到底就是把HBM当成读/写缓存用:高频访问的文件先写进HBM、也从HBM读取,等过期后才被推到标准的
Marvell 和 Penguin 把这款新内存设备定位为
正因如此,不活跃的键值缓存往往会被卸载到DRAM或闪存里,毕竟存下来、复制一份,比会话恢复时重新计算要快得多。Marvell 认为,把键值缓存直接从HBM卸载到这类内存设备,客户能拿到更高的性能和内存利用率。
除了 AI 相关负载,这项技术还可能压低单个系统所需的 DRAM 数量;今年早些时候我们更深入地聊过这个概念,Meta 已经在自己数据中心里用上了。
Marvell 预计,Penguin 第一代光子结构内存扩展系统会在明年下半年上市。