内存中心架构
把计算单元直接放进内存内部,而不是仅把计算移近内存,从而压缩数据搬运距离,降低推理延迟并提升能效。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
d-Matrix 是一家为数据中心打造 AI 推理平台的公司,核心路线是「内存中心计算」:把计算单元直接放进内存内部,缩短数据搬运距离,以降低推理延迟并提升能效。主力产品 Corsair 把高带宽内存与推理优化计算引擎放在同一 fabric 上,采用行业标准 PCIe 板卡形态,既可独立部署,也可与 GPU 搭配承担固定内存类负载。配套 Aviator SDK 提供从类 PyTorch 高层接口到自定义 kernel 的执行路径,支持推理优化。公司同时公布了面向机架级的 Raptor XPU 与 NVLink Fusion 合作方向,以及 3DIMC 三维内存计算基板路线图。
d-Matrix 是一家面向数据中心的 AI 推理平台厂商,主打「内存中心」的芯片架构。传统架构把计算单元放在离内存较远的位置,也有厂商把计算移得更近,d-Matrix 的做法是直接把计算搬进内存本身,用更短的数据搬运距离换取更低延迟与更高能效。公司称其押注 LLM 与 agent 带来的推理需求,早于 ChatGPT 出现之前就按这个方向设计架构。
当前对外的主力产品是 Corsair:一块 PCIe 形态的板卡,把高带宽内存与推理优化计算引擎放在同一 fabric 上,并配高速 chip-to-chip 互联,可单卡部署固定内存类负载,也可与 GPU 混用,把适合的负载放到各自更合适的架构上。软件侧由 Aviator SDK 承接,提供从类 PyTorch 高层接口一路到自定义 kernel 的执行能力。
不同角色的入口不一样:终端用户通过 Demo Cloud 在几分钟内试跑超低延迟推理;开发者用 Aviator SDK 做推理优化与 kernel 级调优;数据中心与机架级客户则关注 Corsair 的 scale-up/scale-out 能力、面向机架级的 Raptor XPU 与 NVLink Fusion 方向,以及从平面到三维的内存计算基板路线。
把计算单元直接放进内存内部,而不是仅把计算移近内存,从而压缩数据搬运距离,降低推理延迟并提升能效。
高带宽内存与推理优化计算引擎集成在同一 fabric 上,配高速 chip-to-chip 互联,采用行业标准 PCIe 形态,单卡即可承担固定内存类推理负载。
Corsair 既能作为完整的独立推理方案,也能与 GPU 搭配使用,把固定内存类任务卸载到内存优先架构上,让每类负载跑在更合适的硬件上。
提供从类 PyTorch 高层接口到自定义 kernel 执行的完整路径,用于推理优化,目标是实现超低延迟、可扩展的推理。
架构从单硅片延伸到机架级平台,结合内存中心计算与新一代 I/O,支持 scale-up 与 scale-out,面向复杂度不断上升的现代推理负载。
3DIMC 把内存计算架构向三维延伸,路线从平面内存计算基板走向机架级的三维内存计算基板,并涉及 3D DRAM 方向。
提供 Demo Cloud,让用户以分钟级速度上手测试超低延迟推理,不需要先搭建自有硬件环境。
当你的瓶颈是固定内存类推理负载的延迟与能效时,d-Matrix 的 Corsair 值得放进候选:它把计算直接做进内存,并用 PCIe 形态交付,既可以单卡独立部署,也可以和现有 GPU 混布做任务卸载。有自定义 kernel 级调优需求的团队,Aviator SDK 的从类 PyTorch 到自定义 kernel 的跨度也能接得住。但如果你的负载以训练为主、或需要短期内拿到成熟的多厂商生态与公开报价,现阶段信息不足:价格未公布,机架级的 Raptor XPU 与 NVLink Fusion 方向也还在推进中,落地节奏需要向官方确认。
手里有固定内存类推理负载、延迟与电费都是硬约束,Corsair 的内存中心架构正好对着这两个指标,可先小规模验证再扩。
GPU 利用率上不去、部分任务其实不吃算力,可以用 Corsair 做卸载与混布,把每类负载放到更合适的架构上。
需要从类 PyTorch 接口一路做到自定义 kernel 的调优空间,Aviator SDK 提供了这条路径,适合愿意投入工程人力的团队。
产品定位集中在推理,训练不是它的目标场景,如果当前主要工作是训练,引入这套架构的收益有限。
价格与档位未公布,机架级产品也在路线图阶段,无法直接走比价流程,需要先与厂商接触确认商务路径。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 最新合作 | d-Matrix 与 NVIDIA 在 NVLink Fusion 上合作,将下一代 d-Matrix XPU 接入 NVIDIA AI 平台 | d-Matrix 官网首页 |
| 涉及产品 | NVIDIA Vera、ConnectX-9、BlueField-4 DPU、Spectrum-X Ethernet | d-Matrix 官网首页 |
| 主力产品 | Corsair,采用行业标准 PCIe 形态,可 scale-up 与 scale-out 到机架级系统 | d-Matrix 官网首页 |
| 软件配套 | Aviator SDK,从类 PyTorch 高层接口到自定义 kernel 执行 | d-Matrix 官网首页 |
| 架构路线 | 3DIMC 从平面内存计算基板延伸到机架级三维内存计算基板,涉及 3D DRAM | d-Matrix 官网首页 |
它做数据中心里的 AI 推理平台,核心是把计算单元直接放进内存,而不是像传统架构那样让计算和内存隔一段距离。主力产品 Corsair 是一块 PCIe 板卡,把高带宽内存和推理优化计算引擎放在同一 fabric 上;软件侧由 Aviator SDK 承接推理优化,从类 PyTorch 高层接口一直到自定义 kernel 都能用。
两种都行。它可以作为一套完整的推理方案,承担固定内存类负载;也可以和 GPU 搭配,把固定内存任务和前沿推理技术卸载到内存优先的架构上,让每类负载跑在更适合的硬件上。选择哪种取决于你的负载里固定内存类任务占多大比例。
它面向推理优化,提供较大的灵活度:上层是类 PyTorch 的高层接口,往下可以一直做到自定义 kernel 执行。也就是说,先用高层接口把推理跑通,再按需下沉做 kernel 级调优,两条路径在同一个 SDK 里。它和 Corsair 是协同设计的。
d-Matrix 提供 Demo Cloud,主打超低延迟推理,号称可以在几分钟内上手测试,不需要先准备自有硬件。适合在采购评估前先确认延迟量级是否符合预期。
有明确方向。公司公布的是面向机架级的 Raptor XPU 与 NVLink Fusion 合作,NVLink Fusion 用于把下一代 d-Matrix XPU 接入 NVIDIA AI 平台,涉及 NVIDIA Vera、ConnectX-9、BlueField-4 DPU 与 Spectrum-X Ethernet。同时 3DIMC 路线从平面内存计算基板延伸到机架级三维内存计算基板,涉及 3D DRAM。
3DIMC 是 d-Matrix 把内存计算架构往三维延伸的技术路线。按公司说法,路线从全球首个平面内存计算基板,走向机架级的全球首个三维内存计算基板,并与 3D DRAM 方向相关。它是架构从硅片扩展到机架级平台的一部分。
NVLink Fusion 用于把下一代 d-Matrix XPU 接入 NVIDIA AI 平台,涉及 NVIDIA Vera、ConnectX-9、BlueField-4 DPU 与 Spectrum-X Ethernet。
面向机架级的超低延迟推理,配合 NVLink Fusion 推进。
主打超低延迟推理,可在几分钟内上手测试。
围绕 Corsair 平台推进全模型 AI 推理能力。
讨论如何通过拆分式 pipeline 最大化 GPU 利用率。