d-Matrix

d-Matrix

AI TOOL PROFILE工具资料

把计算搬进内存的 AI 推理芯片与平台

官网地址 https://www.d-matrix.ai/

访问官网
价格官网未标价
平台Web
归类大模型与开发平台
收录2025-05-20
复核2025-05-20
编辑评分 4.3 / 5

d-Matrix编辑总结

EDITOR REVIEW编辑评测

d-Matrix 是一家为数据中心打造 AI 推理平台的公司,核心路线是「内存中心计算」:把计算单元直接放进内存内部,缩短数据搬运距离,以降低推理延迟并提升能效。主力产品 Corsair 把高带宽内存与推理优化计算引擎放在同一 fabric 上,采用行业标准 PCIe 板卡形态,既可独立部署,也可与 GPU 搭配承担固定内存类负载。配套 Aviator SDK 提供从类 PyTorch 高层接口到自定义 kernel 的执行路径,支持推理优化。公司同时公布了面向机架级的 Raptor XPU 与 NVLink Fusion 合作方向,以及 3DIMC 三维内存计算基板路线图。

d-Matrix是什么?

d-Matrix 是一家面向数据中心的 AI 推理平台厂商,主打「内存中心」的芯片架构。传统架构把计算单元放在离内存较远的位置,也有厂商把计算移得更近,d-Matrix 的做法是直接把计算搬进内存本身,用更短的数据搬运距离换取更低延迟与更高能效。公司称其押注 LLM 与 agent 带来的推理需求,早于 ChatGPT 出现之前就按这个方向设计架构。

当前对外的主力产品是 Corsair:一块 PCIe 形态的板卡,把高带宽内存与推理优化计算引擎放在同一 fabric 上,并配高速 chip-to-chip 互联,可单卡部署固定内存类负载,也可与 GPU 混用,把适合的负载放到各自更合适的架构上。软件侧由 Aviator SDK 承接,提供从类 PyTorch 高层接口一路到自定义 kernel 的执行能力。

不同角色的入口不一样:终端用户通过 Demo Cloud 在几分钟内试跑超低延迟推理;开发者用 Aviator SDK 做推理优化与 kernel 级调优;数据中心与机架级客户则关注 Corsair 的 scale-up/scale-out 能力、面向机架级的 Raptor XPU 与 NVLink Fusion 方向,以及从平面到三维的内存计算基板路线。

d-Matrix核心功能

CAPABILITIES工具标签

内存中心架构

把计算单元直接放进内存内部,而不是仅把计算移近内存,从而压缩数据搬运距离,降低推理延迟并提升能效。

Corsair 推理板卡

高带宽内存与推理优化计算引擎集成在同一 fabric 上,配高速 chip-to-chip 互联,采用行业标准 PCIe 形态,单卡即可承担固定内存类推理负载。

与 GPU 混布

Corsair 既能作为完整的独立推理方案,也能与 GPU 搭配使用,把固定内存类任务卸载到内存优先架构上,让每类负载跑在更合适的硬件上。

Aviator SDK

提供从类 PyTorch 高层接口到自定义 kernel 执行的完整路径,用于推理优化,目标是实现超低延迟、可扩展的推理。

机架级扩展

架构从单硅片延伸到机架级平台,结合内存中心计算与新一代 I/O,支持 scale-up 与 scale-out,面向复杂度不断上升的现代推理负载。

3DIMC 路线图

3DIMC 把内存计算架构向三维延伸,路线从平面内存计算基板走向机架级的三维内存计算基板,并涉及 3D DRAM 方向。

Demo Cloud 试用

提供 Demo Cloud,让用户以分钟级速度上手测试超低延迟推理,不需要先搭建自有硬件环境。

d-Matrix值不值得用?

VERDICT工具标签

当你的瓶颈是固定内存类推理负载的延迟与能效时,d-Matrix 的 Corsair 值得放进候选:它把计算直接做进内存,并用 PCIe 形态交付,既可以单卡独立部署,也可以和现有 GPU 混布做任务卸载。有自定义 kernel 级调优需求的团队,Aviator SDK 的从类 PyTorch 到自定义 kernel 的跨度也能接得住。但如果你的负载以训练为主、或需要短期内拿到成熟的多厂商生态与公开报价,现阶段信息不足:价格未公布,机架级的 Raptor XPU 与 NVLink Fusion 方向也还在推进中,落地节奏需要向官方确认。

建议选它的情况

  • 数据中心内固定内存类推理负载,需要压低延迟与能耗
  • 已有 GPU 集群,想把部分任务卸载到内存优先架构上
  • 需要从类 PyTorch 高层接口一路做到自定义 kernel 的推理优化团队
  • 想先低成本验证超低延迟推理效果,可用 Demo Cloud 试跑

不建议选它的情况

  • 以模型训练为主、而非推理为主的场景
  • 需要立即拿到公开报价与标准采购目录的采购流程
  • 希望完全依赖 GPU 单一架构、不愿引入异构硬件的团队

d-Matrix使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先从 Demo Cloud 入手不用先买卡,用 Demo Cloud 在几分钟内跑一次超低延迟推理,确认延迟量级是否符合你的负载预期,再考虑硬件评估。
  2. 先分清负载类型把要做的事分成固定内存类与其他两类,固定内存类更适合 Corsair 独立承担,其余的再交给 GPU,混布才有意义。
  3. 从高层接口起步Aviator SDK 先用类 PyTorch 高层接口把推理跑通,确认精度与吞吐达标后,再决定是否下沉到自定义 kernel。
进阶省时间也省钱
  1. 用卸载换 GPU 利用率把固定内存类任务卸载到 Corsair,GPU 腾出的显存和算力可以留给更吃算力的部分,整体 pipeline 的分段收益比单卡跑满更明显。
  2. 关注 NVLink Fusion 方向下一代 d-Matrix XPU 计划通过 NVLink Fusion 接入 NVIDIA AI 平台,涉及 Vera、ConnectX-9、BlueField-4 DPU 与 Spectrum-X Ethernet,规划机架方案时值得同步跟进。
  3. 按机架而非单卡规划架构本身支持 scale-up 与 scale-out 到机架级,评估时直接按机架级平台和 3DIMC 路线做容量规划,避免单卡视角低估扩展成本。

d-Matrix适合谁用?

WHO IS IT FOR工具标签

数据中心推理运营方

推荐

手里有固定内存类推理负载、延迟与电费都是硬约束,Corsair 的内存中心架构正好对着这两个指标,可先小规模验证再扩。

已有 GPU 集群的团队

推荐

GPU 利用率上不去、部分任务其实不吃算力,可以用 Corsair 做卸载与混布,把每类负载放到更合适的架构上。

推理优化工程师

推荐

需要从类 PyTorch 接口一路做到自定义 kernel 的调优空间,Aviator SDK 提供了这条路径,适合愿意投入工程人力的团队。

训练为主的团队

不推荐

产品定位集中在推理,训练不是它的目标场景,如果当前主要工作是训练,引入这套架构的收益有限。

走标准采购目录的买家

有条件

价格与档位未公布,机架级产品也在路线图阶段,无法直接走比价流程,需要先与厂商接触确认商务路径。

d-Matrix优点和缺点

PROS & CONS工具标签

优点

  • 把计算做进内存内部,从架构层压缩数据搬运距离
  • Corsair 采用 PCIe 标准形态,可单卡独立部署
  • 可与 GPU 混布,把固定内存类任务卸载出去
  • Aviator SDK 覆盖类 PyTorch 到自定义 kernel 的跨度
  • 架构明确支持从硅片到机架级的 scale-up 与 scale-out
  • 公布 3DIMC 与 3D DRAM 的后续路线,扩展方向清晰

缺点

  • 价格与档位未公布,无法直接估算部署成本
  • 机架级 Raptor XPU 与 NVLink Fusion 仍属推进方向
  • 产品线聚焦推理,不覆盖模型训练场景
  • 自定义 kernel 级优化需要相应工程投入
  • 公开材料以架构与产品介绍为主,缺少第三方实测数据

d-Matrix关键指标

MEASURED FACTS工具标签
指标数值数据来源
最新合作 d-Matrix 与 NVIDIA 在 NVLink Fusion 上合作,将下一代 d-Matrix XPU 接入 NVIDIA AI 平台 d-Matrix 官网首页
涉及产品 NVIDIA Vera、ConnectX-9、BlueField-4 DPU、Spectrum-X Ethernet d-Matrix 官网首页
主力产品 Corsair,采用行业标准 PCIe 形态,可 scale-up 与 scale-out 到机架级系统 d-Matrix 官网首页
软件配套 Aviator SDK,从类 PyTorch 高层接口到自定义 kernel 执行 d-Matrix 官网首页
架构路线 3DIMC 从平面内存计算基板延伸到机架级三维内存计算基板,涉及 3D DRAM d-Matrix 官网首页

d-Matrix常见问题

FAQ工具标签
d-Matrix 是做什么的?

它做数据中心里的 AI 推理平台,核心是把计算单元直接放进内存,而不是像传统架构那样让计算和内存隔一段距离。主力产品 Corsair 是一块 PCIe 板卡,把高带宽内存和推理优化计算引擎放在同一 fabric 上;软件侧由 Aviator SDK 承接推理优化,从类 PyTorch 高层接口一直到自定义 kernel 都能用。

Corsair 只能单独用,还是能配 GPU?

两种都行。它可以作为一套完整的推理方案,承担固定内存类负载;也可以和 GPU 搭配,把固定内存任务和前沿推理技术卸载到内存优先的架构上,让每类负载跑在更适合的硬件上。选择哪种取决于你的负载里固定内存类任务占多大比例。

Aviator SDK 能做什么?

它面向推理优化,提供较大的灵活度:上层是类 PyTorch 的高层接口,往下可以一直做到自定义 kernel 执行。也就是说,先用高层接口把推理跑通,再按需下沉做 kernel 级调优,两条路径在同一个 SDK 里。它和 Corsair 是协同设计的。

怎么先试一下效果?

d-Matrix 提供 Demo Cloud,主打超低延迟推理,号称可以在几分钟内上手测试,不需要先准备自有硬件。适合在采购评估前先确认延迟量级是否符合预期。

有没有面向机架级的产品?

有明确方向。公司公布的是面向机架级的 Raptor XPU 与 NVLink Fusion 合作,NVLink Fusion 用于把下一代 d-Matrix XPU 接入 NVIDIA AI 平台,涉及 NVIDIA Vera、ConnectX-9、BlueField-4 DPU 与 Spectrum-X Ethernet。同时 3DIMC 路线从平面内存计算基板延伸到机架级三维内存计算基板,涉及 3D DRAM。

3DIMC 是什么?

3DIMC 是 d-Matrix 把内存计算架构往三维延伸的技术路线。按公司说法,路线从全球首个平面内存计算基板,走向机架级的全球首个三维内存计算基板,并与 3D DRAM 方向相关。它是架构从硅片扩展到机架级平台的一部分。

d-Matrix最新动态

CHANGELOG工具标签
  1. 与 NVIDIA 在 NVLink Fusion 上合作

    NVLink Fusion 用于把下一代 d-Matrix XPU 接入 NVIDIA AI 平台,涉及 NVIDIA Vera、ConnectX-9、BlueField-4 DPU 与 Spectrum-X Ethernet。

  2. 发布 Raptor XPU 机架级推理方向

    面向机架级的超低延迟推理,配合 NVLink Fusion 推进。

  3. 推出 d-Matrix Demo Cloud

    主打超低延迟推理,可在几分钟内上手测试。

  4. 在 Corsair 上用 Infinity 推进全模型推理

    围绕 Corsair 平台推进全模型 AI 推理能力。

  5. 发布 disaggregated pipeline 的性能与 TCO 分析

    讨论如何通过拆分式 pipeline 最大化 GPU 利用率。