迈特芯MEGA188芯片点亮:3D堆叠DRAM,端侧推理瞄准600GB/s带宽
芯东西(公众号:aichip001)作者 | 陈骏达编辑 | 漠影智能体、AI PC、AI Box和机器人等应用,正在推动大模型推理从云端走向终端。但与云端服务器不同,终端设备的功耗、散热和空间都十分有限,如何在有限的资源下跑动参数规模越来越大的模型,成为端侧AI芯片需要解决的问题。大模型推理需要频繁读取模型权重和KV
芯东西(公众号:aichip001) 作者 | 陈骏达 编辑 | 漠影
智能体、AI PC、端侧AI芯片,这三类产品各自要解的题并不相同。
大模型做推理时,模型权重需要被反复读取。
11月18日,深圳端侧AI芯片创企迈特芯在北京亦庄办了一场MEGA188芯片点亮发布会,主角是面向端侧大模型推理的这颗芯片。
按照发布会上披露的进度,MEGA188在10月已完成回片点亮,之后跑完了多类模型测试。眼下样品交付和工程验证都在推进中,量产时间点定在2027年第一季度。
发布会结束后,迈特芯创始人余浩教授和我们聊了聊:这颗芯片为什么走3D堆叠这条路、数据与计算怎么组织,以及一颗独立协处理器要怎样挤进终端市场。
▲迈特芯创始人余浩教授
一、大模型下沉,端侧芯片先要跨过“内存墙”
这几年AI芯片性能往上走,靠的主要是先进制程、更大的计算阵列和带宽更高的存储系统。云端如此。
另一边,传统2D芯片的逻辑芯片与内存之间靠封装接口相连,数据得穿过接口和互连线路才能走一趟。带宽要继续往上提,通常就得多加接口数量和外设电路,传输功耗与成本也随之抬高。怎样才能不完全依赖先进制程和高成本方案,成了摆在各家面前的问题。
对迈特芯来说,这首先是个产品定位问题:端侧芯片到底需要多强的性能,又该为此付出多少功耗和成本?
余浩给出的答案是三个条件要同时成立:其一,Token生成速度得撑得住实际交互;其二,功耗要能适应笔记本等设备的约束;其三,成本要落在终端厂商可以接受的范围。
麻烦在于这三个目标互相牵制。性能往上提,一般要更高的带宽和更多计算资源,功耗和成本也可能跟着涨。迈特芯没有去单独拉高某一项指标,而是从架构与存储方案入手,调整三者之间的关系。
这条路线早先在FPGA验证里已经露过头。余浩回忆,团队2023年起围绕端侧大模型推理组织研发,2024年在算力约1TOPS的FPGA平台上跑60亿参数模型,输出速度达到70—80 Token/s,架构利用率做到约80%。
这轮验证让团队确信端侧TPU架构能跑大模型,同时也说明,性能想再往上走,高带宽这个条件绕不开。
二、把DRAM堆到逻辑芯片上,MEGA188如何跑出600GB/s带宽
MEGA188的芯片级技术方案分两步看:第一步,用3D堆叠把存储与计算单元之间的物理距离压短,铺出一条高带宽、低功耗的数据通路;第二步,借3D IO和分布式TPU架构,让各个处理单元并行访问存储,把存储带宽的利用率提上去。
传统2D方案里,计算芯片和内存一般通过板级接口对接。MEGA188走的是另一条路,通过3D堆叠把DRAM直接堆到逻辑芯片上。
数据搬运的物理距离因此缩短。3D堆叠能在给定的功耗预算下给出更高的存储带宽,计算单元也就能源源不断地拿到模型推理需要的数据。
余浩也提到,3D芯片的工程难点并不只在堆叠这一道工序上。
带宽有了,还得让计算阵列把这些带宽吃干榨净。MEGA188用的是迈特芯自研的3D分布式TPU架构,处理单元经3D IO与内存直接互联,构成网格化的分布式访存结构:数据切分后分送各处理单元,各自算完再汇总结果。
计算过程中,数据在存储与处理单元之间来回流动,访存效率直接决定算力能否兑现。
迈特芯称,其分布式张量脉动架构的带宽利用率约为80%。照这个比例算,600GB/s峰值带宽对应约480GB/s有效带宽。解码阶段主要受限于权重读取,有效带宽提上去,Token生成速度就能直接受益。
发布会披露的测试结果显示,MEGA188目前已能运行语言模型、视觉语言模型和
视觉语言模型这方面,分布式张量脉动架构支持两种计算模式切换:FP16×INT4和FP16×FP16,前者对应FFN层,后者对应另一种场景。
回片至今,MEGA188依次走完了全芯片启动、标准高速接口建链与设备枚举、核心算子功能及精度测试,还有后续的完整模型验证。
具体时间线上,芯片10月14日回片,当天约半小时内完成SoC点亮;10月19日打通PCIe链路;当月底做完堆叠存储读写验证。
这些基础打牢后,团队转向完整模型测试。高性能模式下,MEGA188跑面壁智能的模型;低功耗模式下,两者分别约为92 Token/s和26 Token/s。官网同时披露了MEGA188运行视觉语言模型的情况。
从芯片启动、存储读写到核心算子、完整模型运行,这一轮测试全部覆盖。MEGA188的验证重心,也从单项硬件功能转向端到端推理。
三、探索AI Box等场景,独立协处理器商业化路径怎么走?
点亮芯片、跑通模型,只是MEGA188迈向落地的前半步。后面迈特芯要做的事,是把带宽、功耗、推理速度这些技术指标,变成能部署、能量产、客户肯掏钱的终端方案。商业化落点上,AI Box是方向之一。
这类设备本身已有x86或ARM主控、操作系统和应用生态。MEGA188通过M.2、PCIe等接口接进去,跟主控一起承担大模型推理。
面对存量设备,迈特芯的思路是用标准接口加速卡做升级,省掉重新设计主板的功夫;下一代PC和笔记本则不一样,可以在板级直接集成一颗或多颗MEGA188。
余浩把客户掏钱的理由说得比较直白:多花约1000—2000元成本,让终端能跑本地智能体。比起重新配一整套高性能计算平台,主控加协处理器的组合在整机成本上更好控制。
和SSD搭配的方案,则给模型适配留出更大空间。主机SSD存放完整的MoE专家权重,3D DRAM保存每层激活的专家;推理时若所需专家不在3D DRAM里,系统就从SSD读取并载入3D DRAM,再完成计算。3D DRAM在这里当高带宽缓存用,SSD补的是模型容量,不必把全部参数塞进昂贵的片上存储。
MEGA188+SSD的单卡方案,目前已经跑通30B级模型。
具身智能、智慧教育、工业边缘计算和车载电子等领域,也已实现首批客户导入。这些场景对实时性、本地数据处理和功耗的要求各不相同,还得针对具体设备做联合验证。
余浩表示,MEGA188要走向量产,PCIe与主控适配、主控调度和工具链协同都得推进。软件侧,推理引擎需要适配LLM、VLM、MoE等模型。
按迈特芯的规划,后续工程工作分两块:一是存储与接口的全覆盖测试、稳定性和可靠性评估,把已测功能固化成可交付规格;二是生态建设,包括完善编译工具链与运行时支持、扩展多平台兼容和端到端模型验证。
更远的计划里,迈特芯还要向更先进工艺演进,并针对手机、车载和具身智能等场景,优化未来芯片的功耗、带宽与算力。
结语:让更多终端跑得起大模型,迈特芯开始接受市场检验
大模型往每一个终端走的时候,比拼的关键可能不再是TOPS谁最高,而是谁能用最低的系统代价,持续产出更多可用的Token。迈特芯选的3D分布式TPU路线,围绕的正是带宽利用率、功耗和系统成本。
MEGA188已经过了芯片点亮和模型验证这两关,量产和生态适配还在前头。这些工程环节若能顺利推进,迈特芯就有机会把架构上的差异变成产品和成本上的优势,在端侧大模型芯片市场争取更有利的位置,也让本地智能体进入更多终端。