迈特芯MEGA188芯片点亮:3D堆叠DRAM,端侧推理瞄准600GB/s带宽

资讯 腾讯网 作者:芯东西 全文 2813 字 · 约 8 分钟读完 分类大模型存储

芯东西(公众号:aichip001)作者 | 陈骏达编辑 | 漠影智能体、AI PC、AI Box和机器人等应用,正在推动大模型推理从云端走向终端。但与云端服务器不同,终端设备的功耗、散热和空间都十分有限,如何在有限的资源下跑动参数规模越来越大的模型,成为端侧AI芯片需要解决的问题。大模型推理需要频繁读取模型权重和KV

所属频道 模型发布算力与芯片

芯东西(公众号:aichip001) 作者 | 陈骏达 编辑 | 漠影

智能体、AI PC、端侧AI芯片,这三类产品各自要解的题并不相同。

大模型做推理时,模型权重需要被反复读取。

11月18日,深圳端侧AI芯片创企迈特芯在北京亦庄办了一场MEGA188芯片点亮发布会,主角是面向端侧大模型推理的这颗芯片。

按照发布会上披露的进度,MEGA188在10月已完成回片点亮,之后跑完了多类模型测试。眼下样品交付和工程验证都在推进中,量产时间点定在2027年第一季度。

发布会结束后,迈特芯创始人余浩教授和我们聊了聊:这颗芯片为什么走3D堆叠这条路、数据与计算怎么组织,以及一颗独立协处理器要怎样挤进终端市场。

▲迈特芯创始人余浩教授

一、大模型下沉,端侧芯片先要跨过“内存墙”

这几年AI芯片性能往上走,靠的主要是先进制程、更大的计算阵列和带宽更高的存储系统。云端如此。

另一边,传统2D芯片的逻辑芯片与内存之间靠封装接口相连,数据得穿过接口和互连线路才能走一趟。带宽要继续往上提,通常就得多加接口数量和外设电路,传输功耗与成本也随之抬高。怎样才能不完全依赖先进制程和高成本方案,成了摆在各家面前的问题。

对迈特芯来说,这首先是个产品定位问题:端侧芯片到底需要多强的性能,又该为此付出多少功耗和成本?

余浩给出的答案是三个条件要同时成立:其一,Token生成速度得撑得住实际交互;其二,功耗要能适应笔记本等设备的约束;其三,成本要落在终端厂商可以接受的范围。

麻烦在于这三个目标互相牵制。性能往上提,一般要更高的带宽和更多计算资源,功耗和成本也可能跟着涨。迈特芯没有去单独拉高某一项指标,而是从架构与存储方案入手,调整三者之间的关系。

这条路线早先在FPGA验证里已经露过头。余浩回忆,团队2023年起围绕端侧大模型推理组织研发,2024年在算力约1TOPS的FPGA平台上跑60亿参数模型,输出速度达到70—80 Token/s,架构利用率做到约80%。

这轮验证让团队确信端侧TPU架构能跑大模型,同时也说明,性能想再往上走,高带宽这个条件绕不开。

二、把DRAM堆到逻辑芯片上,MEGA188如何跑出600GB/s带宽

MEGA188的芯片级技术方案分两步看:第一步,用3D堆叠把存储与计算单元之间的物理距离压短,铺出一条高带宽、低功耗的数据通路;第二步,借3D IO和分布式TPU架构,让各个处理单元并行访问存储,把存储带宽的利用率提上去。

传统2D方案里,计算芯片和内存一般通过板级接口对接。MEGA188走的是另一条路,通过3D堆叠把DRAM直接堆到逻辑芯片上。

数据搬运的物理距离因此缩短。3D堆叠能在给定的功耗预算下给出更高的存储带宽,计算单元也就能源源不断地拿到模型推理需要的数据。

余浩也提到,3D芯片的工程难点并不只在堆叠这一道工序上。

带宽有了,还得让计算阵列把这些带宽吃干榨净。MEGA188用的是迈特芯自研的3D分布式TPU架构,处理单元经3D IO与内存直接互联,构成网格化的分布式访存结构:数据切分后分送各处理单元,各自算完再汇总结果。

计算过程中,数据在存储与处理单元之间来回流动,访存效率直接决定算力能否兑现。

迈特芯称,其分布式张量脉动架构的带宽利用率约为80%。照这个比例算,600GB/s峰值带宽对应约480GB/s有效带宽。解码阶段主要受限于权重读取,有效带宽提上去,Token生成速度就能直接受益。

发布会披露的测试结果显示,MEGA188目前已能运行语言模型、视觉语言模型和

视觉语言模型这方面,分布式张量脉动架构支持两种计算模式切换:FP16×INT4和FP16×FP16,前者对应FFN层,后者对应另一种场景。

回片至今,MEGA188依次走完了全芯片启动、标准高速接口建链与设备枚举、核心算子功能及精度测试,还有后续的完整模型验证。

具体时间线上,芯片10月14日回片,当天约半小时内完成SoC点亮;10月19日打通PCIe链路;当月底做完堆叠存储读写验证。

这些基础打牢后,团队转向完整模型测试。高性能模式下,MEGA188跑面壁智能的模型;低功耗模式下,两者分别约为92 Token/s和26 Token/s。官网同时披露了MEGA188运行视觉语言模型的情况。

从芯片启动、存储读写到核心算子、完整模型运行,这一轮测试全部覆盖。MEGA188的验证重心,也从单项硬件功能转向端到端推理。

三、探索AI Box等场景,独立协处理器商业化路径怎么走?

点亮芯片、跑通模型,只是MEGA188迈向落地的前半步。后面迈特芯要做的事,是把带宽、功耗、推理速度这些技术指标,变成能部署、能量产、客户肯掏钱的终端方案。商业化落点上,AI Box是方向之一。

这类设备本身已有x86或ARM主控、操作系统和应用生态。MEGA188通过M.2、PCIe等接口接进去,跟主控一起承担大模型推理。

面对存量设备,迈特芯的思路是用标准接口加速卡做升级,省掉重新设计主板的功夫;下一代PC和笔记本则不一样,可以在板级直接集成一颗或多颗MEGA188。

余浩把客户掏钱的理由说得比较直白:多花约1000—2000元成本,让终端能跑本地智能体。比起重新配一整套高性能计算平台,主控加协处理器的组合在整机成本上更好控制。

和SSD搭配的方案,则给模型适配留出更大空间。主机SSD存放完整的MoE专家权重,3D DRAM保存每层激活的专家;推理时若所需专家不在3D DRAM里,系统就从SSD读取并载入3D DRAM,再完成计算。3D DRAM在这里当高带宽缓存用,SSD补的是模型容量,不必把全部参数塞进昂贵的片上存储。

MEGA188+SSD的单卡方案,目前已经跑通30B级模型。

具身智能、智慧教育、工业边缘计算和车载电子等领域,也已实现首批客户导入。这些场景对实时性、本地数据处理和功耗的要求各不相同,还得针对具体设备做联合验证。

余浩表示,MEGA188要走向量产,PCIe与主控适配、主控调度和工具链协同都得推进。软件侧,推理引擎需要适配LLM、VLM、MoE等模型。

按迈特芯的规划,后续工程工作分两块:一是存储与接口的全覆盖测试、稳定性和可靠性评估,把已测功能固化成可交付规格;二是生态建设,包括完善编译工具链与运行时支持、扩展多平台兼容和端到端模型验证。

更远的计划里,迈特芯还要向更先进工艺演进,并针对手机、车载和具身智能等场景,优化未来芯片的功耗、带宽与算力。

结语:让更多终端跑得起大模型,迈特芯开始接受市场检验

大模型往每一个终端走的时候,比拼的关键可能不再是TOPS谁最高,而是谁能用最低的系统代价,持续产出更多可用的Token。迈特芯选的3D分布式TPU路线,围绕的正是带宽利用率、功耗和系统成本。

MEGA188已经过了芯片点亮和模型验证这两关,量产和生态适配还在前头。这些工程环节若能顺利推进,迈特芯就有机会把架构上的差异变成产品和成本上的优势,在端侧大模型芯片市场争取更有利的位置,也让本地智能体进入更多终端。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果三星将签DRAM长约:四年起步,2027年上半年交付

    财联社11月18日讯(编辑 马兰)内存芯片价格的快速上涨正在反转供应商与客户之间的强弱地位,苹果和三星电子或许就是最典型的写照之一。据业内人士透露,三星电子和苹果正在接近达成一项关于长期供应DRAM的协议,计划覆盖四到五年,并于2027年上半年开始交付。泄露的协议条款显示,双方将确定合同期内DRAM芯片的最低供应量..

    来源 腾讯网
  2. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  3. Windows BitLocker加密被破!原本破解要19年,如今只需20天

    【TechWeb】Windows Hello和BitLocker的PIN保护机制,正面临一场来自硬件层的挑战。柏林工业大学的研究团队11月18日发表论文,披露了一项名为"Hello Again"的物理攻击:通过在主板闪存芯片与处理器之间的通信链路上做手脚,攻击者可以绕过TPM的错误尝试锁定保护,从而大幅缩短暴力破解时间

    来源 AI 行业观察
  4. 内存涨价逼出“灰色操作”:二手拆机内存杀入手机供应链,价格直接打5折

    持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部分主流手机品牌也可能

    来源 TechWeb
  5. 当智能开始量产,从Anthropic上市看大模型的六个趋势

    今天(11月19日)晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。 按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会超过2万亿美元。谷

    来源 AI 行业观察
  6. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  7. 腾讯WorkBuddy日活破千万:日均Token超100万亿,500强渗透一半

    腾讯今日发布 2026 年第三季度财报,其中披露了 WorkBuddy 的最新数据:截至 11 月初,这款 AI 助手日活跃用户数已突破 1000 万,日均 Token 调用量超过 100 万亿,一举成为中国大语言模型日均 Token 用量最高的 AI 产品。自今年 3 月发布以来,它已完成 100

    来源 AI 开发者社区
  8. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  9. AI 芯片拉动韩国出口向万亿美元迈进,但股市暴跌拖累内需

    IT之家 11 月 18 日消息,据路透社报道,随着科技巨头依靠半导体产业为全球人工智能浪潮提供支持,韩国出口引擎正全速运转。然而,AI 市场情绪起伏不定,让普通投资者很难从这轮行情中真正获利。在韩国,约四分之一的民众都参与了股票投资。以 SK 海力士(SK Hynix)和三星电子(Samsung Electronic

    来源 腾讯网
  10. 腾讯WorkBuddy日活破1000万:日均Token超100万亿,企业500强渗透过半

    腾讯2026年第三季度财报披露,AI助手WorkBuddy截至11月初日活突破1000万,日均Token调用量超100万亿,成为中国大语言模型日均Token用量最高的AI产品。自今年3月发布以来,它已完成100多个大版本更新,迭代迅速;C端火热同时,B端也在拓展,开放平台上线仅两个月,Buddy应用已取得进展。

    来源 AI 产业速递
  11. 多模态大模型投影器研究:十分之一数据够用,还能线性混合

    2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。但奇怪的是,没人真正说清楚这第一步到底在干什么。更奇怪的是,不同团队的实验结论还互相矛盾。有的

    来源 腾讯网
  12. Osmo训练气味基础模型:30名闻香师为AI补上嗅觉

    在新泽西州纽瓦克机场附近的一间实验室里,约30名经验丰富的人类嗅辨员正逐一品鉴地球上的各种气味。他们记录的“坚果味”“桃子味”“海洋味”等笔记,会与化学分析结果交叉比对,为AI初创公司Osmo打造其号称全球首个“气味基础模型”提供训练数据。这家公司希望让机器学会“闻”,把嗅觉这一最难数字化的感官真正带入AI时

    来源 AI 科技快讯
  13. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  14. 一条视频训练出84.22分模型:视频生成卡在哪

    训练一个能实时生成视频的AI模型,通常需要花费数万个GPU小时,存储上T级别的数据。但这篇论文做了一件听起来有点冒险的事:他们把训练数据砍到只剩一条视频,然后发现模型效果不但没崩,反而比用了几千条数据训练出来的老方法还要好。这不是在吹牛,论文里给出的数字是:只用一条样本训练的模型,VBench总分达到84.22,而..

    来源 腾讯网
  15. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  16. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  17. DeepSeek长文本限流引差评潮:免费开源模式遭遇极端投诉

    随着人工智能技术的飞速普及,免费与开源一度成为了推动行业繁荣的核心引擎。然而,当庞大的用户基数与有限的算力资源发生碰撞时,现实的摩擦也随之浮出水面。近日,国内人工智能领军者 DeepSeek 因对部分超长上下文功能实施限流,意外引发了一波应用商店的差评潮,甚至出现了极端投诉事件,折射出当前大模型免费

    来源 AI 开发者社区
  18. 小米的MiMo人才激励考题

    随着大模型研发投入持续增长,将AI业务独立出来融资,正在成为科技公司探索的一种资本运作方式。 今年以来,快手旗下可灵AI完成独立增资,阿里巴巴也宣布拟分拆旗下AI芯片企业平头哥赴港上市。对于拥有核心技术团队的大厂而言,引入外部资本不仅有助于分担长期研发投入,也为人才激励和业务发展提供了更多选择。 如今,小米自研大模型M

    来源 AI 行业观察
  19. 李晗离职可灵AI:快手技术副总裁出身,下一步未定

    11月18日,据“申妈的朋友圈”援引知情人士消息,原快手技术副总裁、可灵AI高管李晗已离职,下一步去向尚未确定。李晗2019年加入快手任技术副总裁,2026年1月起全面负责基础大模型和推荐模型两大核心算法业务,同年6月转岗可灵AI,此次离职距转岗约5个月。

    来源 凤凰科技
  20. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  21. 红杉资本、光速创投等股东拟在 Anthropic IPO 中追加上十亿美元

    AI赛道资本热度攀升。知情人士称,AI初创公司Anthropic PBC发展势头强劲、商业潜力可观,多位核心早期风投股东拟在其即将到来的IPO中追加投资。顶级资本以真金白银加码未来。在全球大模型竞争中,Anthropic凭借前沿技术研发和企业级市场表现突出,备受资本青睐。

    来源 AI 产业速递
向下滚动自动加载更多