新芯航途X7 Ultra发布:700TOPS算力,量产8个月出货超20万颗
车东西作者 | Janson编辑 | 志豪一家成立三年的国产芯片公司,首款芯片量产8个月,累计出货超过20万颗。芯东西10月30日消息,日前, XHEART新芯航途在苏州正式亮相,并发布旗舰产品X7 Ultra,拥有700TOPS大模型算力。与单纯提高芯片算力不同,XHEART选择了“大模型定义芯片”的前瞻技术路线,即
车东西 作者 | Janson 编辑 | 志豪
一家国产芯片公司成立三年,首款芯片量产8个月,累计出货已超过20万颗。
芯东西10月30日消息,XHEART新芯航途日前在苏州正式亮相,旗舰产品X7 Ultra同步发布,大模型算力达到700TOPS。
与单纯拉高算力不同,XHEART走的是一条名为“大模型定义芯片”的技术路线:按照大模型的计算需求来设计芯片架构,让芯片跑大模型时效率更高。
▲X7 Ultra核心参数一览
XHEART披露的数据显示,在真实量产智驾模型的实测中,X7 Ultra的计算利用率达到98.7%;在大模型性能相当的前提下,其内存带宽消耗比行业旗舰产品低80%。
通过对计算架构和数据搬运效率的优化,X7 Ultra还做到了10倍模型参数释放。
这些数字背后,是智驾芯片乃至大模型芯片正在经历的一轮重要变化。
端到端大模型加速上车,芯片要面对的不只是更高的算力,还有模型运行时的数据搬运、存储带宽和功耗难题。
XHEART的思路是用创新的超大核NPU架构加上原生软硬件协同,把芯片的实际计算效率提上去。
一、智驾大模型上车 芯片不能只靠堆算力
端到端大模型正在改写智能驾驶系统的计算方式。
以前,智能驾驶靠感知、预测、规划等模块各管一摊,每个模块跑各自的算法模型。
现在,端到端大模型把更多任务塞进大型神经网络,模型规模和计算复杂度一路走高,车端芯片的要求也跟着变了。
芯片算力越堆越高,模型却未必吃得下这些算力。
大模型算完一步,结果可能要写进外部内存,下一步运算再读出来。
数据若是在计算单元和内存之间来回跑,就算芯片算力再高,也有大量时间耗在传输上。
芯片设计里常说的“内存墙”,指的就是这件事。
数据搬运同样要耗电。汽车的空间、功耗和散热条件都有限,数据访问效率高低,直接牵动整个智驾计算平台的性能与成本。
所以芯片厂商光提TOPS不够,还得想办法让计算单元更快拿到数据、少访问内存、把运行功耗压下来。
还有一个问题:芯片的研发周期比算法迭代周期长得多。
一颗芯片从设计走到量产,通常要好几年,这期间算法可能已经换了好几个版本。
若只盯着当下的模型设计芯片,等产品量产,面对的可能是全新的算法需求。
▲大模型定义芯片
XHEART在2023年立项时走了另一条路:先把大模型需要什么样的计算和存储能力研究清楚,再回过头来定芯片架构。
具体做法是让算法团队提早介入芯片的技术定义,摸清未来模型在计算特征、数据访问方式和关键算子上的需求。
芯片团队拿到这些信息后,再去敲定NPU架构、存储层次、数据通路和软件工具链的设计。
XHEART把这条路线叫作“大模型定义芯片”。
它真正看重的是把算法与硬件的协同优化往前提,一直提到芯片设计阶段,让架构从第一天起就围着大模型的运行需求转。
二、超大核NPU登场 X7 Ultra怎么提高有效算力?
“大模型定义芯片”这个思路要落地,靠的就是X7 Ultra身上那颗超大核NPU。
大型Transformer模型如果交给多个小计算核心一起跑,往往得先把模型拆开,再把计算任务分到各个核心上。
多个核心确实能用起来,可核心之间要交换数据,还多出任务调度和中间结果存储的麻烦。
XHEART的做法是把更多计算任务收进超大核内部,尽量让完整的端到端大模型在一个大核里跑完,跨核心的数据交换随之减少。
XHEART公布的技术方案显示,X7 Ultra把传统小核之间百GB/s级的数据交互,收拢成超大核内部TB/s级的高速互联,数据在芯片内部的流动速度因此提了上来。
▲超大核NPU设计
不过,计算核心做大只是开头,怎么少搬数据同样关键。
大模型跑起来,Layer Norm(层归一化)、Transpose(转置)、Summation(求和)这类运算会反复出现。
这些运算对算力的要求未必高,可每次都要从外部内存读数据、再把结果写回去,存储带宽就被大量占掉。
针对这些高频算子,XHEART优化了片内数据处理路径,还配了专用加速单元。
一部分计算在芯片内部就能做完,甚至不用离开寄存器,访问外部DDR内存的次数明显减少。
好处有两个:数据传输时间短了,计算单元不用干等;数据读写带来的功耗也降了,整个计算平台的散热压力跟着减轻。
数据访问之外,X7 Ultra在NPU内部的计算方式上也做了优化。
大模型推理时,计算单元要不停加载模型权重。要是非得等权重全部加载完才往下算,计算资源就只能闲着。
X7 Ultra用软硬件协同的方式优化任务调度,让计算和权重加载同时进行,更多计算单元得以一起工作。
XHEART公布的量产智驾大模型实测结果显示,X7 Ultra的计算利用率达到98.7%。
▲X7 Ultra硬件效率
硬件之外,XHEART还把AI工具链重新设计了一遍。
大模型没法直接跑在芯片上。中间得靠工具链做模型转换、量化、编译和部署。
工具链要是排不好计算任务,硬件再强也白搭——计算单元空转、数据来回读写,这些问题都会冒出来。
X7 Ultra用的是整网级融合技术,把整个模型的计算任务统一编排,能合并的操作集中处理,中间结果反复写外部内存的情况就少了。
这么做也方便跟上算法模型的持续升级。以后模型变了,通过工具链调整计算任务的部署方式就行,不用每次都去改芯片硬件。
计算精度上,XHEART拿量化模型输出和FP32浮点模型的相似度达到99.99%以上当约束条件,防止性能优化把模型精度拖下水。
靠着这套架构和工具链优化,X7 Ultra最终做到700TOPS大模型算力。
▲大模型算力达到700TOPS
大模型性能相当的情况下,对比数据是:X7 Ultra内存带宽消耗比行业旗舰产品低80%,能效提升100%。
内存带宽消耗低,意味着跑同等规模的模型时,芯片对外部存储资源的需求更少。省下来的这部分资源,也给部署更大的模型腾出了空间。
XHEART方面介绍,X7 Ultra实现了10倍模型参数释放。
NPU之外,X7 Ultra还是率先采用并首发量产搭载Armv9车规级CPU的车规级芯片。这颗CPU管复杂控制和系统调度,不同类型的任务则交给专用计算单元处理。
▲芯片采用Armv9车规级IP
激光雷达处理加速器这块,芯片支持最高2000万点/秒处理带宽的数据处理能力,相关预处理能在专用计算单元内完成,少占用其它计算资源。
超大核NPU、专用算子加速,再加上AI工具链优化,X7 Ultra不是单纯堆计算单元,而是把计算和数据处理方式一起优化,让700TOPS算力更充分地用于大模型推理。
不过,设计好还远远不够,工程量产能力也是不可缺少的一环。
三、从架构仿真到20万颗出货 大模型芯片走向量产
对芯片公司来说,设计出一颗芯片只是第一步。能不能顺利流片、通过车规验证并实现量产交付,同样关键。
XHEART从2023年成立到X7系列芯片量产,用了约两年时间。
芯片研发初期,XHEART就评估过多种架构方案。
李宗霖(XHEART CEO)曾公开谈到,芯片架构不一样,数据流设计也会跟着不同;团队得先把性能模型搭起来,靠仿真比较各种方案的计算效率,之后才能敲定走哪条架构路线。
架构设计完成后,XHEART还与Momenta合作,用真实量产智驾大模型做全芯片仿真验证。
这一步放在芯片流片之前完成,能提前检查算法与硬件的适配情况,降低芯片回片后才发现问题的风险。
同期,XHEART还跟主机厂提前做域控制器设计,芯片与其它器件的集成、验证工作同步推进,而不是等芯片造完才开始。
这些前期工作明显缩短了芯片回片后的软硬件集成时间。
XHEART披露的信息显示,X7系列首颗芯片回片后,点亮用了不到24小时,主要数据通路已全部打通。
到第17天,X7系列芯片、底层软件与智驾大模型在整车上跑通闭环,白天、夜间、暴雨等真实道路场景的测试随即展开。
之后XHEART联手主机厂推进量产项目:提供域控参考设计,做域控级PreDV验证,帮客户把芯片和整车系统集成起来。
X7系列目前已拿到实际量产成果。
▲X7系列量产成绩单
截至10月29日发布会,X7系列芯片量产8个月,累计出货超过20万颗,搭载10款量产车型,获得超过40款车型订单。
从芯片回片、算法适配一路走到整车量产,XHEART首代产品已完成商业化交付,眼下正靠多个车型项目把出货规模做大。
合作生态上,Momenta是XHEART重要的战略合作伙伴,双方从芯片设计阶段就开始了算法与硬件的协同。
不过,XHEART是独立运营的芯片企业,与Momenta之间没有排他性绑定。
其芯片面向主机厂及所有算法厂商开放,其它算法方案商同样能基于XHEART芯片做适配和开发。
发布会上,Momenta CEO曹旭东也介绍了双方联合研发的最新进展。
据曹旭东披露,有了X7 Ultra的支持,即将发布的R7 Ultra模型参数规模将扩大5至10倍,安全性能提升5至10倍以上。
▲用户体验发展时间表
这其实也指向算法与芯片联合设计的一个落地方向:把底层计算平台优化好,车端就能跑参数更多、计算任务更复杂的智驾大模型。
辅助驾驶市场之外,XHEART已开始向L3、L4自动驾驶拓展。
等级越高,对计算平台可靠性、功能安全和冗余能力的要求也越严,这是L2辅助驾驶所没有的。
安全设计上,X7 Ultra满足ISO 26262 ASIL-B功能安全要求,内部集成的安全MCU通过了ASIL-D认证。
面向L3、L4应用,XHEART还推出基于双X7芯片的计算平台,两颗芯片互联,在计算和安全能力上提供冗余。
发布会公布的信息显示,双X7计算平台已经拿到多个车型项目定点。
下一代产品上,XHEART公布了X9芯片的研发目标。
面向L4自动驾驶、下一代世界模型和具身智能这些场景,X9的规划是大模型算力做到3000TOPS(只用于智驾等物理AI场景),单芯片内存带宽做到700GB/s。
▲X9的大模型算力
模型参数规模继续往上走,车端要的不只是更多计算资源,还有更高的存储带宽,以及更稳定、可靠的系统运行能力。
从X7系列芯片量产,到X7 Ultra提升大模型运行效率,再到X9拉高计算与存储规格,XHEART正沿着“大模型定义芯片”的路线推进产品迭代。
大模型芯片的较量,已经转到系统效率这一层
X7系列芯片跑完规模化量产,意味着XHEART在车规级大模型芯片上已经拿得出交付能力。竞争的重心,也被X7 Ultra往模型运行效率上又推了一步。
自动驾驶往L3、L4走,模型对计算、存储和功能安全会提出更高要求。对芯片厂商来说,光把算力规格堆上去不够,还得让多出来的算力在真实模型里真正跑得动。
软硬件协同的能力,由此成了智驾芯片比拼中的关键一项。XHEART眼下给出的,正是一个颇能说明问题的样本。