新芯航途智驾大模型芯片 X7 Ultra 发布:700 TOPS 大模型算力,中国首发量产 Armv9 车规级 CPU
IT之家 10 月 29 日现场消息,XHEART 新芯航途今日正式发布大模型芯片 X7 Ultra,以“大模型定义芯片”为核心理念,从真实量产模型需求出发设计芯片架构,大模型算力达 700 TOPS。 XHEART 新芯航途 CEO 李宗霖认为,随着智能驾驶从多个小模型走向端到端大模型,芯片的设计方式也需要随之改变。
10月29日,XHEART新芯航途正式推出大模型芯片X7 Ultra,大模型算力为700 TOPS。这颗芯片以“大模型定义芯片”为核心理念,架构设计直接来自真实量产模型的需求。

在新芯航途CEO李宗霖看来,智能驾驶正从多个小模型转向端到端大模型,芯片的设计思路也得跟着变。于是公司在2023年创业之初就定下方向:从真实应用中的模型需求倒推芯片架构,重新组织计算、存储和数据流转,同时给未来的模型演进留出空间。

按照介绍,X7 Ultra的大模型算力达到700 TOPS,量产模型实测对齐度为99.99%。

这枚芯片为大模型专门设计,采用超大核NPU架构。核内数据交互取代核间数据交互,互联速率提升到TB/s数量级。多级缓存架构支持大容量、高并发,推理时延和功耗都能压下来。

X7 Ultra内部还集成了高精度大模型专用算子加速引擎。针对Layernorm、Softmax、Transpose等Transformer大模型关键算子,硬件层面做了深度优化,并原生支持FP16/FP32高精度向量计算,以保障模型精度。

NPU硬件并行度被充分解锁后,大模型推理潜能得以释放,计算利用率达到98.7%。对比行业旗舰产品,这颗芯片的内存带宽消耗下降80%,能效提升100%。

此外,X7 Ultra是中国首发量产的Armv9车规级CPU,性能提升20%、能效提升10%。大集群架构改善了多核协同与L3访存性能,还集成全新SVE2向量处理引擎,DSP性能比上一代NEON更强。

新芯航途智驾大模型芯片X7 Ultra的核心亮点见下图:
