AI芯片设计,进入混战时代
如果说过去几年AI芯片行业的竞争,主要围绕GPU算力、HBM带宽和先进制程展开,那么现在,这套竞争逻辑正在发生变化。 大模型的训练和推理需求不断变化,芯片厂商发现,过去那些相对成熟的设计思....
如果说过去几年AI芯片行业的竞争,主要围绕GPU算力、
大模型的训练和推理需求不断变化,芯片厂商发现,过去那些相对成熟的设计思路,已经越来越难以应对新的应用场景。Prefill和
有业内人士将眼下的芯片设计形容为“Wild West”(狂野西部)。这个说法或许有些夸张,但确实反映了当下的行业状态:没有哪一种架构已经被证明是最终答案,各家都在尝试寻找新的突破口。
先看大模型推理。
过去,Prefill和
Prefill负责处理输入的Prompt,需要在较短时间内完成大量并行计算;
这就带来了一个问题:一套硬件很难同时针对两种工作负载做到最优。
于是,Prefill与
这不仅是软件调度方式的变化,也可能影响下一代AI芯片的设计。针对Prefill和
另一个变化来自
过去几年,定制
但现在,固定架构
大模型的迭代速度太快,模型结构、算子和推理方式都在变化。如果一颗芯片从设计之初就针对某一种工作负载进行深度优化,等到模型发生变化,原来的设计可能就不再适用。
这意味着,
这里所说的并不是
互连技术的重要性也在发生变化。
以前谈到芯片设计,人们首先想到的是计算核心、制程和缓存,互连更多被视为芯片之间的数据传输问题。但在今天的大型AI系统中,这种划分已经越来越模糊。
一颗GPU有多少计算核心固然重要,但如果无法及时从内存获得数据,或者无法与其他加速器高效交换数据,再强的计算能力也难以充分发挥。
尤其是在大规模AI集群中,GPU之间的通信效率直接影响整体计算性能。
这也是为什么高速互连正在成为AI芯片竞争的重要组成部分。未来一颗加速器的设计,可能从一开始就要考虑它将如何连接其他芯片、如何访问内存,以及如何融入整个计算系统。
存储方面的变化同样明显。
HBM
于是,厂商开始重新考虑存储层级。
不同的数据不一定都需要放在
与之对应的是
过去,GPU承担了大量计算和数据处理工作,但现在,越来越多任务开始交给专用硬件处理。例如数据搬运、内存管理,以及部分特定计算任务,都可以通过专用加速单元完成,减少GPU的负担。
这也给
把这些变化放在一起看,会发现AI芯片设计正在从单颗芯片的性能竞争,转向整个计算系统的重新组织。
过去,行业有比较明确的技术路线:追求更先进的制程、更大的计算规模、更高的
GPU仍然重要,但不再意味着所有计算任务都应该交给GPU;
对于芯片公司来说,这反而是一个新的机会。
英伟达
现在的AI芯片市场,确实有点像一场没有明确规则的混战。
谁能率先找到适合下一代AI工作负载的架构,谁就有机会在这轮变化中占据一席之地。至少在目前,还没有哪家公司能够宣布自己已经找到了最终答案。