GPU还能撑多久:SC26专家激辩AI与HPC下一步
多年来,应对日益增长的人工智能和高性能计算需求,主要依靠增加GPU数量。但这种方法还能持续多久?尤其是在我们迈向泽级计算的时代?处理器和内存之间的数据传输已经存在诸多问题,随着系统规模的扩大,这些问....
这些年,要扛住不断上涨的人工智能与高性能计算需求,主流做法就是堆更多的GPU。问题是,这条路还能走多久?特别是在我们迈向
SC26上,一个由英伟达、AMD、Cerebras、微软、理研和劳伦斯利弗莫尔国家实验室 (LLNL) 的专家组成的小组,围绕这些难题展开了讨论,也谈到了随着人工智能和高性能计算系统继续演进,哪些东西可能需要调整。
对于怎么解决这些问题,专家们的看法差别很大。Cerebras走的是晶圆级处理器路线,把大容量内存直接集成到芯片上。
做法虽然各异,但有一件事大家意见一致:数据要放在真正需要它的地方。
苏黎世联邦理工学院
霍夫勒抛出的疑问是:GPU真有必要吗?换一种处理器,能不能把同样的活干得一样好?他和松冈聪、杰克·东加拉一起写了篇论文《我们还需要 GPU 吗?》,把这个问题掰开揉碎地讨论了一番。
霍夫勒觉得,人工智能或许会让开发者更容易绕开英伟达的
Cerebras的Rob Schreiber给了一个不同的思路:数据为什么非得在处理器和外部存储器之间来回搬?Cerebras把大量
不过施赖伯也承认,给这类机器写程序并不轻松。可放到今天来看,人工智能已经长成这么大的市场,他判断需求足以养起那些和传统加速器干活方式不一样的专用系统。
Cerebras想着在一片晶圆上塞进更多数据,Nvidia则走了另一条路。Nvidia的Jeff Hammond谈了他的看法:GPU还有很大提升余地,GPU之间的通信速度尤其如此。
哈蒙德以
AMD的史蒂夫·斯科特同样看好GPU的前景,尽管CPU在AI工作负载上的处理能力正不断增强。他预计CPU会分担更多任务,但专用GPU依然占优,特别是在大型AI模型需要海量内存带宽与算力的场景下。
斯科特还提到芯片制造商绕不开的一些抉择。比如,增加
劳伦斯·利弗莫尔国家实验室的塔尔·本-努恩盯的是另一个难题:这些越来越复杂的系统该怎么编程。他说,新架构正走向多处理单元、本地存储器和高速
人工智能能帮开发者应付这些设计,可光生成更多代码并不管用。在他看来,AI应当协助开发者做更高层面的判断,比如任务在硬件上如何分配,而不只是写底层代码。
理研的松冈聪研究的是基于CPU的系统在AI工作负载上能否与GPU一较高下。分析结果显示,推理环节CPU不输GPU,训练则是更难啃的骨头。
他还进一步讨论,重新设计过的CPU系统最终能否达到