32台机器模拟万卡训练:三次运行跑出执行图
(一)发现宝藏大模型的算法同学,总要判断一个新策略值不值得上线。又不可能每换一个策略,就开万卡去试一次。低头看看手里的卡数,我宣布 ,这次行动的代号就叫「寒酸」当然,动不动就万卡,中东石油土豪也不能这么玩。就好比,飞行员练胆故障,不可能次次都开真机去坏一回。没有万卡,但想知道万卡跑出来啥效果,这道题...
这个词说的就是“剧本(执行图)”。
剧本的大纲靠跑出来,细节也一样靠跑。说白了,有用的东西全是“跑”出来的。
第一次跑,拿到的是剧本大纲。办法是把所有rank都实际算一遍,顺序并非从配置里推出来,而是程序执行到哪儿就记到哪儿。
想记下一步,rank就得把这一步真正跑完。
只用少量卡,哪怕只有一张,去跑万卡任务中的某一个rank。
它执行到该通信的位置就跑不动了,于是停下来,把GPU上下文存档,把卡腾出来。再换下一个rank跑到同一处,也照样存一份。
就这样依次进行下去,每个rank一路执行过的计算、通信和它们的依赖关系,都按发生的先后记下来,最终得到一份只含“出场顺序”的剧本大纲。
第二次跑,拿到的是剧本里的准确时间。
剧本里写明了谁出场、按什么顺序、各花多长时间。
第三次跑出来的已经不再是剧本,而是答案。
跑完就得到工程师要的那两个数:在这个配置下,一步用多少秒,显存峰值是多少。
另外,只要切换方式没变,换一个开关、换一套配置,这份剧本大纲都还能接着用。
第二次跑的时候把时间重新填一遍,然后再跑第三次就行。
这么看,第一跑更像是热身。要细讲,还得从第二跑说起。
先拿少量卡来用,分成观测卡和助理卡两类。助理卡的作用很大,下一章再展开。这里先把分工说清楚。
万卡训练中,模型按切法切开,每张卡只承担其中一小份。
观测卡要干的,就是坐到生产分工表上的某几个位子上:那几个位子负责哪一份模型、算哪一部分,观测卡就负责同样的部分。
比如坐的是流水线第2段的8个位子,那它们上面就只放第2段的那几层。
在助理卡的配合下,少量观测卡上跑的程序和配置,跟万卡训练(生产中)是同一份、同一套。
是一样的。
收到的每一份数据、收到数据的每一个时刻,也都对得上。
于是这几张卡上的每一个操作,都按生产中的方式发生,拿到的结果几乎就是生产中的结果。
观测卡和生产无异,测出来的数就是生产的数。
论文标题里那个"忠实(Faithful)",我理解就是这个意思。
作者的原话是这么跟我说的:"不为省GPU数量改任何配置"。
(五)"真跑"和"仿真跑"怎么分?
聊到这儿还没完,再往深里问一层。仿真讲的是论文里整套方法,
可这套方法里,既有"真跑"也有"假跑"。第二跑的前一半,是观测卡在"真跑",
程序、配置、模型分片、GPU 型号,一样都不改。
第二跑的后一半,轮到观测卡和助理卡一起"仿真跑"。生产环境里,它每走一步都得跟几千张卡交换数据;眼下那几千张卡并不存在,数据却照样得收,什么时刻到、送来的是哪一份,都要跟生产时一致。
这一半没法真跑,就由助手卡顶替那些不存在的卡,把通信做完。
助手卡怎么知道什么时候该送什么?
凭剧本。
剧本上记的是全部一万张卡在训练中一步步依次要做的事,动作只写两类:算和通信。
"算"那一行只留一个数——这张卡在生产中算了多少毫秒;
"通信"那一行记的是此刻跟谁交换数据、交换的是哪一份。
开工以后,真跑的那几张卡不用看剧本;
剩下的位子由助手卡来演:读到“算”,它不做任何计算,原地耗掉那几毫秒;读到“通信”,它调起和生产环境同款的通信库,把那份数据真发给观测卡。
观测卡这边,数据在生产中该到的时刻到了,内容也和生产里一致。发数据那张卡究竟算没算,观测卡既无从得知,也不需要知道。
这里要弄清一件事:CrystalLLM的剧本,也就是执行图,是怎么写出来的。
卡数不够,看起来是缺卡,实质缺的是卡与卡之间的那些关系。
头一项缺的是组队关系。每张卡得知道自己跟哪些卡同组,没有分组,数据就不知道该往谁那儿发。
第二项缺的是不存在卡的信息。开训之前,同组卡之间不光要交换地址、确认连得上,还得互报硬件情况,像GPU型号、网卡带宽、机器内部怎么连。
随后每张卡自己算出通信路线,走环还是走树。
几千张并不存在的卡,同样要把这些信息报上来,观测卡算出的路线才能和生产对得上。
好消息是,这两样CrystalLLM都补上了。
(六)为什么“缩小”搞不定?
说到底,CrystalLLM这套做法的巧劲就在这儿,
配置一个参数都不用动,小卡并不是去当“整个任务的缩小版”,它替代的是大任务里的几张卡,干的就是那几张大卡原本要干的那部分活。
这一点必须划重点,我认为它甚至是“忠实”(Faithful)最核心的含义之一。
我跟作者也聊过,为什么不用“精确”这个说法。原因在于“精确”只能说明结果,说明不了过程。下面继续展开。
一张卡先把数据交给卡间通信库,也就是集合通信库NCCL。开始训练之前,它的任务是把各张卡互相连通;训练启动以后它还得接着忙,训练期间卡与卡之间的数据全靠它搬运。所以它被叫作这个名字,一旦少了它,训练压根跑不起来。数据交出去之后,这张卡就等对方把数据送回来。
这中间数据经过了哪台交换机、绕了多少跳、带宽有多大,卡本身一概看不见。它能知道的,只有这一回等了多久,精确到毫秒。
很明显,论文作者们正是要利用这一点。
于是,只要把每次通信的数据量和到达时刻如实记录下来,大网络对这张卡施加的全部影响,也就等于被一并记下了。
但小卡手上的资源就那么多,
不过,要把整个任务放进这套机器跑通,并行策略得重新调。
举个例子,真正上万卡的时候,TP设成2就能跑得挺顺,
可换到小卡上,显存就捉襟见肘了,
不把TP拉到8,显存直接爆掉。
问题是,策略一变,等于换了一个任务。
每张卡上模型被怎么切分,
矩阵长成什么形状、通信沿哪条路走,统统不一样了。
在这种配置下量出来的耗时和显存占用,
没法用来说明生产环境那头的情况。
靠“缩小版”来替代,本身就有天花板,这条路走不通。
(七)第一道坎
任务要怎么“起”起来?
启动这件事本身并不复杂,可卡一少,
就变成了巧妇难为无米之炊。
放到真实的万卡集群里,
一万张卡对应一万个进程,
每个进程启动之后走到PyTorch这一层,
PyTorch再去调用集合通信库NCCL,
在各自那张卡上搭起一个通信“后端(
这个搭建过程是要吃显存的。
CUDA环境,再加上通信组的缓冲区,
单个进程就要占掉好几百兆。
因此在真集群上,谁都不把它当回事。
可CrystalLLM手上只有32台机器,
可CrystalLLM手里只有32台机器,还得让训练程序相信,自己正跑在万张卡上。先来算一笔账:把一万个进程全都起出来,要占多少显存?
每个进程按500兆算,一万个就是5000G,8张卡显然装不下。
论文里有一组数字更扎心。按最老实的做法,每个虚拟rank单独起一个进程,起到512个,CPU内存就吃掉544.5GB,显存103.7GB,光拉起就要756秒。
到1024个,显存直接爆掉。
可见难的并不是一万个进程本身,而是一万个进程挤在几张卡上。卡一少,原本摊得很薄的开销,就全压到了同一处。
难题于是从“怎么把一万个进程塞进去”,变成了“哪些进程根本不用起”。
要知道,观测卡真正打交道的,只有少数几个通信组,以及挨着它的几个邻居。
其余几千个进程隔着好几层,在不在,观测卡都感受不到。
那就只留和观测卡沾边的。
论文举过一个例子,2000个虚拟rank,
通信组原本有8617个,最后只留下82个。
做减法当然要付代价。
作者于是动手给通信库添了一样东西,
也就是
它的任务是替没到场的卡完成报到。
通常情况下,每张卡上跑的是NCCL的Backend;
Bootstrap proxy则是一种特殊的Backend,
那些本不该存在的进程,
全部交给它托管,压根不启动。
等到点名的时候,
由代理出面,替它们把元数据交换清楚,
上报的硬件信息和拓扑信息,
跟真进程报的完全一致。
论文里的说法是,
它截住了NCCL初始化的控制通道,
前提是生产集群属于同构环境。
代理要替几千个没到场的进程报硬件信息,
它凭什么知道该报什么?
答案落在"同构"两个字上。
生产集群中所有机器都是同一个型号,
一样的GPU、一样的网卡,机器内部的连接方式也一样。
既然都相同,proxy就照观测卡所在机器的真实情况,
原样抄一份替缺席者报上去,不会出错,
因为那些进程真到场了,报的也是这一份。
倘若换成混搭的集群,情况就不同了。
一半H100、一半华为的卡,这种混搭集群会遇到什么,情况更麻烦也更棘手,这里就不展开了。
效果到底有多显著?8192个rank拉起来只用了44.3秒,每张物理卡占用的显存大约5.4GB。
写到这儿,还是得再感叹一句:论文这个思路确实巧。
观测卡跟外界之间,唯一的通道就是通信。所以作者团队既要懂网络,又要懂训练引擎,两头都得通,才能在通信库这个交界处找到下手的点。
(八)第二道坎:完整的“剧本”是怎么写出来的?
任务得先跑起来,才拿得到剧本,也就是执行图。前面提过,剧本分两种,剧本大纲和完整剧本。
剧本里记的,是那几千张并不存在的卡,在一步训练中依次做哪些事、每件事花多长时间。
那么问题就来了:这些卡根本不存在,它们“掐表算出来的时间数”又是从哪来的?
论文作者用的办法叫——
用我的话简单讲,就是每组都实际跑一遍,总共跑四次。要细说就得举个例
要说清楚这套办法,拿流水线并行(PP)来举例最直观。
眼下手里只有一组卡。
那便依次跑第一段、第二段、第三段、第四段。
同一组卡把四段轮流走完。
把四段各自的记录接起来,就凑成一份完整的剧本。
代价落在时间上:得花掉四倍的时间。
省下来的是空间,搭进去的是时间。
说白了,这是拿时间换空间。
不过,这里头埋着一个问题。
每回分片真跑的时候,只有这一组rank是真实的。
剩下的rank,交给助手卡去扮演。
问题是,此时助手卡手上拿到的还只是剧本大纲。
它只清楚谁先干什么、谁后干什么。
每件事要耗多少毫秒,它并不知道。
毕竟毫秒数恰恰是这会儿要测的对象。
所以,只有真rank自己算出的毫秒数。
那才是实测出来的,才靠得住。
论文里有一句话说得明白。
在一个1024个rank的任务中。
某个分片能在观测卡上跑rank 0–7。
与此同时,rank 8–1023在助手卡上回放。
换句话说,等所有分片都执行完毕。
每个rank都至少以真实rank的身份跑过一回。
准确的分片级时间也就这样拿到了。
接下来是校准环节。所谓校准,就是按照“交棒”的先后顺序把它们连起来:第二棒得等第一棒交出去之后才能跑。
为什么要校准?论文里做过一次不校准的测试,算出来的结果是5.7秒,实际值为5.13秒,误差超过10%。校准过后,单步时长的平均误差降到了0.58%。
CrystalLLM也有自己天然适用的范围,那就是预训练。后训练看起来不太行,原因是它高度异步。不过有一点,后训练里也存在和预训练高度相似的部分,这部分同样可以用CrystalLLM。
(九)为什么能这么准?在作者看来,CrystalLLM最妙的地方就是“真准”。
下面这部分,我认为也是作者眼中最重要的内容。展开说说,我从中都学到了什么。
先看每一段分别仿真到了什么。时长上,流水线被切成4段,可每一步结束时,4段都得对齐,因此无论看第一段还是第四段,一步的时长都相同。时长这件事,看哪一段都可以。
显存这块又是另一回事——四段各占各的,数值并不相同。
也正因如此,抓图时观测卡会挪位置:先盯第一段,接着第二段、第三段、第四段依次轮过去。
这么走一遍,该策略下四段的显存就都真刀真枪跑过了。
四段都没爆显存,基本就能判定这套配置不太会爆。
这一点不太好理解,读者心里可能还打鼓,于是我干脆设了个问答环节。
观测卡平时只跑其中一段,凭什么说整个过程配置的显存没毛病?
答案就在抓图阶段:四段轮流坐庄,每段都轮到了。
模拟和仿真,是两条路。
仿真凭什么准?我和作者专门聊过。
他们的做法叫仿真(英文 emulation),另一类叫模拟(英文 simulation),两者逻辑完全不同。
模拟走的是先离线建模、再拼起来算的路子,算积木派。可组合太多、情况太复杂,
无法穷尽。
而且受到“
这个黑盒,得说准确些。
CUDA 底层闭源,核心数学库(如 cuBLAS)内部挑哪种实现来跑同一个算子,规则并不对外公开。
最终代码会被编译成GPU实际执行的机器指令,而这一环同样不对外开放。
指令集连公开的文档都找不到。
结果就是,GPU上真正跑起来的那部分,在外人眼里是个黑盒;它的表现还跟输入挂钩,喂进去的东西不一样,行为就跟着变。
仿真的做法是把整套软件和硬件按原样保留下来。按理论讲,想给它建一个精确的模型,根本办不到。
CrystalLLM的做法是不去猜,而是让同一份代码、同样的数据,在同型号的卡上实打实跑一遍。
黑盒内部挑了哪个实现、切成了什么形状,都会真实地发生一次。
显存峰值的误差可以压到 0.01% 以下,原因就在这儿。
仿真走的是绕开黑盒的路子,不用弄懂黑盒里面,只要让它真的跑一次就行。
黑盒里到底用了哪个算子,CrystalLLM 不必知道。
它要做的只是保证喂给黑盒的输入跟生产环境完全一致,黑盒自己就会做出和生产环境相同的选择。
时间和显存,则由观测卡原样测出来。
先看精度。所谓“准”,究竟能准到什么水平?
论文给出的数据是:单步时长平均误差0.58%,
最坏情况下为1.98%;
显存峰值的误差则不到0.01%。
拿来对比的话,走“模拟”路线的工具中,
有Meta公司参与的那一档,
个别场景的误差能到64%。
而他们这套方案,内部所有场景的误差都压在3%以内。
对训练团队来讲,
一个策略行不行、work不work,
误差能控制在5%以内,其实就够用了。
那他们实际动用了多少卡?
模拟8192卡的训练,只用了32台机器,
其中16台装观测卡,另外16台装助手卡,
算下来不到目标卡数的3%。
标题里的“32台机器”,说的就是这个。
聊到这里,我随口问了一句:
有了这个模拟器,
训练团队是不是就能少做很多实验?
作者的回答是,不能这么讲。
实验该做的一项都不会少。
训练团队得跑大量实验,
才有底气把一项优化推上线。
(十)准到什么程度?
最理想的办法,是直接拉万卡来实测。生产上怎么跑,测试就怎么跑。把生产任务先停下来,跑一轮,要是比基线快1%,再决定上这个策略。
问题是万卡就那么多,生产任务停不起。预训练团队又不是中东土豪,手上的卡数同样不宽裕。说到底,地主家也没余粮。
数值测试、算子优化、数据链路,全挤在这一百张卡上,还得拆开分着用,切来切去,剩下的没多少。
这时候CrystalLLM的作用就显出来了:它把实验成本压了下来。
按我的理解,CrystalLLM更像做大买卖时,掌柜的先拿计算器按几下,掂量这桩生意值不值得做。它就是这么个工具。
我和论文作者聊过一轮。
1.问:CrystalLLM动手的是训练引擎的哪一层?
答:
改动幅度上,Megatron<Pytorch<NCCL。
2.问:CrystalLLM具体改了框架的什么?
答:抓图在框架层也得做点事。
3.问:CrystalLLM能不能拿来研究模型收敛和数值问题?
答:不行,这是它的一个局限。理论上可以让数值完全正确——把真实训练里所有中间计算结果都存下来,回放时让虚拟rank把这些真实数据发出去。可这么干仿真会非常慢,存中间结果也要吃掉海量硬盘。所以实际用的时候,激活值、梯度这类数据,我们都用合理范围内的数值顶上。它们能保证程序正常跑,时间和显存测得准,但不是训练里真实的值。拿它研究收敛和数值问题,行不通。
问的是“每一段都仿真到了”具体指什么。答:先看时长。流水线分成四段,一步走完时四段全部对齐,因此第一段和第四段测出来的时长没有差别,看哪段都成立。显存则不同,四段各是各的数。抓图时,观测卡(
接着问模拟和仿真到底差在哪。答:这是两条路数。我们做的是仿真,英文叫 Emulation;另一条叫模拟,Simulation。模拟走的是离线建模:把训练任务先拆开,看你抽象到哪一层,
细到算子,粗到按层,也有人只盯网络通信,每一块都拿硬件离线测一遍,搭一个小模型,像乐高积木那样存进数据库。新任务来了就拆成积木,从库里取出来拼,算一个预测值。网络那块更靠公式,按带宽推。说到底都是算出来的,不会真跑一遍。仿真不一样,整套软件栈、硬件栈原样保留,代码真的在上面跑,运行时细节一个不丢。
又问:为什么仿真准、模拟不准?答:栈里有一部分是闭源的,比如 CUDA 底层,真正跑在 GPU 上的东西是黑盒,里面怎么运转你不知道;它的行为还跟输入有关,任务换了表现就换。理论上没法把它精确建成模型。不过我们不 care。硬件在我们手里,软件是同一套,输入也是同一套,跑出来的结果就是准的。最核心的差别就在这。
问仿真环境最后输出的是什么,以及凭什么说它跟生产一致。
答:“吐出来的”是性能表现,即这个任务跑起来的两个读数:一步多少秒,显存峰值多少。原因在于喂进去的就是生产任务本身,训练代码同一份,配置同一套,训练数据也能用同一份。输入完全一致,GPU 上的行为就完全一致,挑同样的