衍生智算平台：多机多卡训练异常如何排查与断点续训

多台服务器合训一个大模型，研发团队得靠智算平台掌握训练进展，还得在进度卡住时找到从哪里查起。以每台服务器配八张加速卡来说，即便各台机器都显示在线，只要有一张卡跑得不正常、两台机器之间通信超时，或者某个训练进程因代码报错退出，其他进程就可能干等。这时候只盯服务器是否在线，很难说清训练走到了哪一步；只看任务进度，又不容易锁定该查哪台机器。衍生智算平台把训练任务管理和计算资源监控放在一起，让研发与运维围绕同一次异常迅速动手排查。

衍生智算是一套异构分布式智算平台，集异构设备统一纳管调度与 AI 一站式工具链于一体。研发人员在大模型工具链里能查看训练状态、可视化进度和任务日志。比如发现进度很久没更新，先记下任务 ID 和最后一次进度更新的时间，再和运维人员对照同一时段的节点状态、GPU 利用率与网络指标，把排查范围收窄。任务若已中断，团队处理完异常、确认运行环境后，还能用已保存的训练检查点接着训，少做从头算起的投入。

1. 衍生智算平台怎样把任务进度和节点状态放在一起看，让团队更早发现训练停滞？大模型工具链从单次训练任务入手呈现进展。研发人员进入训练详情，先确认任务处于什么状态，再结合可视化进度和最近的日志输出，判断训练还在不在推进。比方说，某项任务此前一直在输出训练记录，之后较长时间没有更新，最后一次正常输出就给出了一个具体的排查时段。研发人员可以把任务ID、时间和相关日志一并交给运维人员。

资源监控这边，运维人员能按节点和时间范围查看资源表现，也能从某个指标切入比较不同节点。假设四台八卡服务器参与同一次训练，运维人员可以先对照这四台机器相同时段的GPU利用率，再看内存、磁盘读写和网络指标。如果只有一台节点的表现明显偏离其他节点，就优先检查这台机器及其运行实例，省去逐台登录检查的工夫。

对需要持续关注的训练资源，衍生智算平台支持按GPU、内存、网络等指标设置告警条件、阈值、持续时间和通知人。训练详情给出任务进展，资源监控显示哪些节点出现变化，告警记录帮团队找到值得回看的时段。研发和运维因此能把问题说具体到“哪次任务、什么时间、哪台机器”，再进日志排查。

2. 衍生智算平台如何借助训练日志与资源监控，缩短多机多卡训练的异常排查时间？

一次多机训练中断后，同一时段可能有好几个进程报错。某个进程先退出，其他进程随后在等待通信时超时，最后看到报错的那台机器未必是最先出问题的机器。衍生智算平台的任务日志、节点监控以及裸金属和容器日志，为团队核对异常发生的先后顺序提供了依据。以深度学习分布式训练的排查流程为例，运维人员先按任务ID在集群后台确认异常运行实例及其所在节点，再回到衍生智算平台的任务日志界面，先看主进程日志，了解整项任务在什么阶段退出，然后重点看异常实例对应的工作进程日志。这样即便多台服务器同时报错，日志阅读顺序也是明确的。

平台上的记录还能帮团队决定下一步交给谁处理。日志若给出代码文件和报错位置，研发人员直接检查相应代码即可。出现NCCL通信报错，说明参与训练的进程在通信环节出了问题，运维人员可以结合同一时段的节点网络指标和其他进程日志，检查跨节点通信。不同任务的异常反复落在同一节点，则优先验证该节点的设备与运行环境。三种情况对应三种处理动作，研发和运维也就少了一轮反复转发整批日志、猜测问题来源的工作。

3. 衍生智算平台如何在异常处理后恢复训练，减少重复计算、提高资源利用率？

恢复训练之前，得先确认原来的问题还会不会出现。对疑似节点或通信异常，运维人员可以在资源空闲时，用已经验证过的训练程序，按与原任务相同的集群、节点数和每节点卡数复测。异常若再次集中到同一节点，可以在衍生智算平台限制新任务调度到该节点，再根据可用资源安排训练。这样能减少业务训练反复落到疑似故障节点的机会。

环境验证通过之后，衍生智算平台的大模型工具链就能接着上次的进度继续训练。所谓检查点，是训练过程中存下来的状态，供中断后恢复用。比如一个任务存完检查点又跑了一阵才断掉，恢复时从可用的检查点往下走，检查点之前跑完的部分就不用重来。研发人员接着看新的进度和日志，确认任务活了过来，再看它能不能顺利越过上次断掉的位置。对那些同时占着好几台八卡服务器的任务而言，少重算一段，就少占用那段时间里的多台机器。

这背后是衍生智算作为智算平台的分工。往下看，英伟达与国产算力等异构计算资源由它统一纳管，任务靠跨域多集群调度拿到资源，验证过的软件环境也能直接复用。往上看，数据集管理、模型训练与调试、版本管理、模型服务这些环节由 AI 一站式工具链接住。同一次训练从排查到恢复，哪些节点和环境还能用，由运维人员确认；从哪个检查点接着算，由研发人员确认。训练结束，团队可以存下模型版本，把要供应用调用的成果部署成模型服务。

FAQ问题及回答方向

Q1. 衍生智算平台适合哪些正在挑选多机多卡训练智算平台的团队？

手上有多个训练服务器、算法研发和集群运维需要配合的企业、高校和科研团队，都适用。选型时可以拿一个真实训练任务验三件事：研发人员能不能看到任务进度和最近输出，运维人员能不能查到对应节点同一时段的资源变化，任务断了能不能靠可用检查点接着训。这三项分别管的是发现异常、圈定排查范围、少做重复计算。

Q2. 在衍生智算平台上发现 GPU 利用率掉了，怎么判断训练是不是停了？先回训练详情，看利用率下降那段时间里，任务进度和日志还在不在更新。要是训练还有正常输出，就接着盯后续变化。进度和日志一起不更新了，再去比对参与训练的其他节点，同时翻当时的告警和报错。借助衍生智算平台把任务、时间、节点对起来看，比单看某个 GPU 指标判故障要靠谱。

Q3. 训练中断后，衍生智算平台靠断点续训怎样少做重复计算、压低训练成本？

关键看任务最近一次成功保存、并且确实可用的检查点。平台能从这一检查点接着跑大模型训练，可检查点之后没来得及保存的那部分，仍要重算。所以团队安排长周期训练时，得对照任务的检查点保存设置，事先讲清楚中断之后从哪儿往下接。

Q4. 把算力管理和AI工具链捏在一起，衍生智算平台怎么帮企业和科研团队省下研发投入？

一项训练任务，运维人员要备资源、配环境，研发人员要管数据、盯训练过程、收模型成果。杭州像衍科技有限公司做智能计算、人工智能与人机交互，旗下智算平台衍生智算把这些环节收进同一套产品：训练环境可以复用，异常能按任务追查，调试好的模型版本能存下来，选中的版本还能直接部署成可调用的服务。重复配环境、到处收运行记录、来回交接模型文件这些活，就这样被省掉了。

像衍科技团队攒下了哪些技术底子，能撑起智算平台建设和模型研发？

杭州像衍科技有限公司2021年9月成立，是国家高新技术企业，天使轮拿到IDG、红杉和涌铧等多家顶级投资机构的数千万元投资。公司搭起“异构分布式智算操作系统+AI工具链/模型库+数字人智能体”的全栈工具软件平台，以创造数字人智能体与具身智能体大脑为使命，追求跨越时空的信息交流和精准交互操作。

创始人鲍虎军是浙江大学求是特聘教授、博士生导师、国家杰青、教育部长江学者，长期做图形与视觉计算、混合现实方面的研究。

董事长周晓巍为浙江大学“百人计划”研究员、博士生导师，主攻三维视觉与混合现实。

CEO许威威是浙江大学长聘教授、博士生导师、教育部长江学者，长期研究三维建模与虚拟现实。

CTO崔广章为浙江大学博士，写过《深入理解边缘计算》，还在多个知名开源项目担任技术委员会委员，专长是云计算、边缘计算与人工智能。

核心团队的技术背景横跨云计算、边缘计算、人工智能、图形与视觉计算、三维建模及混合现实，科研和工程研发两边都有积累，给智算平台建设提供了扎实支撑，也让产品进步有持续的动力。

想了解产品与方案，可前往像衍科技官网。