单机能跑之后想横向扩,卡点几乎都不在编译,而在两台机器握不上手:协议版本对不上、RPC 端口没通、分层参数写错一格。这篇按实际动手顺序走一遍,从环境对齐到验证输出,每一步都给出该核对的东西和出了问题先看哪里。
单机能跑通之后,想再多加一台机器,是很自然的念头。但实际操作下来,卡点基本都不在编译这一环——编译反而最简单。真正让人折腾半天的是握手:两台机器的协议版本对不上、RPC 端口根本没通、分层参数写错了一格。日志看起来一直在重试,但看不出到底错在哪一步。
这篇按实际动手的顺序走一遍:先把环境对齐,再拆主从参数,最后确认它是不是真的在并行。每一步都写清楚该核对什么、出了问题先看哪里。不走捷径,但也不绕路。
动手前先把两边对齐
第一件事不是起模型,是让两台机器先能好好说话。构建来源要一致——从同一份源码编译,或者用同一版发布包。差一点点都不行,协议层面对不上,后面全白搭。别一边用包管理器装的、一边自己编译的,这种混搭最容易出问题。
然后是网络。RPC 走的是显式指定的端口,不是自动发现的。先在两台机器之间用最简单的方式互通一遍,确认端口是开的、防火墙没拦。这一步花两分钟,能省掉后面半小时的瞎猜。
- 两台机器的 llama.cpp 构建来源必须一致:同一份源码或同一版发布包,别混用包管理器装的版本
- 先用简单命令在两台机器之间验证 RPC 端口可达,再起模型
- 别把显存当成简单相加:按模型体积和上下文长度,粗算每张卡放多少层,留出余量
- 确认两台机器的时间同步,时间差太大某些握手逻辑会出怪问题
主从角色怎么分,参数填在哪一格
角色分工其实不复杂:服务端那头负责加载模型、切分层、对外暴露接口;客户端那头只跑 RPC 后端,不加载权重。容易搞反的是启动顺序——先起 RPC 后端,再起服务端。反过来会一直重连,日志刷屏,但不会直接告诉你顺序错了。
分层参数是另一个高频雷区。它决定每张卡吃多少层,写错一格的表现很直接:要么单卡显存爆掉,要么剩下的卡空转。对着模型的总层数先算一遍,再填进去,别凭感觉。
| 角色 | 职责 | 启动顺序 |
|---|---|---|
| RPC 后端(客户端机) | 只跑后端进程,不加载权重 | 先起 |
| 服务端(主机) | 加载模型、切分层、暴露接口 | 后起 |
| 分层参数 | 决定每张卡分到多少层 | 在服务端配置 |
| 端口 | 显式指定,两端必须匹配 | 配置时对齐 |
跑通之后怎么确认它在真的并行
能出结果不等于在并行。看每台机器的显存占用和 GPU 利用率——两边都有明显负载,才算真正拆开了。一边很高、一边几乎不动,那就是没接上,或者分层全压到了一张卡上。
再做一次输出比对:同一段固定输入,多机结果和单机结果对不上,多半是分层数或者量化版本不对称。最后量一下延迟——先记单机基线,再对比多机。跨机通信有额外开销,收益不一定是正的。
- 看负载分布两台机器的显存和 GPU 利用率都要有明显数值,一边空转就是没拆开
- 比对固定输入同一段输入分别跑单机和多机,结果不一致先查分层数和量化版本
- 量延迟基线先记录单机延迟,再多机对比,通信开销可能吃掉并行收益
起不来的时候按这个顺序查
排查顺序很重要,别一上来就翻模型参数。先看端口通不通,再看两边版本号,最后才轮到模型参数。多数问题卡在前两步,翻参数的功夫往往白费。
显存报错优先调层数,别一上来改量化。量化是全局变化,层数才是可以局部拧的旋钮。日志里如果出现连接重试的循环,基本就是服务端比后端先启动了,调一下顺序就行。
- 第一步:端口通不通,用最简单的命令验证两端 RPC 端口
- 第二步:两边版本号是不是同一构建来源
- 第三步:分层参数是否和模型总层数对得上
- 第四步:显存报错先调层数,别急着改量化
- 第五步:日志刷重试循环,检查启动顺序
什么情况下这套不值得上
只有一张卡,或者模型单卡就能吃下——分布式只会增加通信开销和调试成本,没有收益。机房内网带宽不够、或者两台机器跨公网,延迟也会把并行收益吃光。
对稳定性要求高的生产场景,建议先用单机加更小的模型验证需求,确认真的需要横向扩,再考虑加机器。别为了分布式而分布式。
下一步想知道当前主流模型的体积和上下文规格,方便粗算分层,去站内资料库核对当时的数字;跑通后到速度测试页量一下多机延迟,和单机基线放一起比。→常见问题
两台机器版本不一样能混着用吗?
不建议。RPC 前后端对协议有要求,版本差一点可能出现握手成功但输出错乱。最省事的做法是两个节点从同一份源码编译,出问题时也能排除版本因素。
分布式之后速度一定会变快吗?
不一定。跨机通信会引入额外开销,单卡能跑下的模型拆到两台反而更慢。只有在模型确实放不进单卡、或者单卡速率明显不够时才值得拆,而且要先量出基线再对比。
服务端起来了但一直重连是什么原因?
先确认 RPC 后端是不是已经在前台跑着,再看端口是否被防火墙拦。顺序错了或者端口不通,表现都是同一个:日志里循环重试,看不到具体模型加载信息。