sglang和vllm注意事项:上生产前照这份顺序核对

模型与算力

把 sglang 和 vllm 上线前最容易踩的坑按顺序列出来:显存与并发怎么估、版本和权重怎么对、参数填哪几格、出问题先查哪里。

搜「sglang和vllm注意事项」的人,多半不是还没听过这两个框架,而是服务已经起来了、压测也过了,却在上线前一天出岔子:并发一涨就 OOM,换了个模型权重加载报错,参数改了一格吞吐掉一半。这篇不给结论式的「谁更快」,只给一套上生产前按顺序核对的清单,以及每一步不适用的情况。

搜这个词的人,多半不是还没听过 sglang 和 vllm,而是服务已经起来了、压测也跑过了,却在上线前一天出岔子:并发一涨就 OOM,换了个权重加载直接报错,参数改了一格吞吐掉一半。这类问题跟框架本身关系不大,跟你上线前核对过哪些格子关系很大。

这篇不给「谁更快」这种结论,那种结论换个模型、换个卡、换个上下文长度就翻盘。只给一套按顺序走的核对清单:先算什么、再对什么、参数看哪几格、炸了先查哪里。每一步也写清什么情况下不适用,免得你照搬。

先算显存和并发,再谈框架

很多人选框架的顺序是反的:先决定用 sglang 还是 vllm,再想办法把它塞进现有卡里。实际用下来,卡数和上下文长度一旦定死,框架的选择空间其实很小。先算清楚能跑多少,再挑谁跑得舒服。

估算的时候四个量要一起看:权重大小、量化档位、上下文长度、目标并发。只算权重是最常见的误判,权重占住了显存的大头,但 KV cache 才是随并发线性往上顶的那一头。上下文开得长,单请求的 cache 就厚,并发数自然要往下压。

  • 权重按量化档位折算,别拿原始精度直接套,量化和非量化差得不是一点
  • 上下文长度按实际业务里最长的那个请求来估,不要按模型宣称的上限估
  • 并发数先当成一个待实测的区间,不是查表能查出来的固定值
  • 留一截显存余量给框架自身的调度和临时缓冲,占满就等于把 OOM 定时
  • 拿不准就先去 /models/deploy 按模型和量化档位算一遍,再到 /compute/sizing 对照卡数

版本和权重对不上,是最没技术含量的失败

这类失败最冤:代码没问题,卡也没问题,就是镜像里的框架版本、权重格式、分词器三者没成套。权重下了新格式,镜像还是老版本,加载时直接报张量 key 对不上。分词器换了版本,输出看着正常,实际切词已经偏了,质量悄悄掉下去。

非英伟达路线尤其要对齐。昇腾、国产卡这类平台,官方主线镜像经常跑不通,得用对应的适配分支。先确认卡型能不能租到、适配版本覆盖到哪个框架版本,再去配镜像,顺序别倒过来。

  1. 锁三件套把框架版本、权重格式、分词器版本写进同一份部署记录,三者成套升级,禁止单独换其中一个。
  2. 先小后大拿最小的那个权重先加载一遍,能起来再换生产权重,省得在大文件上反复试错。
  3. 读第一行报错加载失败先看 traceback 第一行,多数情况那里已经写清是哪个张量或哪个 key 对不上,别从最后一行往回猜。
  4. 对卡型非英伟达卡先去 /compute/domestic 确认卡型和可租情况,再决定镜像分支,不要拿主线镜像硬套。

参数就那几格,填错比不填更糟

启动参数有十几项,真正常填错的就那么几个。上下文上限、显存占用比例、张量并行数、最大并发批,这四项是必查的。显存占用比例留太高,压测时刚好跑得通,线上多来一路请求就炸,而且炸得毫无规律。

张量并行数要和卡数整除对齐,改完记得同步改启动命令。配置文件里改了一半、命令行里还是旧值,这种事故不少见,服务起来看着正常,实际只用了部分卡。

参数常见填错判断标准
上下文上限按模型宣称上限填按业务最长请求填,再留一点余量
显存占用比例压到接近满留出调度缓冲,压测通过不代表线上安全
张量并行数和卡数不整除必须能整除,改配置同步改启动命令
最大并发批凭感觉填大以阶梯压测测出的拐点为准,别拍脑袋

服务暴露方式和鉴权那几项别嫌麻烦。内网测试环境无所谓,一旦挂到公网就是另一回事,改之前先确认有没有前置网关。接口这层想量延迟基线,可以对照 /tools/speed-test 的说明跑一轮。

出问题时的排查顺序,别乱跳

线上出问题最怕乱跳:一边改参数一边重装镜像,最后不知道是哪一步修好的。先分类,再动手。大体就三类:起不来、起得来但答得慢、答得对但并发上不去。三类的原因几乎不重叠。

  • 起不来:查版本和权重对不对,镜像分支和卡型匹配不匹配
  • 答得慢:查批处理策略和调度参数,以及上下文是不是开得过长
  • 并发上不去:查显存余量和限流配置,看是不是调度层先把自己卡住了
  • 同一份请求压测两次做对比,比换框架重装一遍有用得多
  • 怀疑质量退化时,先用 /tools/quality-check 确认输出本身有没有偏

这中间有个容易忽略的点:答得慢不一定是框架慢,也可能是请求本身太长。把上下文长度降下来再压一次,结果往往差很远。排查时先控制变量,一次只动一项。

什么情况下这套清单不适用

单机单卡、日请求量很小的场景,直接上 vllm 或 sglang 属于过度设计。这类场景先用轻量方案跑通,把业务验证完,再谈推理框架的调优,收益和投入不成比例。

已经是托管推理服务的,框架层的参数根本不归你管。这时候核对重点要转到限流、超时和回退策略上,盯着框架参数看是白费力气。还有只做一次性离线批处理、不在乎延迟的场景,调度参数调优的收益远小于把任务拆分干净。

下一步把上面这份顺序存下来,上线前逐条过一遍;卡数和模型搭配还没定的,先去站内按你的模型和量化档位算一遍再用这个数字去谈卡。

常见问题

sglang 和 vllm 到底该选哪个?

看请求形态。请求短、并发高、要前缀复用(比如固定系统提示加多轮对话),sglang 的调度更省事;要接的东西杂、生态和文档更熟,vllm 更稳。两边都能跑通时,用你自己那批真实请求各压一遍再定,别凭榜单选。

压测通过了,上线还是 OOM,怎么回事?

多半是压测的上下文长度和真实请求不一致。线上用户贴长文档、多轮对话累积,KV cache 涨得比压测快。把显存占用比例往下调一档,同时给单请求上下文设上限,比加卡快。

权重加载报错,是不是模型下坏了?

先别重下。看报错第一行写的是哪个参数或张量对不上,八成是框架版本和权重格式不匹配,或者张量并行数填错。换了适配分支的镜像或改对并行数,通常就好了。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。