不少人搜到 vLLM 调度器有 v0、v1 两套实现,点进文档就懵:不知道从哪读起,也不知道自己手上的部署到底跑的是哪一套。更麻烦的是,调度行为差异往往不体现在跑通上,而是并发一高、请求一长才开始显形。这篇不背结论,只给一套入门动作:先定位你看的是哪一层,再用小流量把自己的场景问出答案,最后才谈要不要调参或换配置。
搜到 vLLM 调度器分 v0、v1 两套实现,点进文档就懵,这太正常了。更麻烦的是你手上那个部署到底跑哪套,很多人压根没确认过。调度行为的差异不会在跑通那一刻显形,往往是并发一上来、请求一拉长才开始咬人。所以别急着读源码,先定位你要观察的是哪一层。
这篇不给结论,只给一套能照着走的动作:先分清观察层级,再用小流量把自己的场景问出答案,最后才谈调参还是换后端。顺序反了,读再多文档也是白读。
先别翻源码,先弄清楚你要观察的是哪一层
调度这词太泛,很多人一上来就钻实现,结果越读越糊。我的建议是把问题拆成三层看:请求进队时谁先谁后的排队策略、拼批次时的取舍、显存和 KV 缓存的回收时机。这三层出问题的表现完全不同——排队策略不对,你会看到短请求被长请求堵住;批次拼得激进,延迟抖得厉害;回收不及时,跑一阵就 OOM。
想清楚自己关心哪层,再决定读到什么深度。目标只是把服务跑稳的人,读到能解释「为什么我的请求排在别人后面」就够了,不必追到实现细节。真要压榨吞吐,那才需要往下钻。
- 排队策略
- 决定请求进队的先后,短请求被长请求拖住多半出在这层
- 批次拼装
- 决定一次塞多少请求进 GPU,影响延迟抖动和吞吐上限
- KV 缓存回收
- 决定显存什么时候释放,回收慢了跑久了就爆
用小流量把自己的场景问出答案
别一上来就压测。先固定输入长度和并发数各跑一组,每次只改一个变量,看延迟和吞吐谁先变。两组数字混着改,最后得到的结论没法归因,等于白跑。
有个特别容易感知的对照:把长请求放前面和放后面各试一遍,观察短请求是不是被明显拖住。这就是调度差异最直观的暴露点。测出来的基线记下来,下次换配置才有可比对象,别凭感觉说「好像快了点」。
- 锁定变量固定输入长度和并发数,只动一个参数,跑完记录延迟和吞吐
- 长短期对照长请求前置、后置各跑一遍,看短请求延迟有没有被拉长
- 留基线把数字记成表,后续每次改配置都对照同一组指标
什么情况下这套入门步骤不适用
不是所有场景都值得在调度上花时间。只有单条请求、并发常年个位数的服务,调度差异基本被网络往返和模型加载时间盖住了,折腾半天收益接近于零。这种情况先把接口稳定性和超时设好更实在。
另外两种情况也得先绕开:已经在用托管推理服务,你根本调不到调度器,能动的只有请求侧的分批和超时;显存本来就吃紧,得先解决放不放得下的问题,再谈调度策略,顺序反过来就是白忙。
| 你的处境 | 先做什么 | 暂时别碰什么 |
|---|---|---|
| 单请求、低并发 | 接口稳定性和超时设置 | 调度参数细调 |
| 在用托管服务 | 请求侧分批与超时 | 调度器内部行为 |
| 显存吃紧 | 模型量化、并发上限 | 批次拼装策略 |
| 高并发、长请求混杂 | 分层定位加小流量对照 | 盲目照搬旧教程配置 |
一份可照着走的动作顺序
第一步读官方文档里调度相关章节,只记有哪些可调项和默认值,别陷进去。第二步跑两组对照请求,把排队现象复现出来。第三步确认这到底是配置问题还是版本行为差异。第四步再决定调参、换后端还是先维持现状。每步都写下来你改了什么、观察到什么,出问题时能倒回去,而不是靠回忆。
- 遇到报错先分清是调度拒绝还是上游限流,两类问题处理路径完全不同
- 改配置前先备份当前参数,改完用同一组指标对比
- 现象复现不出来时,先怀疑测法而不是继续调参
- 换后端之前,把旧后端的基线数字留一份做对照
说到底,入门 vLLM 调度的门槛不在读多少源码,而在你有没有把自己的场景问清楚。先定位层级,再用小流量对照,最后才动配置。这套顺序对新手和老手都成立。
下一步想拿自己的场景和公开基线对一对,可以到站内测速页面跑一组对照,再回来决定要不要调参。→常见问题
vLLM 的 v0 和 v1 调度器,入门需要读源码吗?
大多数情况下不需要。先把可调项、默认行为和排队现象对上,能解释自己服务里出现的延迟差异就够了。真要读源码,也建议先有具体的复现现象,带着问题去读,比通读一遍有效得多。
怎么判断我的部署跑的是哪一套调度?
看启动时的配置项和日志输出最直接,版本说明里也会写默认启用情况。别凭教程年份猜,很多旧文章的参数名在新版本里已经换了位置或含义,照抄容易把配置填进不相干的字段。
调度差异对我的业务影响大吗?
看你的请求形态。长短请求混杂、并发又不低的时候,排队顺序和批次拼装的影响很明显;如果请求长度稳定、并发很低,差异常常被其他环节盖住,优先去查网络和模型加载更划算。