vllm github qwen3.5

你可能已经装好 vLLM，模型也下拉了，结果一跑就报显存不够、上下文被截断，或者干脆不知道仓库里哪些配置该改、哪些别动。这篇不讲原理，只给一份动手清单：从仓库里该看哪几个地方，到起服务前必须确认的参数，再到出错时按什么顺序查。参数具体取值不用记死，按你手上的卡和模型现场算。

你可能已经装好 vLLM，模型也下拉了，结果一跑就报显存不够、上下文被截断，或者干脆不知道仓库里哪些配置该改、哪些别动。这篇不讲原理，只给一份动手清单：从仓库里该看哪几个地方，到起服务前必须确认的参数，再到出错时按什么顺序查。

参数取值不用记死，按你手上的卡和模型现场算。你搜「vllm github qwen3.5」多半是想确认两件事：这个模型在 vLLM 仓库里到底怎么配、部署的时候哪些坑要先躲开。下面按这四块讲，每块都给能直接落地的动作。

仓库里真正要看的就那几处

很多人上来就把示例脚本整个复制，改个模型路径就开跑。示例是用来演示「能跑」，不是生产默认值，里面常常带着小上下文、低并发、单卡的设定。你抄完发现扛不住真实流量，不一定是代码问题，是起点选错了。

• 安装说明：决定你装的是源码版还是包版，两者在参数支持和依赖版本上不一样，装之前先看这一段。
• 示例脚本：只当模板用，重点看它启动了哪些参数、哪些留空，留空的往往就是需要你按机器补的。
• 参数文档或命令行帮助：以你本地实际版本为准，网页文档可能对应的是更新的版本。
• 模型支持列表：确认权重格式和架构在支持范围内，这里的信息比第三方博客截图可靠。

遇到「这个模型到底支不支持」的问题，先去翻 issues 里已关闭的同类帖子。已经有人踩过并贴了配置的，比在群里等回复快得多。另外，issue 里的配置也是别人机器上的，照抄前先确认你的卡数、显存和对方是不是一个量级。

起服务前必须定下来的几个参数

参数分两类：一类是加载时就定死的，改一次要重启；另一类是可以在请求里带的，改起来灵活。新手最容易混的是把两类搅在一起，调了半天没生效，其实改的地方不对。

顺序建议是从左到右：先定卡数和并行度，再定显存比例，然后加长度，最后加并发。反过来做，你会一直撞显存墙，却不知道是哪个参数顶上去的。

第一次跑通的最小动作顺序

1. 确认卡能被看到在容器里和宿主机上都跑一次显卡探测命令，两边结果对不上就先解决容器挂载或驱动问题，别急着加载模型。
2. 最小上下文加载把单条序列最大长度设到很小的值，先把模型权重读进来，确认能吐出一句话。这一步只验证「加载和推理链路通」，不验证性能。
3. 加长度每次只往上加一档，记录改前改后的显存占用。跑到哪一档开始报显存不足，你的可用区间上界就有了。
4. 加并发在稳定长度基础上加并发序列数，同时观察延迟和吞吐变化。两条曲线哪条先崩，就说明你当前场景更适合哪一边。

每一步都留一条记录：改了哪个参数、改前改后显存和响应有什么变化。出了问题时，这份记录比回忆靠谱得多。想省事的话，把启动命令存成脚本，参数注释写清楚，下次换机器直接复用。

报错按这个顺序查，别乱试

报错先归类，再动手。四类问题的解法几乎没有重叠，乱试只会把变量越改越多，最后连原本能跑的配置都回不去。

显存不足

先降长度和并发，再看要不要加卡或换量化权重，最后才怀疑代码。

模型加载失败

优先查权重路径是否完整、格式是否匹配，很多是下载断了或版本对不上。

端口或网络不通

看端口是否被占、进程是否退干净、容器网络是否通，和模型本身无关。

请求格式不对

看接口字段名和结构是否符合你本地版本的文档，报错信息一般在响应体里。

• 第一遍只解决「能不能起来」，不追求性能。
• 第二遍解决「能稳定处理一条请求」，把长度定下来。
• 第三遍才加并发，压出瓶颈。
• 每次都从干净进程开始，别在半死的进程上继续调。

起不来又没明显报错的，看日志最后几行和端口占用，八成是端口冲突或上一个进程没退干净。判断「是不是资源不够」时，把当时的显存占用、并发数、长度三个数记下来，再和你能跑的稳定配置对比，比凭感觉猜准。

先让一条请求跑通，再让一批请求跑稳，最后才谈跑快。