很多人是在同一个搜索框里敲下 vllm 和 deepseek 的:想本地跑一个 DeepSeek 模型,看教程里写 vllm 部署,就以为 vllm 也是一种模型。装了两天才发现一个是引擎、一个是被引擎加载的权重。这篇把两者的边界掰开,再给一条从「我要干什么」到「装哪个」的判断路径。
很多人是在同一个搜索框里敲下 vllm 和 deepseek 的:想本地跑一个 DeepSeek 模型,看教程里写 vllm 部署,就以为 vllm 也是一种模型。装了两天才发现一个是引擎、一个是被引擎加载的权重。更麻烦的是,deepseek 那一侧也不是一个东西,下面挂着一堆不同分工的分支,你下错一个,后面所有调试都白费。
这篇不铺概念,只解决两件事:这两样东西各自属于哪一格,以及你手上这个具体需求该先动哪一步。判断标准给到能直接照着走的程度,什么情况下不适用也一并说清。
先把两样东西摆到不同的格子里
vllm 是跑模型的推理引擎,本身不含任何权重。装完它,你手里依然没有模型可用,这一点新手最容易搞混。deepseek 是模型这一侧的名字,包含对话、推理、多模态等不同分支。两者是「播放器」和「片源」的关系,永远不会互相替代。
有个很实用的判断方法:看命令里出现的是什么。出现 pip install vllm,是在装引擎;出现模型名或者权重路径,是在指定被加载的模型。搜「vllm 下载模型」的人不少,但下载动作归模型仓库管,vllm 只负责把下好的权重起成服务。
- vllm
- 推理引擎,负责把权重加载起来、对外提供接口、管并发和显存
- deepseek
- 模型这一侧的品牌名,下面有对话、推理、多模态等不同分支
- 权重
- 真正干活的参数文件,从模型仓库拿,引擎只是加载它
什么时候该轮到 vllm 上
要对外提供接口、多个客户端并发调用、盯吞吐和首字延迟,这类场景上 vllm 比较合手。反过来,只是自己一个人聊天试效果,装 vllm 反倒绕远,用带图形界面的本地工具更省事,十分钟能出结果的事没必要折腾一晚上。
不适用的情形要说清楚:显存很小、只有一张消费级卡,或者模型权重格式还没被当前版本支持,硬上会卡在加载阶段,报错信息还特别含糊。动手前先去站内按模型规模估一遍卡数,估出来不够就别急着装。
- 写清用途一句话回答:单机自用还是对外服务。对外服务才需要认真比引擎。
- 估显存到 /compute/sizing 按模型规模填一遍,看当前卡能不能装下,装不下先考虑量化或换分支。
- 确认格式支持查当前引擎版本对目标权重格式的支持情况,不支持就换版本或换格式,别硬试。
- 装完先单条起服务后先发一条请求确认能出字,再压并发。顺序反了会把引擎问题和模型问题混成一锅。
deepseek 这一侧要分清的是哪个
同一个品牌下面有普通对话、推理型、多模态等不同分工,选错分支比选错引擎更常见:明明要处理图片,却下了纯文本权重,跑起来才发现根本读不了图。具体有哪些分支、各自规格,到 /models 按厂商筛一遍最省事,别靠记忆。
选之前先写清任务的三个条件:要不要看图、要不要长链思考、输出要多长。这三条定了,分支基本就定了。官方接口的价格与上下文规格在 /official-api/providers/deepseek 可以对照,本地跑和走接口的成本差异去 /inference 比,两边数字都按当时的页面为准。
| 你的需求 | 先定哪一侧 | 容易踩的坑 |
|---|---|---|
| 单机试效果、偶尔用 | 模型分支 | 一上来就装引擎,结果卡在配置上 |
| 对外提供接口、多客户端 | 引擎 + 模型 | 显存估少了,加载阶段就失败 |
| 要处理图片或长文档 | 模型分支 | 下了纯文本权重,功能直接对不上 |
| 想先比成本再决定 | 接口页面对照 | 拿旧数字做决策,规格已经变了 |
量化档位会影响能跑多大的权重,具体取舍见 /tools/model-cost-calculator,别照着别人的配置照抄,别人的卡和你的卡不是一回事。
动手前的对照清单
顺序很关键:第一步写下用途,单机自用还是对外服务;第二步定模型分支;第三步按显存倒推量化档位;第四步才选引擎。这个顺序反过来,你会先花时间装引擎,再发现模型根本跑不动。
- 用途没写清就别装任何东西,先拿一句话回答自己
- 分支按「要不要看图、要不要长链思考、输出多长」三条筛
- 装完先跑单条请求确认能出字,再看并发
- 报错先分类:拉不到权重是模型仓库的事,起服务失败是引擎和驱动的事,出字但答非所问才轮到模型本身
- 接口延迟基线用 /tools/speed-test 量一遍,后面调参才有参照
- 成本对照统一到站内页面看当时的数字,别用截图和旧笔记
分类报错这一条最省时间。很多人把「服务起不来」当成模型不行,换了两三个权重还是一样,其实是驱动或引擎版本的事。先看日志停在哪一步,比换模型快得多。
钱花在真用得上的地方,前提是先分清哪部分是引擎、哪部分是模型,剩下的才谈得上选。下一步把你手上的任务按三条条件过一遍,再去模型库对号,规格和价格都按页面当时的数字核对。→
常见问题
vllm 和 deepseek 是同一类东西吗?
不是。vllm 是推理引擎,负责把权重加载进显存并对外提供接口;deepseek 是模型这一侧的名字,权重文件才是被加载的对象。装 vllm 不等于你有了模型,下模型也不等于你能起服务。
我只想在本机试试 deepseek,需要装 vllm 吗?
多数情况不需要。单人对答、偶尔用一次,带界面的本地工具更省事。vllm 的价值在并发和吞吐,一个人的请求量用不上它,还要额外处理命令参数和端口。
为什么照着教程装完 vllm 还是启动不了?
先看报错落在哪一层:权重路径没填对、模型格式当前版本不支持、显存不够,三种表现完全不同。把完整报错和你的显存、模型名一起对照,别一上来就重装环境。