vllm和deepseek有哪些:钱要花在真用得上的地方

模型与算力

vllm 是推理框架,deepseek 是一批模型,搜这两个词的人多半把它们当成同类。这篇给一套分清两者、按需选用的判断标准和落地动作。

很多人是在同一个搜索框里敲下 vllm 和 deepseek 的:想本地跑一个 DeepSeek 模型,看教程里写 vllm 部署,就以为 vllm 也是一种模型。装了两天才发现一个是引擎、一个是被引擎加载的权重。这篇把两者的边界掰开,再给一条从「我要干什么」到「装哪个」的判断路径。

很多人是在同一个搜索框里敲下 vllm 和 deepseek 的:想本地跑一个 DeepSeek 模型,看教程里写 vllm 部署,就以为 vllm 也是一种模型。装了两天才发现一个是引擎、一个是被引擎加载的权重。更麻烦的是,deepseek 那一侧也不是一个东西,下面挂着一堆不同分工的分支,你下错一个,后面所有调试都白费。

这篇不铺概念,只解决两件事:这两样东西各自属于哪一格,以及你手上这个具体需求该先动哪一步。判断标准给到能直接照着走的程度,什么情况下不适用也一并说清。

先把两样东西摆到不同的格子里

vllm 是跑模型的推理引擎,本身不含任何权重。装完它,你手里依然没有模型可用,这一点新手最容易搞混。deepseek 是模型这一侧的名字,包含对话、推理、多模态等不同分支。两者是「播放器」和「片源」的关系,永远不会互相替代。

有个很实用的判断方法:看命令里出现的是什么。出现 pip install vllm,是在装引擎;出现模型名或者权重路径,是在指定被加载的模型。搜「vllm 下载模型」的人不少,但下载动作归模型仓库管,vllm 只负责把下好的权重起成服务。

vllm
推理引擎,负责把权重加载起来、对外提供接口、管并发和显存
deepseek
模型这一侧的品牌名,下面有对话、推理、多模态等不同分支
权重
真正干活的参数文件,从模型仓库拿,引擎只是加载它

什么时候该轮到 vllm 上

要对外提供接口、多个客户端并发调用、盯吞吐和首字延迟,这类场景上 vllm 比较合手。反过来,只是自己一个人聊天试效果,装 vllm 反倒绕远,用带图形界面的本地工具更省事,十分钟能出结果的事没必要折腾一晚上。

不适用的情形要说清楚:显存很小、只有一张消费级卡,或者模型权重格式还没被当前版本支持,硬上会卡在加载阶段,报错信息还特别含糊。动手前先去站内按模型规模估一遍卡数,估出来不够就别急着装。

  1. 写清用途一句话回答:单机自用还是对外服务。对外服务才需要认真比引擎。
  2. 估显存到 /compute/sizing 按模型规模填一遍,看当前卡能不能装下,装不下先考虑量化或换分支。
  3. 确认格式支持查当前引擎版本对目标权重格式的支持情况,不支持就换版本或换格式,别硬试。
  4. 装完先单条起服务后先发一条请求确认能出字,再压并发。顺序反了会把引擎问题和模型问题混成一锅。

deepseek 这一侧要分清的是哪个

同一个品牌下面有普通对话、推理型、多模态等不同分工,选错分支比选错引擎更常见:明明要处理图片,却下了纯文本权重,跑起来才发现根本读不了图。具体有哪些分支、各自规格,到 /models 按厂商筛一遍最省事,别靠记忆。

选之前先写清任务的三个条件:要不要看图、要不要长链思考、输出要多长。这三条定了,分支基本就定了。官方接口的价格与上下文规格在 /official-api/providers/deepseek 可以对照,本地跑和走接口的成本差异去 /inference 比,两边数字都按当时的页面为准。

你的需求先定哪一侧容易踩的坑
单机试效果、偶尔用模型分支一上来就装引擎,结果卡在配置上
对外提供接口、多客户端引擎 + 模型显存估少了,加载阶段就失败
要处理图片或长文档模型分支下了纯文本权重,功能直接对不上
想先比成本再决定接口页面对照拿旧数字做决策,规格已经变了

量化档位会影响能跑多大的权重,具体取舍见 /tools/model-cost-calculator,别照着别人的配置照抄,别人的卡和你的卡不是一回事。

动手前的对照清单

顺序很关键:第一步写下用途,单机自用还是对外服务;第二步定模型分支;第三步按显存倒推量化档位;第四步才选引擎。这个顺序反过来,你会先花时间装引擎,再发现模型根本跑不动。

  • 用途没写清就别装任何东西,先拿一句话回答自己
  • 分支按「要不要看图、要不要长链思考、输出多长」三条筛
  • 装完先跑单条请求确认能出字,再看并发
  • 报错先分类:拉不到权重是模型仓库的事,起服务失败是引擎和驱动的事,出字但答非所问才轮到模型本身
  • 接口延迟基线用 /tools/speed-test 量一遍,后面调参才有参照
  • 成本对照统一到站内页面看当时的数字,别用截图和旧笔记

分类报错这一条最省时间。很多人把「服务起不来」当成模型不行,换了两三个权重还是一样,其实是驱动或引擎版本的事。先看日志停在哪一步,比换模型快得多。

钱花在真用得上的地方,前提是先分清哪部分是引擎、哪部分是模型,剩下的才谈得上选。
下一步把你手上的任务按三条条件过一遍,再去模型库对号,规格和价格都按页面当时的数字核对。

常见问题

vllm 和 deepseek 是同一类东西吗?

不是。vllm 是推理引擎,负责把权重加载进显存并对外提供接口;deepseek 是模型这一侧的名字,权重文件才是被加载的对象。装 vllm 不等于你有了模型,下模型也不等于你能起服务。

我只想在本机试试 deepseek,需要装 vllm 吗?

多数情况不需要。单人对答、偶尔用一次,带界面的本地工具更省事。vllm 的价值在并发和吞吐,一个人的请求量用不上它,还要额外处理命令参数和端口。

为什么照着教程装完 vllm 还是启动不了?

先看报错落在哪一层:权重路径没填对、模型格式当前版本不支持、显存不够,三种表现完全不同。把完整报错和你的显存、模型名一起对照,别一上来就重装环境。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。