大模型部署工具及优缺点怎么排查:先分清卡在装、跑还是接

模型与算力

按「装、跑、接」三层定位大模型部署工具的问题,给出一份可照着走的排查顺序和工具取舍标准,避免一遇问题就重装。

本地部署跑到一半,输出慢、连不上、报错刷屏,第一反应往往是卸了重装。多数时候重装没用,因为问题不在安装那一步。这篇按「工具装没装上、模型跑没跑起来、服务接没接出去」三层拆,每一层给几个能立刻验证的动作,顺带说清几款常见部署工具各自适合什么活,什么时候别用。

本地部署跑到一半,输出慢、连不上、报错刷屏,第一反应往往是卸了重装。多数时候重装没用,因为问题根本不在安装那一步。装没装上是一个问题,模型能不能加载进显存是另一个问题,服务能不能被别的程序调通又是第三个问题。这三件事混在一起查,很容易把时间花在重来一遍同样的错上。

这篇按这三层往下拆,每一层给几个能立刻动手验证的动作,再顺带说清几款常见部署工具各自适合什么活、什么时候别用。先别急着敲卸载命令,几分钟的定位通常比半小时的重装更值。

先分清是哪一层出问题,别急着卸

把链路拆成三层:工具本身装没装上、模型能不能加载进显存、服务能不能被别的程序调通。听着像废话,但实际排障时大部分人是三层一起怀疑,结果每一层都没查透。分开看,才知道哪一层真的病了。

  1. 第一层:看工具在不在命令行跑一次版本查询,能打印版本号说明工具本体没丢。报 command not found,问题就是安装或 PATH,跟模型无关。
  2. 第二层:单独装一个最小模型绕开任何应用,直接让工具加载一个小模型跑一句话。能出字说明显存、模型文件格式这条链通了;跑不动再往下查格式和显存。
  3. 第三层:直接用 curl 打本地端口不开前端、不接应用,用 curl 请求本地服务地址,看返回体是正常 JSON 还是连接拒绝。这一步能把应用层问题和部署层问题彻底隔开。

几款常见工具各自替谁干活

工具选错,后面所有排障都白搭。判断标准其实只有一个:你的请求是「一个人在聊天」还是「一堆程序在排队」。前者要的是开箱即用,后者要的是并发和稳定接口。名气大小跟这个没关系。

Ollama 这类开箱即用工具
一条命令拉模型就能聊,适合单机试玩、自己验证想法;并发一上来容易排队,正式服务要谨慎。
vLLM、SGLang 这类服务型框架
面向多并发和 OpenAI 兼容接口,适合有程序在调、要扛线上流量的场景;装和调参的门槛比前一类高。
llama.cpp 这条路
适合跑量化文件、机器偏弱或想精细控制上下文和线程数;灵活但需要自己拼参数,新手容易在启动参数上卡住。

说白了,先问自己一句:这个服务是我一个人用,还是别人的程序要连过来。答案不同,选型方向几乎就定了。性能数字和价格这类会变的指标,到 /rankings/rankings 和站内价格页核对当时的数字,别拿旧印象做决定。

优缺点别听介绍,用四个问题自测

工具介绍页写的优点基本都成立,问题是它不说自己的短板在什么负载下暴露。与其看描述,不如拿这四个问题去压一遍,答案比宣传页实在。

自测问题怎么测看到什么算过关
并发上来会不会排长队同时打十个请求,看延迟曲线延迟没有明显阶梯式爬升,没有大量超时
显存占用可不可控换量化档位前后各记一次峰值峰值能预估,不会一加载就贴近上限
报错日志够不够看清故意填错一个参数,看它报什么指出是哪一格、哪个文件、哪类错
接口是否 OpenAI 兼容拿标准格式请求打一次不用额外写适配层就能对上

第三行最容易被人忽略。报错只说失败、不指出具体位置的工具,平时感觉不出来,一出问题排障成本直接翻倍。第四行则直接影响工时:不兼容就得自己写适配层,这笔时间要提前算进去,别等接上了才发现。

照着走的排查顺序

顺序比方法重要。下面这四步按从内到外排,每一步都能把一类原因排除掉,走完还没好,基本能确定问题不在部署侧。

  • 第一步:确认工具版本与模型文件格式匹配,格式选错常表现为能读文件却跑不动
  • 第二步:单独加载一次最小规模模型,分清是模型本身的问题还是工具的问题
  • 第三步:绕开上层应用,直接用命令行或 curl 请求接口,把应用层问题隔离出去
  • 第四步:再查端口、绑定地址和鉴权,这三处填错最常见,也最容易被误判成工具坏了

这里有个常见误判:明明只是把服务绑在了 127.0.0.1,外部程序却从别的机器连,报的是连接超时,看着像服务没起来。先把绑定地址那一格改成对外可达再试,比重装快得多。反过来,把鉴权关掉图省事,本地玩玩无所谓,对外服务千万别这么干。

什么情况下这套顺序不适用

这套排查的前提是硬件和场景都没问题。有三种情况硬套它反而浪费时间。

机器本身的显存和内存不够,任何工具都跑不起来,先去对硬件账,别在软件层打转。多人共用的正式服务,排障要按发布流程走,在跑着流量的机器上随手重装是事故而不是排查。还有一种:你只是想比较不同模型的回答质量,部署工具的差异基本不影响结论,别在这上面耗时间。

下一步把自己工具的并发、显存和日志表现对照站内资料过一遍,再决定要不要换;也可到工具目录按场景筛选,少走选型弯路。

常见问题

部署工具跑不起来,是不是该先换个工具试?

先别换。把命令行报错原文读完,多数是模型文件格式和工具不匹配,或者显存不够自动卸载到内存导致极慢。换工具等于把同一个坑再踩一遍。确认是工具能力不够,比如要并发但它天生单请求排队,再换才有意义。

怎么判断该用 Ollama 还是 vLLM 这类服务框架?

看调用方是谁。自己一个人在本机聊天、写脚本做试验,Ollama 省事。已经有程序或多人要通过接口调用、需要同时处理多个请求,就得看服务型框架,它对并发和显存调度的处理是另一套思路。两边都装过一遍再选,比看介绍靠谱。

工具装好了但别的程序连不上,问题出在哪?

大概率不在工具。先确认服务监听的是本机地址还是对外地址,再看端口是不是被防火墙挡了,最后看调用方填的地址和密钥对不对。用本机 curl 打一遍接口,能通说明工具没问题,是网络或配置这一层的事。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。