本地跑 deepseek v3,最常见的场面是命令敲下去没反应、进度条不动、或者服务起来了但答得乱七八糟。这几件事原因完全不同,混在一起查只会越查越乱。这篇按「卡在哪一层」给一套排查顺序:先看日志里最后一句是什么,再决定动模型、动显存还是动服务配置,每一步都给出可对照的信号。
本地跑 deepseek v3,翻车现场基本就三种:命令敲下去终端一动不动,日志刷了两屏突然进程没了,或者服务明明起来了、发请求过去却答得驴唇不对马嘴。这三件事的病因差着十万八千里,搅在一起查只会越查越乱——你会一边重下权重一边改启动参数,最后连哪一步改坏都说不清。
我建议的节奏是反过来:先别动手修,先看日志里最后一句正常输出是什么,那之后的每一行才是线索。按「卡在哪一层」分五层走:下载、加载、显存、服务、输出。每层都有能一眼对照的信号,信号对上了再动那一层的东西,其余别碰。下面就按这个顺序拆。
先别动手,找到日志里最后一句正常输出
很多人排查的第一反应是重装框架,这几乎是成本最高、收益最低的一步。真正该做的是把终端输出和框架日志分两处看:终端通常只显示下载进度条和加载百分比,真正的报错堆栈往往落在服务日志文件里,或者被框架吞进了一个 log 目录。先确认你看的是哪一份。
找到最后一句正常输出后,判断分水岭其实就三条路:进程直接退出、进程活着但卡住不动、进程正常起来但请求失败。这三种走向的处理方向完全不同——退出看报错关键字,卡住看资源和锁,请求失败看网络和格式。别把「卡住」当成「退出」来治,装包是治不好卡住的。
还有个动作很省事:同一份权重,换一个启动方式再跑一次。命令行直启、框架脚本启、容器启,三种里换一种能复现同样的错,说明问题在权重或环境;换一种就过去了,问题在启动参数。这一步能帮你排掉一半的瞎猜。
- 终端看进度,日志文件看报错,两个都打开再开始查
- 进程退出了记下最后一行报错,进程卡住先看 CPU 和显存占用
- 换一种启动方式复现一次,区分权重问题和参数问题
- 查之前先把当前配置备份一份,避免改着改着回不去
第一层:权重没下全,后面全白搭
下载没下全的表现很好认:加载刚开始就报文件缺失,或者报分片数量对不上,再或者哈希校验失败。注意这三种报错语气都不一样,文件缺失是「找不到」,分片不对是「数量不符」,校验失败是「内容不对」——最后这种最坑,文件明明在,但内容是坏的。
动作很朴素:别只看总大小,去对照仓库里的文件清单数一遍分片。总大小对得上但分片少一个的情况太常见了,尤其是那种按序号命名的文件。数完再逐个过一遍校验,比盯着一个总数字靠谱。
网络中断后续传也容易留下半截文件,这种文件大小看着差不多,加载时要么报校验失败,要么表现得很诡异。这种情况别手工补齐,重新拉一遍整个目录更省事,补文件的时间成本通常比排查它高。
| 日志信号 | 大概率原因 | 先做什么 |
|---|---|---|
| 找不到某个分片文件 | 下载中断或路径写错 | 按清单核对文件数量和路径 |
| 分片数量不符 | 清单里少下了一部分 | 重拉整个目录,不要手工补 |
| 哈希校验失败 | 文件损坏或下到一半断了 | 删掉重下,先别怀疑框架 |
| 加载直接拒绝读权重 | 格式或版本不匹配 | 确认权重格式和框架支持的范围 |
第二层:加载阶段的显存和精度问题
显存不够和模型报错,日志长相不一样,这是最容易混的一处。显存不够的典型信号是加载到一半进程被系统杀掉,或者报的是内存分配失败,错误信息里压根没提模型本身。模型报错则会明确告诉你哪一层、哪个张量、什么形状不对。看到分配失败就去看显存,别去改模型配置。
量化档位和框架版本要能对上。格式不对时,加载往往直接拒绝,而不是悄悄降级——所以如果你期待它自动降级却没降,先怀疑格式根本没被识别。这时候去翻框架的加载日志,看它识别出来的量化类型是什么,跟你以为的是不是一回事。
还有个习惯值得养成:先把上下文长度和并发数压到最低跑通,再一点点往回加。一次配到位的做法看着快,出问题时你根本不知道是哪个参数压垮的。压到最低能跑通,说明权重和环境没问题,剩下的就是往上加着试。
第三层:服务起来了但连不上
服务起来但连不上,最常见的一格是监听地址写错了。绑定到本机回环地址,本机 curl 通,局域网里另一台机器就是连不上,这不是服务坏了,是它压根没对外监听。先确认绑定地址,再确认端口有没有被别的进程占着。
验证用最简单的健康检查和一次短请求,别拿长 prompt 去试。短请求能把网络层和格式层的问题快速暴露出来,长 prompt 只会让超时和报错混在一起,看不出是哪一层。
鉴权头、路径前缀、OpenAI 兼容格式这三处对不上时,报错信息往往长得很像,都是「未授权」或者「路径不存在」。排查顺序建议是先看路径前缀,再看鉴权头,最后对请求体格式——因为路径错了根本到不了鉴权那一步,先查后面的没意义。
- 确认监听地址看启动日志里打印的绑定地址,是回环还是对外,端口号对不对
- 本机发一次短请求用最短的请求体打健康检查接口,看返回结构是否正常
- 换另一台机器再试本机通、别的不通,基本就是绑定地址或防火墙
- 对路径和鉴权确认路径前缀、鉴权头字段名、请求体格式三处都跟服务端约定一致
第四层:能回答,但答得不对
服务通了,请求也返回了,但答案是乱码、重复,或者看着通顺却答非所问。乱码和重复多半是对话模板和分词器没对上,换错对话模板是高频误判——模型训练时用的模板和你部署时拼的模板不是一套,输出就会退化成一堆重复字符。
答非所问但语法通顺,方向就不一样了。先查系统提示和温度参数,再怀疑权重本身。温度调得太高会让输出发散,系统提示写错会让模型理解错任务,这两处都是配置问题,跟权重质量无关。
最快的定性办法:同一个 prompt,走官方接口再跑一次对照。两边输出质量差得远,说明你的部署有问题;两边差不多,那就是模型本身的能力边界,别再折腾部署了。这一步能帮你省下大量无效排查。
- 乱码、重复 → 先查对话模板和分词器是否配套
- 答非所问但语句通顺 → 查系统提示和温度参数
- 同一 prompt 对照官方接口 → 分清部署问题和能力边界
- 模板对不上时,去框架文档里找它默认的模板名,别自己拼
第五层:一切正常就是慢
能跑、能答、就是慢,这种最磨人。先量两个数:首字延迟和每秒输出。首字慢说明卡在预处理和加载,输出慢说明卡在解码。两个数分开看,才能知道该动哪一段,否则你调半天可能动的是不相关的那一半。
显存占用接近上限时,速度会断崖式下降,这时候加并发只会更慢,不会更快。很多人一看慢就加并发,结果越加越卡,原因就在这里。先看显存占用率,再决定是减并发还是换量化档位。
调优的时候把并发、上下文长度、量化档位三者列成一张小表,一次只动一个变量,动完记下两个速度数字。三个一起改,你永远不知道是哪个起了作用。这事儿麻烦在耐心,不在技术。
| 现象 | 先量什么 | 对应动作 |
|---|---|---|
| 首字很慢、后面正常 | 首字延迟 | 查预处理和加载,别动解码参数 |
| 首字正常、输出很慢 | 每秒输出 | 看显存占用,考虑降并发或换档位 |
| 两者都慢 | 显存占用率 | 先降并发,再考虑量化档位 |
| 越加并发越慢 | 显存是否接近上限 | 回退并发数,问题多半在显存 |
一份照着走的排查清单
把上面五层压成一张顺序清单,照着从上往下走,任何一步不通过就停在那里修,别跳过去继续往下配。跳步的代价是你会在一个错误的基线上叠加更多改动,最后连原始问题是什么都忘了。
修完记得把当时的配置和日志留一份。换机器、换框架版本、换量化档位的时候,这份记录能让你直接对照,而不是从零再猜一遍。排查这事儿,留痕比聪明有用。
- 权重完整性文件数量和校验都过,路径跟清单一致
- 加载日志没有内存分配失败,框架识别出的量化类型符合预期
- 服务可达本机和另一台机器都能访问到监听端口
- 短请求返回请求体结构正常,路径和鉴权都对得上
- 速度基线首字延迟和每秒输出各记一个数字,作为后续对照
- 配置留档当前配置和日志存一份,标明改动点
如果你的目标是选一台合适的中转或者租卡方案,而不是自己从头搭,那排查思路可以简化成「先看服务商的可信度,再看速度基线」。站内的中转站检测和测速工具能帮你拿到当时的数字,省得自己一项项量。
下一步把你现在卡住的那一层对上号之后,去站内测速和价格追踪页核对当时的基线数字,再决定是继续本地调还是换方案。→常见问题
服务启动没报错,但客户端一直超时,先查什么?
先在本机用 curl 打一次健康检查和一次短请求。本机能通就是网络或绑定地址的问题,主机名、端口映射、防火墙逐个排;本机也不通,回头看服务日志有没有真正进入监听状态。
显存看起来够,为什么加载还是失败?
显存够不等于够用。上下文长度、并发预留、框架自身的缓存都会额外占一块。先把上下文和并发调到最低跑通,再逐步加回去,能看出到底是哪一项超了。
回答带乱码或者一直重复同一句,是模型坏了吗?
多数情况是对话模板和分词器没对上,尤其是换了推理框架之后。按模型卡上的模板格式核对,再用同一 prompt 走官方接口对照一次,就能分清是部署还是模型本身。
要不要一上来就换更小的量化版本?
不建议。量化只是把显存问题往后推,其他层的毛病照样在。先确认加载和服务这两层干净,再考虑降档,否则改完还是不通,等于白折腾一轮。
换机器之后全部重配一遍很麻烦,有办法省点事吗?
把启动命令、环境变量、模型路径三样记成一份清单,换机器照抄。首字延迟和输出速度各留一个基线数字,新机器一跑就能看出是慢在硬件还是慢在配置。