qwen3.8-27b 本地部署

你手上可能是一张消费级卡，也可能是公司闲置的服务器，看到这个模型想拉下来自己跑。卡在哪通常不是「装不装得上」，而是不知道该用哪档量化、上下文开多大、显卡到底够不够，装完才发现要么爆显存要么慢得没法用。这篇按顺序给评估步骤和判断标准，让你在动手前就把机器能不能撑住算清楚。

你手上可能是一张消费级卡，也可能是公司角落里那台闲置服务器。看到这个模型想拉下来自己跑，卡住的地方通常不是「装不装得上」，而是不知道该用哪档量化、上下文开多大、显卡到底够不够。很多人装完才发现不是爆显存就是慢得没法用，回头再调成本更高。

这篇按顺序给一套评估流程：先算显存和上下文账，再选量化档位和推理框架，最后按机器条件挑可行方案、留好翻车排查顺序。全程只讲判断标准和动作，具体数字请到你机器上和站内对应页面去核。

先算账：这台机器到底吃不吃得下

显存这块别只盯参数规模，把账拆成三块看：权重占的显存、KV 缓存占的显存、框架自身开销。权重看量化档位，KV 缓存看上下文长度和并发数，框架开销是固定底盘，三块加起来才是真实占用。缺哪块都容易估错。

上下文是隐形大头。同一个模型，上下文开小和开大，KV 缓存可能差出好几倍。评估时按你真实要处理的文本长度算，而不是按模型标称上限算——标称上限是极限值，不是你能一直跑的值。到站内测算类页面按参数量、量化与上下文跑一遍，比凭感觉估准。

• 权重先换算成字节数再对显卡显存，留出至少一两成余量给碎片和峰值；
• KV 缓存按「上下文长度 × 并发数」估，别只按单条请求算；
• 框架自身开销单独留一块，尤其是做服务化部署时；
• 多卡张量并行时单卡显存不等于总需求除以卡数，通信和分片会让实际占用更高，得按框架文档单独核。

量化档位怎么定：精度、显存、速度三角

选档位从高精度往下试：先看半精度能不能放下，放不下再降到 8 位、4 位。每降一档显存明显变小，但输出质量和长文本稳定性一般会跟着掉。这不是绝对关系，取决于任务类型和量化实现，所以要按你的实际任务试。

选档位要看你干什么。写代码、做结构化抽取这类对格式敏感的任务，低比特偶尔会冒出格式错；闲聊、摘要、改写这类任务对精度更宽容。同一个档位不同格式的实际占用和速度也不同，别只看名字，要看框架对它的支持程度。

• 从高精度往下试，别一上来就选最低档；
• 同档位优先选框架支持成熟、社区验证多的格式；
• 长文本场景重点测尾部上下文，别只测开头；
• 如果打算微调再部署，微调链路和量化链路的先后顺序要提前定。

框架与硬件组合：哪条路你这台机器走得通

硬件条件不同，走的路不一样。消费级单卡优先考虑对小显存友好、能自动做 CPU 卸载的方案；有多卡或专业卡再考虑吞吐优先的服务化框架。两条路的调参重点完全不同，前者调卸载比例，后者调批处理和并发。

判断顺序很关键：先确认框架支不支持你这个模型和量化格式，再看它支不支持你的卡，最后才比速度。顺序反了容易装到一半卡住，白折腾。具体支持矩阵和速度参考去站内工具目录与测速页面核对当时的数字。

1. 第一步 确认模型与格式支持在框架文档里查它支持哪些量化格式和模型结构，支持列表里没有就换框架，别硬改。
2. 第二步 确认硬件兼容查框架对你这张卡的支持情况，包括驱动和加速库版本要求，不满足先解决环境。
3. 第三步 盘非显卡成本内存要放得下没进显存的部分，硬盘留出权重文件空间，长时间满载要算散热和电费。
4. 第四步 决定自配还是租用把使用频率和时间跨度一起算，只是偶尔试几次，租卡或直接用托管接口往往更划算。

装完常见两种翻车：慢和爆

跑起来之后大概率遇到两种问题：慢和爆显存。慢的排查顺序是先看有多少层被卸载到 CPU 和内存，再看量化档位是不是太低导致解压开销大，最后才怀疑卡本身性能不足。顺序别颠倒，否则容易误判成硬件不够。

爆显存的排查顺序：降上下文、降并发、降量化档位，三项按影响从大到小调。调完记得重启服务，缓存不释放会污染下一轮判断，让你以为改动没生效。想量化对比，先量出自己机器的延迟基线再改配置，不然改完不知道是变好还是变差。

• 每次只改一个变量，改完重启服务再测；
• 先用站内测速工具跑一遍延迟基线，记下数字；
• 显存占用看似正常但输出断续，先怀疑网络或对端，而不是本地配置；
• 把每次配置和结果简单记一下，方便回退。

本地部署的难点不是装不装得上，而是先算清账、再选最小可行配置，最后按顺序排查。