qwen3.8 flash本地部署

你想把 Qwen Flash 这类轻量模型放到自己机器或内网服务器上跑，结果卡在第一步：不知道自己的卡够不够、该装什么框架、权重从哪来、跑起来慢是显存问题还是参数没调对。这篇按「先算显存、再搭环境、最后验收」的顺序走一遍，每一步给可执行动作和排查方向，具体数字到站内页面核对。

想把 Qwen Flash 这类轻量模型放到自己机器或内网服务器上跑，常见卡点其实不在模型本身，而在第一步没想清楚：我的卡够不够、装哪个框架、权重从哪来、跑起来慢到底是显存爆了还是参数没调对。这篇按「先算显存、再搭环境、最后验收」的顺序走一遍，每一步给能直接动手的动作和排查方向。

具体显存数字、各量化档位的实测占用这类会随时间变的信息，别照抄别人的截图，到站内页面按当时的参数自己算一遍。下面所有「多少够用」的判断，都给你换算逻辑和判断标准，不给死数字。

动手前先把三件事定下来

部署目的决定后面所有选择。单人本地调试，显存余量可以压得很紧，框架开箱即用就行；内网给多人调接口，就要留并发余量，还得考虑进程守护和日志。先写清楚这一条，能省掉一半返工。

• 确认部署目的：单人本地调试还是内网多人调用，两者对框架和显存余量的要求差很多
• 确认硬件底数：显卡型号、单卡显存、内存、磁盘剩余空间、驱动与 CUDA 版本，先记到一张纸上再选量化档位
• 确认权重来源与许可证：从官方渠道或可信镜像取权重，明确能不能商用，边界到 /open-weight-license-basics 对齐
• 确认调用方式：只跑命令行对话，还是要暴露 OpenAI 兼容接口给别的程序调

显存怎么估：按参数量、量化档位、上下文长度三段拆

显存占用分两笔账：一笔是权重本身，由参数量和量化位宽决定；另一笔是 KV 缓存，由上下文长度和并发数决定。很多人只算第一笔，结果一开长上下文就爆。两笔分开估，加起来再留一点系统余量。

小模型不等于能无脑跑长上下文。上下文拉到很长、并发又上去的时候，KV 缓存完全可能反超权重占用，这是最常见的「权重明明放得下却 OOM」的原因。估算方法和对照表到 /models/deploy 与 /compute/sizing 按当时的参数自己算一遍，别信口头结论。

• 显存不够时的降级顺序：先降量化档位，再降上下文长度，再减并发数，最后才是换卡
• 每降一档只改一个变量，改完重跑基线，否则说不清是哪个改动生效了
• 留出系统和其他进程的余量，不要按理论峰值刚好卡满

环境搭建与启动：框架选型 + 参数落点

vLLM

偏吞吐和多并发，适合内网当接口服务跑

Ollama

偏开箱即用和单机体验，适合本地调试起步

OpenAI 兼容接口

让上层程序用统一方式调用，换框架不用改业务代码

框架二选一的大方向：要吞吐和多并发选 vLLM，要开箱即用和单机体验选 Ollama，更细的选型依据见 /vllm-vs-ollama-selection。选定之后先跑最小参数组合确认能起来，再逐个加并发、加上下文，出问题才知道是哪个参数引入的。

1. 验证能启动用最低上下文、单并发启动，看到模型加载完成、能回一句话就算过。这一关不过，后面的参数都没意义。
2. 加上下文把上下文逐步拉到你真实需要的长度，每加一次看一眼显存峰值，涨到接近上限就停。
3. 加并发用压测工具同时发多条请求，观察显存和排队情况，直到延迟开始明显上升，记下这个并发数作为上限参考。
4. 接上层暴露接口后从业务侧真实调一次，确认超时、重试和鉴权都对得上。

国内网络取权重、拉镜像容易卡，提前配好镜像源或用本地权重路径，别把时间全耗在下载上。用国产卡或非 NVIDIA 卡的话走适配分支，先确认支持范围再动手，参考 /compute/domestic 里的适配说明。

跑通后的验收清单与排查顺序

能回话只说明跑起来了，不等于能上线。验收看四项：首 token 延迟、生成速度、显存占用峰值、连续跑一小时是否掉速或报错。这四项都要在真实并发下测，单发一条测不出问题。

• 慢的排查顺序：先看显存是否溢出到内存卸载，再看上下文是否过长，再看并发是否超了卡的承载，最后才看量化档位
• 准备一份固定提示词做基线，每次改参数后重跑对比，不然改了什么变好了说不清
• 上线前用 /tools/speed-test 量一次接口延迟基线，后面对比才有参照
• 记录每次改动和对应结果，别靠记忆回滚

先证明能跑，再证明跑得住，最后才谈跑得快。