qwen3.5 plus 本地部署

想在本地把 qwen3.5 plus 跑起来的人，通常卡在三件事：不确定自己的机器够不够、不知道该先装框架还是先下权重、跑起来后显存爆了或速度慢到没法用。这篇不吹效果，只给一套从对配置到起服务的检查顺序，以及每步对不上时该往哪查。

想在本地把 qwen3.5 plus 跑起来的人，卡点其实高度集中：一是不知道自己那台机器到底够不够，二是不知道先装框架还是先下权重，三是好不容易起来之后显存爆掉、或者速度慢到没法用。这篇不聊效果好不好，只给一套从对配置、选路线到起服务的检查顺序，每一步对不上时该往哪查也一并说清。

先说个前提：本地部署的价值在于数据不出内网、调用不受限，代价是环境、电费和维护都要自己扛。所以第一步不是装东西，而是承认这件事有门槛，先把条件对齐再动手，能省下大量返工。

先对条件：你的机器到底够不够

判断够不够，核心是三样东西对齐：模型权重本身的规模、你打算用的权重精度、以及手上显卡的显存。权重格式决定能不能直接加载，显存决定一次能塞进多少、能开多长上下文。把这三样摆在一起看，比单纯问「要多大卡」靠谱得多。

• 先到站内 /models/deploy 看部署测算，把自己的配置填进去对一遍再决定动不动手
• 再到 /compute/sizing 按模型算卡数，看清最低配置和推荐配置的差距
• 下载前确认磁盘余量是否明显大于权重体积，留出解压和缓存空间
• 如果推算下来要动到多卡或大内存，先想清楚机箱、供电和散热能不能跟上
• 什么情况下不适用：只是偶尔试一下、没有长期使用计划，租卡按量或直接用官方接口更省事

选权重与推理框架：先定路线再动手

第二件事是分路线：你拿到的是原厂完整权重还是已经量化过的版本，这两条路的加载方式和显存需求完全不同。很多人失败不是因为卡不行，而是拿量化的教程去跑完整权重，或者反过来，参数对不上一直报错。

完整权重

精度高、显存需求大，适合有明确质量要求且硬件到位的情况

量化权重

体积小、显存友好，但输出质量与长文本稳定性会受影响

单机轻量试跑

目标是先跑通一条请求，框架选轻的，配置能少则少

多人并发服务

要考虑批处理、并发数和调度，别照抄单机试跑的命令

选框架不要看谁名气大，看你的场景：单机自己用、还是给团队当服务。场景不同，配置项和调优重点差别很大。另外许可证和商用边界要单独确认，能下载不等于能商用，这一条经常被忽略。

• 先明确用途是自用验证还是对外提供服务，再决定框架选型
• 量化档位越低越省显存，选之前先想清长文本和精确任务的容忍度
• 把权重来源、许可证范围记下来，团队内部交付时这份记录用得上
• 环境版本按框架官方文档锁死，不要用系统自带的旧版本凑合

动手顺序：从环境到跑通一条请求

1. 装驱动与运行时先按框架文档要求装驱动和运行时，版本不匹配是后面几乎所有报错的最大来源；装完先跑官方自检命令确认能识别到卡，再去干别的。
2. 拉权重并核对完整性按权重页给的清单逐个核对文件大小和数量，中途断网重下最容易出现半截文件；核对通过再做加载，别一边下一边试。
3. 起服务跑最短请求先用框架文档给的最小配置把服务起起来，发一条最短的请求验证通路，确认能出结果再回来调上下文长度、并发这些参数。
4. 量一条基线到站内 /tools/speed-test 测一下首字延迟和生成速度，把这次的数字记下来，后面调优有没有效果全靠它对比。

这一串步骤的顺序别乱：环境没确认就拉权重，等于把时间浪费在重下上；服务没跑通就调参数，你根本不知道是配置问题还是环境问题。跑通一条请求之后，再去压并发、加长上下文。

跑不起来或太慢：排查顺序与退路

报错和变慢，九成能按固定顺序查出来。不要东改一处西改一处，按下面这个顺序走，每步只动一个变量，改完立刻复测。

• 显存是不是真被占满，先看有没有其他进程在占卡
• 是不是有部分层被卸载到了内存，这种情况速度会断崖式下跌
• 上下文长度是不是设得过大，先降到保守值试试
• 并发是不是开太高，单机场景先把并发压到最低
• 权重是不是放在机械盘上，读盘慢会直接拖垮加载和推理

如果只是慢但能跑，多半不是卡不行，而是没启用量化、没开合适的批处理，或者权重放错了盘。真要长期用，建议把自建和按量调用放在一起算总账，电费、闲置时间和维护精力都算进去，站内 /price-watch 的价格追踪能帮你把按量那部分算清楚，两个数放一起再决定。