deepseek本地化部署三步搞定

公司要求数据不出内网，你想把 DeepSeek 放进自己的机器跑，翻了几篇教程却卡在「装完了然后呢」。这篇不堆概念，直接按准备、起服务、接业务三步走，每步告诉你先量什么、怎么验证、哪里最容易翻车。判断标准和动作都给到，具体版本号、显存数字、跑分和价格，去站内对应页面看当时的数。

公司要求数据不出内网，你想把 DeepSeek 放进自己的机器跑，翻了几篇教程却卡在「装完了然后呢」。这篇不堆概念，直接按准备、起服务、接业务三步走，每步告诉你先量什么、怎么验证、哪里最容易翻车。判断标准和动作都给到，具体版本号、显存数字、跑分和价格，去站内对应页面看当时的数。

先明确一件事：本地部署不是「下载权重然后运行」这么简单，它是一条从硬件估算到业务接入的链路。任何一环没想清楚，后面都会返工。下面三步按顺序走，每步末尾都有一个能验证的落地动作，做完再进下一步，别跳。

第一步：先量基线，再动手装

很多人第一步就去装依赖，装到一半发现卡不够、上下文放不下，又回头改硬件。正确顺序是先算三笔账：并发多少人同时用、单次上下文大概多长、能接受的响应延迟是多少。这三个数直接决定你选什么卡、开几个实例、要不要做量化。别凭感觉估，宁可写保守一点。

• 并发数：是 1 个人自测，还是 5 人小团队同时打，还是几十路并发，差距直接决定要不要多实例
• 上下文长度：日常提问几百字和贴整篇文档进去是两回事，显存占用差别很大
• 延迟容忍度：内部工具能接受慢一点，实时对话就不行，这影响你选推理框架还是轻量运行器
• 网络与目录：模型权重从哪来、放哪个盘、服务监听哪个端口、是否只对内网开放

按模型规模倒推硬件时，显存要同时装下权重和推理缓存，还要给长上下文留余量。粗略算法和对照表去 /models/deploy 和 /compute/sizing 翻当时的数，别硬背。落地动作是写一张一页纸的部署前提表，把并发、上下文、延迟、机器、端口、负责人列清楚，贴进项目文档。后面出问题，先回来对这张表。

第二步：起推理服务，把端点跑通

部署方式按场景分：单机个人自测走轻量运行器就够，多人并发或有吞吐要求再上高性能推理框架。对比口径看 /stacks/frameworks，里面按场景列了各自适合和不适合的情况。选定之后，启动参数里要把并发上限、单请求超时、最大上下文长度这三个显式写进去，不要让默认值替你决定，默认值往往偏保守或偏激进，出问题很难定位。

1. 启动服务按选定框架的启动方式拉起进程，确认日志里没有加载失败、显存不足之类的报错
2. 本地 curl 一把用命令行直接请求本机端点，确认返回结构正常、流式输出能一段段吐出来，别急着接客户端
3. 记录冷启动耗时量一次从进程启动到能吃请求的时间，这是后面排查「服务没挂但很慢」的参照线
4. 压一下并发用简单脚本并发打若干请求，看错误率和响应时间曲线，确认在预期并发内不崩

这一步最容易翻车的地方是「以为跑起来了，其实是降级跑的」。比如上下文被悄悄截断、流式被关掉、并发被限成 1。验证方法是拿一个偏长的请求和一次流式请求各打一遍，对比返回是否符合预期。具体参数和框架差异，到 /stacks/frameworks 核对当时的说明。

第三步：接进业务，把兼容层对上

业务侧一般按 OpenAI 兼容格式调用，请求体、鉴权头、响应字段的结构去 /openai-compatible-endpoint-ops 和 /openai-compatible-api-setup 核对，别凭记忆拼参数。最容易被忽略的是 Base URL：本机、容器内、局域网三种地址写法不一样，写错就是 404。写法纠错看 /openai-compatible-base-url-fix。

• 上线前跑通非流式请求，确认返回结构完整
• 跑通流式请求，确认不中断、不吞字，参考 /streaming-output-troubleshoot
• 确认超时和重试策略生效，别让一次超时拖垮整条链路
• 留一个只走内网的健康检查接口，监控脚本定时打

别只靠人肉发现服务挂了。一个定时打健康检查接口的监控脚本，比任何日志都直观。这一步的落地动作就是把健康检查接口和监控脚本一起交付，写进运维文档。

上线验收与翻车排查顺序

验收清单五项：连通性、首字延迟、完整回答耗时、并发下的错误率、显存占用曲线。五项都量出基线，再去谈优化。没有基线的优化都是瞎调，调完也不知道是好了还是环境变了。这五项的具体参考区间，去站内对应页面看当时的数字，别照搬别人的。

1. 先查网络和端口确认目标地址和端口能通，防火墙放行，排除最外层问题
2. 再看服务日志有没有拒请求、加载失败、进程被杀记录，日志是最快的线索
3. 再查资源显存是否不够导致进程被杀，内存和 CPU 是否打满
4. 最后怀疑模型本身前三步都干净，才去查量化、上下文、参数配置这类模型层问题

常见错分三类：连不上，多半是地址、端口、防火墙；连上但报鉴权或字段错，多半是 header 或参数名对不上；能返回但断流或超时，多半是超时设置和并发挤爆。按这个分类先归位，再进对应路径，比漫无目的地翻日志快很多。

本地部署的难点从来不是装，而是装完之后每一步都能验证。