团队里有人提了句「要不我们自己部署一套满血 DeepSeek」,然后预算表就卡住了:到底要几张卡、整机多少钱、机房电费算不算。这篇不给你一个死数字,而是给一套估算口径和对照顺序,让你能按自己的并发和上下文长度算出属于自己团队的账,顺便判断这件事值不值得做。
团队里有人提了句「要不我们自己部署一套满血 DeepSeek」,然后预算表就卡住了:到底要几张卡、整机多少钱、机房电费算不算。这篇不给死数字,给一套估算口径和对照顺序,让你按自己的并发和上下文长度算出属于自己团队的账,顺便判断这件事值不值得做。
先说结论方向:满血自建的成本大头从来不是「显卡单价乘张数」,而是三块拼起来的——显存门槛决定的卡数与互联方案、整机与机房侧的配套、以及持续跑起来之后的电费与运维。任何只报一个总价的估算,基本都漏了后两块。下面按顺序拆。
先搞清楚「满血版」在硬件上意味着什么
「满血」指的是完整参数量的原始权重,不是蒸馏版,也不是量化压缩版。这三者在硬件上的差距常常是一个量级:蒸馏版可能单机就能跑,原始权重则要成组的高显存卡,量化版落在中间,显存门槛明显下降但要接受一部分效果损失。选型前先把你要哪一档写清楚,不然团队里每个人心里的「满血」都不一样。
- 权重显存
- 模型参数本身加载后占用的显存,基本是固定门槛,不随并发变化
- KV 缓存
- 随并发数和单次上下文长度线性增长的部分,是弹性开销
- 预留与碎片
- 框架自身占用加上显存分配碎片,通常要留一到两成余量
- 量化
- 把权重精度压低来换显存,属于「能用」而非「满血」,效果要自己评估
这三个量相加才是真实门槛。很多人只算第一项,配出来的机器一上量就崩。至于某个具体型号的参数量和权重体积到底多少,别用记忆里的数字估,去站内模型资料库逐条核对当时的数字,那里是按模型整理的原始信息。
显卡张数与显存:按并发和上下文倒推
- 先定死两个输入:同时在线请求数、单次请求的上下文长度,这两个乘起来才是 KV 缓存的量级
- 多卡方案里卡间互联带宽决定实际吞吐,凑够显存不等于跑得动,通信瓶颈会让并发上不去
- 显存留一到两成余量给框架与碎片,卡着上限配卡,业务一上量就 OOM
- 把「几张什么卡」换算成「能扛多少并发」,再拿去和业务峰值对齐,而不是反过来
倒推的顺序是:业务峰值并发 → KV 缓存量级 → 加权重显存和余量 → 得到总显存需求 → 换算成卡数和互联方案。这个链条里任何一环拍脑袋,最后都会变成「机器买回来了但并发上不去」。卡的具体规格、显存容量和互联能力,去站内加速卡规格库核对当时的数据,统一口径后再算张数。
| 输入条件 | 对硬件的影响 | 估算时容易犯的错 |
|---|---|---|
| 并发数高、上下文短 | KV 缓存压力适中,卡数主要看权重门槛 | 只按权重配卡,忽略请求排队 |
| 并发数低、上下文很长 | KV 缓存反而可能成为大头 | 按短上下文估,实际翻倍 |
| 两者都高 | 权重、KV、互联三项同时吃紧 | 预算只算卡钱,漏掉互联和电源 |
| 有明显波峰波谷 | 按峰值配卡会长期闲置 | 用峰值口径和按量方案比价 |
整机与隐性开销:光算卡钱一定会超预算
除显卡之外还有主板与 CPU 平台、系统内存、本地盘、电源和散热。高功耗卡对电源功率和机箱风道的要求会跳一档,配套成本不是线性增长。再往下一层是机房侧:托管位、带宽、机柜供电,这些在一开始就按三年周期折算,比只看卡价更接近真实结论。
- 列出一次性支出显卡、整机平台、内存与盘、电源散热、机柜改造,逐项列出来,别合并成一项「硬件」
- 列出持续性支出电费、托管或机房、运维人力,按真实使用曲线估,不要按满负载峰值估
- 折算到同一周期把一次性支出按三年摊平,和持续支出加总,得到每月的等效成本
- 和替代方案对齐口径拿同样的并发和上下文去问按量调用或中转方案的费用,两边必须用同一套输入比较
电费这块特别容易估错:持续满负载和只在白天跑,口径能差出数倍。按你业务的真实使用曲线算,而不是按机器最大功耗乘二十四小时。买卡还是租卡、整机还是集群的对照,去站内「买卡还是租卡三年账」和算力总览两页看当时的数字,那两页就是按统一口径做的对比。
什么情况下别自建:先看这几个信号
判断标准很朴素:把上面算出来的等效月度成本,和同一并发口径下的按量或中转型方案摆在一起看。如果自建明显更贵,或者贵得不多但你要多养一套运维,那就先别自建。下面这几个信号出现任意一个,都建议先压住自建的冲动。
- 峰值并发不高,或者业务有明显波峰波谷,按量或中转的成本通常远低于自建折旧
- 团队没有专职运维,故障恢复和版本升级会变成隐性大坑,一次长时间停机就能吃掉节省
- 对数据出域没有硬性要求,自建换来的主要是心理安全感,不是实际收益
- 预算只够配到勉强装下权重,没有余量应对并发增长,上线即天花板
反过来,什么情况下值得认真算自建:数据合规有硬性要求、请求量大且曲线平稳、团队已有现成机房和运维能力。这三条同时成立,自建的账才可能算得过来。只满足其中一条时,建议先去站内中转站可信度检测和价格追踪页看看当前的可选项再决定。
下一步拿着你自己的并发数和上下文长度,去站内算力总览与模型资料库核对当时的口径与数字,把自建和三方方案放在同一张表里比,再决定这笔预算要不要批。→常见问题
本地部署和继续走 API,怎么判断哪个更划算?
看三个信号:请求量是否稳定且大、数据是否有硬性不出域要求、团队有没有运维能力。三条都满足时自建才可能省;只要有一条不满足,按量调用的总成本通常更低,还省掉停机与升级的麻烦。可以到 /compute/tco 按三年口径把两边的账摆在一起比。
用量化版能不能把硬件门槛降下来?
能,而且降得不少,但量化后的模型严格说不算满血,效果会有损失,尤其在长上下文和复杂推理任务上更明显。如果你的场景是内部知识库问答这类容错较高的活,量化版够用;如果要对齐官方效果,还是按完整权重的显存门槛去配硬件。