很多人搜本地部署多少钱,最后卡在两件事上:一是别人给的机器配置和自己的用量对不上,二是只看显卡钱、忘了量化档位一变显存需求就翻倍。这篇不讲「本地比线上香不香」,只给你一张按档位拆开销的对照思路,再告诉你去站内哪几页拿当时的数字。
很多人搜本地部署多少钱,最后卡在两件事上:一是别人给的机器配置和自己的用量对不上,别人八张卡你两张卡,价格表根本没法比;二是只看显卡钱,忘了量化档位一变显存需求就跟着变,原先算好的机器可能直接不够用。这篇不讨论本地和线上哪个更值,只给你一张按档位拆开销的对照思路,再告诉你去站内哪几页拿当时的数字。
算预算之前先把一个问题回答清楚:你要跑多大参数、量化压到哪一档、几个人同时用。这三件事定不下来,谈钱就是空谈。下面把开销拆成四笔账,再告诉你每一笔去哪里核价。
先分清四笔账,别只盯显卡
本地部署的花费从来不是一张卡的价格。显卡只是主项,真正把总价拉开的往往是它带出来的一串配件和长期支出。先把四类开销分开列,再逐项填数字,不容易漏。
| 开销类别 | 包含什么 | 为什么容易被低估 |
|---|---|---|
| 显存与整机 | 显卡、主板、电源、内存、散热、机箱 | 加一张卡往往要换电源和主板,单卡方案和双卡方案的总价差距比卡价本身更大 |
| 存储与带宽 | 权重文件、数据集、离线导入的硬盘空间 | 权重体积随参数量和量化档位变化很大,下载还吃带宽,离线导入要留搬运时间 |
| 软件侧 | 推理框架、界面、知识库、向量库 | 框架本身基本免费,真正花钱的是附加件和把它们接起来的部署工时 |
| 长期开销 | 电费、噪音、空调、占用空间、折腾时间 | 短期预算里最容易漏,三五个人的小团队尤其容易只算硬件不算电和人工 |
- 显存与整机按「卡数」估,不要按「卡价」估,第二张卡的总增量往往不等于第一张
- 存储按「量化档位」估,档位压得越低文件越小,但质量会掉,什么任务能接受要自己试
- 软件侧先问一句:有没有人负责维护,没人维护的界面和知识库就是纯支出
- 长期开销按「每月」估,电费和空调是持续的,机器摆在那里就一直花钱
按用途定档位,再去核显存和卡数
同样一句「我要本地跑 DeepSeek」,试跑、内部问答、对外服务是三种完全不同的预算。定档位的顺序是:先写用途,再定参数和量化档位,最后算并发,倒过来算一定超支。
- 写清用途与并发明确是单人试跑、几个人内部问答,还是对外提供接口。并发数直接决定显存下限和吞吐要求,能跑起来和跑得稳是两回事
- 定参数与量化档位参数量越大、量化越保守,显存占用越高。档位往下压能省显存,但质量会掉,用你自己的真实任务试,别只看别人说够用
- 去站内做测算到 /models/deploy 和 /compute/sizing 按模型算一遍几张卡够用,页面上的数字以你查看当时的为准,配置单别照抄别人的
- 按测算结果反推整机显存定了再选电源、主板、内存和散热,避免先买整机再发现显存不够,被迫加卡又换配件
买卡、租卡、还是先不买
买还是租,判断标准不是「哪个单价低」,而是「你打算用多久、数据能不能出内网」。偶发需求先租,长期且数据敏感才考虑买,中间状态可以先用租卡把流程跑通再决定。
| 场景 | 倾向选择 | 判断标准 |
|---|---|---|
| 偶尔试跑、验证流程 | 租按量卡 | 用完就停,比自己买卡便宜得多,也更容易反悔 |
| 长期跑且数据不能出内网 | 买卡放进预算 | 按几年摊,算的是长期账,不是第一天的支出 |
| 预算紧但要试大参数 | 先租高端卡跑通 | 确认模型真能解决你的问题,再决定要不要落地 |
| 团队没人管机器 | 先别买 | 运维和折腾成本会持续吃掉省下来的钱 |
- 旧卡、二手卡能压低初始支出,但要确认驱动、算力精度和后续换模型时会不会直接不够用
- 买卡前先想清楚升级路径,显存不够时是加卡还是换卡,两种路线的总价差别很大
- 买还是租的账到 /compute/tco 看思路,租卡行情去 /compute/gpu-rental 和 /compute/price-index 核对当时价格
- 别把「能跑」当成「够用」,跑起来只是门槛,稳定提供服务的预算要另算
容易被忽略的隐性花费与止损点
硬件和租金是显性支出,真正让人预算失守的是时间和试错。第一次搭环境基本按天算,不是按小时算;买了卡才发现跑不动目标档位,只能降量化或者升级,两次支出都省不掉。
- 时间成本:环境、驱动、显存爆掉、权重加载失败,第一次搭通常要按天算,留出缓冲
- 试错成本:先按最低档位跑通再往上加,比一步到位买顶配更不容易后悔
- 止损点:连续几天调不通、或者团队没人愿意接手维护,就该停下来重新评估方案
- License:模型权重能不能商用、能不能再分发,去 /open-weight-license-basics 这类对照页确认,别等产品做完才发现条款对不上
本地部署的预算不是一张显卡报价单,而是「显存 + 整机 + 存储 + 软件 + 长期开销 + 试错时间」的总和,少算任何一项都会在落地时补回来。下一步先按你的用途定档位,再拿站内页面上的当时数字填进预算表,别直接抄别人的配置单。到 /compute/sizing 做部署测算,去 /compute/price-index 核对硬件与租金行情,心里有数再下单。→
常见问题
只跑推理不训练,是不是买张消费级卡就够了?
够不够取决于你要跑多大参数、用什么量化、几个人同时用。参数大或者并发高时,显存和带宽会先顶不住,不是算力不够。建议先在部署测算页按你的档位算一遍显存下限,再决定单卡还是多卡,别按别人的配置单直接抄。
软件那部分到底要不要花钱?
推理框架、量化工具、常见界面大多可以免费用,花钱通常花在附加件上,比如知识库、向量库、企业级网关和托管服务。如果只是自己用,软件侧接近于零;如果要对外提供服务,稳定性和运维反而比软件授权更费钱。
预算有限,怎么排投入顺序?
先租卡把流程跑通,确认模型档位、量化选择和实际体验,再决定要不要买。买的时候优先保证显存和内存够用,其次才是算力。旧卡和二手卡能省一笔,但要留出后续换模型时可能整机换掉的风险。