部署本地大模型需要多少钱

很多人想本地跑大模型，卡在第一步：不知道要花多少钱，也不知道钱花在哪。买卡、配主机、交电费、偶尔还得换硬件，每一项都可能超预算。这篇不报死数字，而是给你按档位划分的估算框架、每档该看哪些站内页面核对当时的行情，以及什么情况下本地部署其实不划算。

先把成本拆成四笔账，别只盯着显卡

很多人算这笔账，只算了加速卡的钱，等卡到手才发现机箱塞不进去、电源带不动、主板插槽不够。先把账分成四笔：一次性的、持续性的、隐性的，以及容易被忽略的环境成本，再逐笔去站内核对当时的数字。

一次性投入

加速卡、电源、机箱与散热、主板与内存、系统盘与模型盘，这几项要一起买齐才装得起来

持续性投入

电费、为降噪做的环境改造、硬件折旧与换代，按月或按年摊

隐性投入

调试时间、驱动与推理框架的适配、模型下载与长期存储，这部分不花钱但耗人

预留余量

给电源功率、机箱空间、盘位各留一档余量，避免装到一半卡住

一次性投入最容易低估的是配套件。加速卡的功耗决定电源档位，功耗和长度决定机箱风道，卡的厚度决定主板能不能插第二张。内存和固态则和你要跑的模型规模挂钩：显存不够就要靠内存和盘做卸载，这时候内存容量和固态读写速度直接决定能不能跑、跑得多慢。具体档位不值得在这里写死，去站内硬件与价格对照页看当时在售的配置和报价更准。

1. 先定卡，再定电确定加速卡型号和数量后，按它的整机峰值功耗乘一个安全系数选电源，别按标称功耗刚好卡线。
2. 量机箱再下单确认卡的长度、厚度、供电接口数量，对照机箱支持的显卡限长和风道，装不下就换机箱而不是硬塞。
3. 算清内存和盘按打算卸载到内存的模型规模估算内存容量，模型盘按要长期保留的模型数量算，别只留刚好放一个模型的空间。
4. 把电费和降噪算进来连续跑推理的机器电费是长期项，放家里或小办公室还要考虑风扇噪音，必要时做隔音或挪位置。

隐性投入不算钱但算人。驱动版本和推理框架对不上、量化格式不兼容、多卡并行调不通，这些都要花时间试。模型下载也常被低估：一个模型下几遍、换格式再存一份，盘很快满。这里的判断标准是——如果你只是想验证一个想法、跑得不多，租用或按量付费可能比自建更划算；只有长期高频使用、且对数据留在本地有硬要求，自建才开始有意义。

入门档：能跑起来、跑得动的下限在哪

入门档要摆正心态：目标是「能对话、能试跑」，验证一个想法、跑通一条链路、看看某个任务模型到底能不能接住。它不是生产可用，也不是给团队当基础设施用的。判断要不要花钱，先别看总价，先看你要跑的那个量化版本权重再加上下文，显存能不能装得下。

能跑起来

模型能加载、能出结果，不报显存不足的错

跑得动

一次对话的等待时间在你可接受范围内，不至于等到放弃

量化版本

用更低的数值精度存权重，省显存，但换来的效果损失要你自己评估

上下文

你和模型来回对话的历史长度，它和权重一样吃显存

显存账要这么算：权重占用 + 上下文占用 + 一点运行时开销，三块加起来不能超过可用显存。权重那部分直接跟你选的量化档位挂钩，去站内模型资料库页面查你目标模型的量化选项和对应权重体积；上下文那部分别按默认值拍脑袋，按你真实要喂进去的长度估。两个数一加，超了就是装不下，不是「再调调就行」。

不适用情形要提前说清楚：你要处理长文档、要高并发、要多人共用一套，这档会很快撞墙。撞墙的表现不是报错，而是响应慢到没人愿意用、或者上下文一长就丢信息。这时候问题已经不是「加多少钱」，而是这套硬件路线的定位就不对，该考虑换档或者干脆走云端 API。想知道不同路线当时的大致花费区间，去站内价格追踪页面看实时数字，别用别人半年前的说法做决定。

1. 先定任务写下你实际要跑的一个具体任务，比如短问短答或单次小段总结，别用「通用对话」这种模糊目标
2. 再定量化到站内模型资料库页面查目标模型的量化档位，选一个你愿意接受效果损失的档位
3. 估显存权重体积加真实上下文占用再加运行开销，和可用显存对比，超了就直接降档或换模型
4. 实跑验证用你那条真实任务跑几轮，记录首次响应时间和连续对话后的表现，慢或崩就说明这档不合适

入门档只回答「能不能跑」，不回答「能不能扛」。别拿试跑的结果去承诺生产可用。

单卡主力档：多数个人和小团队的实际选择

单卡主力档是大多数个人用户和 5 人以内小团队真正会掏钱的那一档：一张消费级或入门专业卡，塞进一台普通机箱，跑一个中等参数量、量化过的模型。这一档的账不能只算「卡多少钱」，还要算上为了压住它而多花的电源、机箱风道、主板和内存钱——这些加起来有时能顶上小半张卡。具体到每个配件的市价，去站内硬件与成本相关页面按当时的行情核对，别拿几个月前的印象做预算。

更重要的是多算一笔非货币成本：日常输出速度和响应延迟你能不能忍。别人说「能用」是在短问答场景下，你要跑的如果是长文总结、代码补全或者多轮对话，体感会差很多。判断办法很土但有效：找一台配置接近的机器，用你自己的真实问题连问十几轮，掐表记录首字延迟和整段生成时间，能接受再下单。别人给的快慢结论，换了你的输入长度和上下文长度就不成立。

1. 先定参数量和量化方式写下你打算跑的最大模型规模，以及准备用哪一档量化。这两项基本决定了显存下限。
2. 按公式倒推显存粗略口径：权重大小约等于参数量乘以每参数字节数，量化越狠每参数字节越少；再留出一段给上下文缓存和运行时开销，上下文越长留得越多。
3. 拿倒推结果去筛卡型显存够不够是硬门槛，先按这条把候选砍掉一半，再在剩下的里面比带宽、功耗、接口和二手残值。
4. 用真实负载验证速度借机器或找同配置的人，用你的实际问题和上下文长度跑一轮，重点看首字延迟和连续生成是否稳定，而不是只看跑分。

• 别只看显存数字：同容量不同带宽的卡，长文本生成速度能差出明显体感
• 电源和散热按卡的峰值功耗留余量，省这几十块最容易换来降频和死机
• 主板通道和内存容量别拖后腿，模型加载阶段卡在硬盘或内存上很常见
• 二手卡要留意是否长期高负载运行，到手先跑压力测试再确认收货
• 留一条退路：显存选大一点，后面换更长的上下文或更大的量化模型时不用重买

多卡与整机档：什么信号出现才该往上加钱

单卡跑得动的时候，多数人不会主动想加钱。问题往往出在两个信号上：一是同时用的人变多，排队变长、首字延迟肉眼可见地涨；二是模型换成更大的稠密结构，单卡显存装不下权重加缓存。这两个信号出现任何一个，才轮到考虑多卡或整机档。

• 并发信号：日常同时在线的请求数稳定超过原来的两三倍，且压测时延迟明显劣化，先怀疑算力不够而不是网络
• 显存信号：加载更大稠密模型时被显存卡住，量化后仍然吃紧，说明单卡容量到顶
• 吞吐信号：单次生成时间没变，但整体排队时间变长，属于典型算力被摊薄
• 这些信号都没出现就别急着加卡，先去看站内 /compute/sizing 把当前配置算清楚，很多时候是参数没调好

多卡不等于把两张卡的显存加起来那么简单。机箱要装得下、电源要带得动、主板要有足够的通道，卡与卡之间还得能高效通信。散热改造经常被忽略：双卡紧挨着运行，温度上来之后会降频，实际收益可能远低于预期。这些都要在预算里单独留一块。

1. 先算卡数到站内 /compute/sizing 输入你的模型规模和目标并发，看它给出的卡数建议，再对照上面的信号确认是不是真需要多卡
2. 检查整机配套确认机箱空间、电源功率余量、主板通道数和散热方案，缺哪样就把哪样的改造费算进预算
3. 再看总账把卡、机箱、电源、主板、散热、电费一起算，和站内价格页面当时的数字对照，判断整机档比租用是否划算

电费和长期开机：最容易被忽略的那一半

很多人算本地部署成本时，只把机器钱算进去，觉得买完就完事了。但本地大模型通常是长期开机的——你不可能每次用之前再开机等它加载，那体验还不如直接用网页版。所以电费是每个月都在累加的，一年下来可能比你想象的多不少。这一块最容易被忽略，因为它不像买显卡那样一次性掏一笔大钱，而是细水长流地扣。

满载功率

机器跑满时的瞬时功耗，通常出现在模型推理或训练峰值阶段。

平均功率

机器一整天实际消耗的平均功耗，空闲、轻载、满载混在一起算出来的值。

待机功耗

机器开着但没在跑任务时的功耗，很多机器待机也不低，别以为闲着就不花钱。

每度电价

你家电费单上的单价，分峰谷电的话要分开算，具体数字去站内价格追踪页面对照当地标准。

按满载功率估电费会严重高估，因为大模型很少一直跑满。实际使用中，大部分时间机器要么空闲、要么轻载，只有你发请求那几秒才接近满载。所以更靠谱的做法是按平均功率来估，一般取满载功率的一个折扣比例，再乘以每天开机小时数。具体折扣取多少，跟你用得多不多、跑不跑批量任务关系很大，没有统一答案。

比电费更硬的约束，往往是家用电路、插座和噪音。一台高功耗机器插在普通插座上，可能直接跳闸；老旧小区的线路更经不起长时间大电流。噪音也是，风扇一转起来，放卧室基本没法睡。这些不是钱能立刻解决的问题，得先确认自家环境撑不撑得住，再谈花多少钱。

1. 先查电路和插座看机器额定功率对应的电流，对照家里插座和空开的规格，确认不会跳闸；不确定就找电工看一眼。
2. 再想放哪、噪音多大机器放客厅、书房还是阳台，决定了你能接受多大风扇声；卧室基本别考虑长时间满载。
3. 最后算平均电费按你实际开机时长和预估平均功率，粗算每月电费；当地电价和功率的具体数字去站内价格追踪页面核对。

新卡、二手卡与租卡：三条路各自的适用边界

买新卡、买二手卡、租卡，这三条路没有绝对的好坏，只有跟你的使用节奏对不对得上。核心判断维度就三个：负载是不是每天跑满、业务能不能容忍中断、以及这笔钱你打算压多久。下面把三条路的适用边界拆开讲，你对着自己的情况对号入座就行。

• 买新卡省心，坏了有保修，但电子件折旧快，一旦换代残值掉得厉害，等于每天在为「省心」付一笔隐形租金。
• 买二手卡单价低，但来源不透明，矿卡、拆机卡、改过 BIOS 的卡都可能混进来，出问题没有售后兜底。
• 租卡没有沉没成本，需求一变随时停，但也意味着你永远在付现，不会攒下一份资产。
• 负载每天只跑几小时的话，租卡的总账通常更容易回本；具体口径到 /compute/tco 对照着算。
• 负载如果接近全天跑满，自购的边际成本会被摊薄，这时候买卡才谈得上划算。

1. 统计真实负载连续记录一两周的每日实际使用时长和峰值情况，别拍脑袋估，用监控或日志说话。
2. 套进总账口径把买卡的一次性支出、电费、折旧年限，跟租卡的时长费用放到同一口径里比，到 /compute/tco 按当时的数字核对。
3. 评估中断容忍度问自己一句：设备出故障停一天，业务受不受得了。受不了就优先选有售后兜底的路径。
4. 验证二手来源走二手路线时，逐项确认是否矿卡、能否当面测、有无剩余保修，任一项说不清就别出手。

什么情况下这套判断不适用？如果你有硬性的数据合规要求，本地设备必须自己持有，那租卡这条路直接排除，讨论就只剩「新卡还是二手卡」。反过来，如果只是短期做实验、几周就结束，为了省几千块去折腾二手卡的验机和排障，时间成本往往比省下的钱更贵。

下单前的自查清单与止损线

真到掏钱那一步，先把「别人演示很流畅」这件事从决策依据里删掉。演示视频通常挑了最短、最干净的输入，实际业务里的长文本、错别字、多轮追问、并发抢资源，一个都不会出现在演示里。所以下单前只认一件事：你自己那三个真实任务，能不能在本地跑通。

1. 挑三个真实任务从最近一周实际做过的工作里挑，不要造测试用例。覆盖三种形态：一段长文本的理解与抽取、一次多轮对话式改写、一个需要反复调用的批量任务。三个都要来自你现在的活儿。
2. 每个任务跑够次数同一任务重复跑，看输出稳不稳，而不是看某一次答得漂不漂亮。记录哪些输入会翻车、翻车是答错还是直接超时。
3. 换成接口对照跑一遍同样三个任务，用你平时调的外部接口再跑一遍，把两边的原始输出并排留着。不是比谁聪明，是确认本地这套到底替掉了多少活。
4. 把差距写成结论哪几个任务本地能完全替代、哪几个只能半替代、哪个根本替代不了，写成一句话结论。这条结论决定你后面还买不买。

很多人的预算表错在第一步：把所有花销揉成一个「总投入」，看起来心里有底，其实没法判断这笔钱是沉没的还是每月要续的。一台机器是一次性支出，电费、散热、托管、带宽、备件、以及你花在维护上的时间，是持续支出。两笔账要分开放，因为它们的决策逻辑完全不同。

分好账之后必须给自己划一条止损线，否则会一直往里加钱，理由是「再调调就好了」。止损线要写成可判断的条件，而不是一种感觉。下面这几条满足任意一条，就该承认这条路对你不划算，转去租卡或直接调接口。

• 三个真实任务里，本地能完全替代的不到一个，其余全靠人工返工；
• 持续支出（含你的时间折算）已经超过同等任务租卡或调接口的按月开销，且看不到收敛趋势；
• 为了跑通第一个任务，已经在追加第二块卡、换电源、换机箱这类连带支出；
• 维护占用的时间开始影响正常交付，而不是占用摸鱼时段；
• 你已经说不清下一次升级能解决哪个具体问题，只是觉得「应该会更好」。

止损不是承认失败，是把钱从一条走不通的路挪到一条能交付的路；租卡和调接口都是正经选项，不是退而求其次。