搜「大模型训练和推理多少钱」的人,十个里有八个其实不做预训练,真正烧钱的是推理这一头。这篇先把训练和推理两笔账分开摆,再说哪些支出能砍、哪些砍了要出问题,最后给一套自己去站内核价的顺序,不背数字,只给判断和动作。
搜这个问题的人,十个里有八个其实不做预训练。真正的场景是:手上有个业务,想接大模型,或者已经在跑了,月底看账单觉得不对劲,想搞清楚钱到底花在哪。这时候把训练和推理混在一起算,基本算不出有用的东西——两笔账的节奏、口径、可控程度都不一样,得拆开。
这篇不给你一个总价,那种数字换个模型、换个量就作废。给的是判断标准:你在哪一头、钱压在哪些格子里、哪些能砍哪些砍了要出事,最后一套按顺序核价的动作。看完你应该能自己列出一张预算表,而不是记住一个数。
训练和推理根本不是一本账
训练是一次性的集中支出:租一批卡,跑一段时间,跑完就结束。推理是随用量线性长出来的持续支出:今天一百次调用,明天一万次,账单跟着涨。量小的时候训练看着吓人,量大以后推理反超,而且超得没什么声响——因为它摊在每一天里。
所以第一步不是问价,是问自己在哪一头。多数团队说的「训练预算」,实际干的只是微调:拿现成模型喂点自己的数据,跑几轮就完事。这跟从零预训练差着好几个量级,用预训练的价格去吓自己,或者用微调的价格去申请预算,都是错位。
也有不适用的时候。如果业务量极低、任务长期固定、对延迟不敏感,一次性投入把模型或环境搭起来,反而可能比按次付费划算。这种要按调用量算拐点:把两条线的年度总成本列出来,看交点落在多少调用量上,再对照自己的实际量。
| 对比项 | 训练(含微调) | 推理 |
|---|---|---|
| 支出形态 | 一次性集中 | 随用量持续 |
| 主要成本项 | 卡时、数据准备、重跑 | 输入输出 token、上下文长度、缓存 |
| 可控程度 | 前期难估,后期难改 | 可按调用切分、分批优化 |
| 什么时候是主项 | 模型能力还没定型 | 业务已经在稳定跑量 |
训练这头,钱压在三个地方
卡时是第一块,但别只算理论跑完要多久。排队等待、环境调试、跑一半崩了重来,这些都占机时。第二块是数据准备和清洗的人力,这块经常被当成「顺手做做」,实际很吃人天。第三块是反复试错的重复训练轮次——调个参数重跑一遍,换个数据配比重跑一遍。
实际用下来,最容易被低估的是失败重跑。正式训练可能就跑一次,但之前为了跑通,你可能已经跑废了好几轮。自查的动作很简单:把一次完整训练拆成「跑通一次的成本 × 预计重跑次数」,再把数据准备花了多少人天单独记一行。两个数加起来,往往比最初拍的那个数大一截。
- 卡时:按实际占用算,不是按有效计算算,排队和调试都要折进去
- 数据:清洗、标注、格式转换分开记人天,别混进机时
- 重跑:至少按跑通成本的两到三倍预留,第一次做新任务尤其如此
- 环境:依赖装错、显存不够、分布式配置踩坑,这些排查时间也算钱
推理这头,钱藏在计费口径里
推理账单最容易出错的地方不是单价,是口径。输入和输出通常分开计价,长上下文会推高单次成本,缓存命中与否能拉开差距,图片和语音还有各自的折算方式。你以为在比单价,其实在比两个不同的计费结构。
同一个模型,不同渠道价差也不小。这事儿麻烦在,你按印象里的价格做预算,过一阵渠道调了价,预算就对不上。所以别背数字,去站内对着看当期数字:官方 API 的价格在一处,推理渠道的报价在另一处,两边都过一眼再动手。
比价之前先把自己的调用切堆。高频短问答、长文档处理、低频重任务,这三类的 token 结构和成本敏感度完全不一样。混在一起比价,得出的结论没有指导意义;分开比,才知道哪一堆该换小模型、哪一堆该上缓存。
- 输入输出分计
- 提问和回答分别计价,长回答比长提问更吃钱
- 上下文长度
- 每次带进去的历史越长,单次成本越高,不是免费的
- 缓存命中
- 重复的提示词能不能复用,直接决定高频场景的成本
- 多模态折算
- 图片、语音按各自规则折算成计价单位,不能按文本估
能省的和省不下来的
能省的,基本都在推理这头:简单任务换小模型扛、重复提问上缓存、把上下文长度卡住别让它无限长、批量任务挪到低价档或低峰时段跑。这些动作的共同点是,不改业务逻辑,只改调度和选型,风险可控。
省不下来的也得认。评估和回归测试要机时,数据清洗要人力,灰度验证期间新旧两套并行跑,双份成本躲不掉。这些钱省了,换来的是上线后才发现问题,返工成本更高。
最常见的砍错法:为了压推理费,把模型压到最小档位。结果答不准,用户反复追问,客服和人工兜底的成本反而上来了。判断标准是——先看这个任务答错的代价有多大,代价高的任务别在这上面省钱。
别问总价,按这四步核
- 灌真实调用量用站内的模型成本计算器,把你实际的调用次数、输入输出长度填进去,得出量级。别用「大概几百次」这种估法,翻一下日志再填。
- 看算力侧口径训练或自建的部分,去站内看训练算力口径和租卡价格指数,判断当前租卡贵不贵、口径怎么算。
- 核对当期价格去价格追踪页面看你要用的模型价格近期有没有在动,别按旧印象做预算。
- 留浮动余量在算出来的量级上留出两到三成的浮动,覆盖重跑、试错和用量爬坡,写进预算表而不是口头记着。
这四步的顺序别乱。先有量级,再看口径,再核当期价格,最后加余量。反过来先看价格再倒推用量,很容易把预算做成一个好看的假数。具体数字每期都在变,到站内相应页面核对当时的那一版。
自己跑还是调接口,看这三个前提
第一个前提是调用量稳不稳定、够不够大。量大且平稳,自建的人力运维才摊得薄;量忽高忽低或者还在爬坡,自建的固定成本就把你压住了。第二个是数据能不能出内网,这条经常直接决定选项,没得商量。
第三个是人。团队里有没有人能盯推理服务的稳定性——部署、扩容、故障排查、版本更新。没人盯就别自建,省下的接口费会以另一种形式还回去。需求还在探索期、模型可能随时换的时候,自建等于给自己上枷锁,换了模型基础设施还得跟着改。
| 前提 | 偏向自建 | 偏向调接口 |
|---|---|---|
| 调用量 | 稳定且足够大 | 波动大或还在爬坡 |
| 数据合规 | 允许出内网或已脱敏 | 不能出内网 |
| 团队 | 有人能盯服务和运维 | 没有专职人手 |
| 需求阶段 | 模型和能力已定型 | 还在探索、可能换模型 |
一套能写进预算表的判断标准
把支出分成三类再记账:固定支出(人力、环境、常驻资源)、随量支出(推理调用、存储)、一次性支出(选型验证、数据准备、迁移)。三类混在一起算,一定会错,因为它们的增长曲线完全不一样。
预算表里至少留一行给「重跑与试错」,不写这行的人最后都会补交这笔钱。另一行给「灰度双跑」,新方案上线前新旧并行的成本,提前摆出来,比事后解释容易得多。
判断一项支出该不该砍,标准就两条:砍了会不会影响答准和体验,砍了会不会把成本推到别处。两条都过,才动手。判断类的东西都有边界——业务量极小、任务极固定的场景,上面很多优化没必要做,先把基本盘跑通更实际。
训练是一次性买单,推理是每天续费;算错的人,多半错在没把账单按天摊开看。下一步:把你的用量灌进去算一遍别拿别人的总价套自己。去站内成本计算器填真实调用量和长度,再对着推理页和价格追踪页核当期数字,你那张预算表才有意义。→
常见问题
不做预训练,还需要关心训练成本吗?
要,但只看微调这一小段。微调的钱主要花在卡时和数据整理上,量级远小于预训练,真正该盯的是推理那笔持续支出。先把调用量算清楚,再决定要不要为微调单独买卡。
为什么同样的调用量,账单能差出好几倍?
多半差在计费口径上:输入输出是否分开算、上下文用多长、有没有走缓存、图片和音频怎么折算。去站内按自己的真实长度和调用结构重算一遍,通常能看出差在哪一格。
推理能不能靠换便宜模型省一半?
能省,但要看任务能不能拆。简单分类、抽取、格式化适合小模型,复杂推理和长文档不建议硬压。做法是把任务分层,贵的模型只留给难的那一小部分,而不是全量平替。
自建推理服务一定比调接口便宜吗?
只有调用量稳定且足够大时,自建才可能划算。量小、需求在变、没人盯服务稳定性,这三条占一条,自建的总账往往更贵。先按调用量算出拐点,再谈买卡。
预算留多少余量合适?
训练侧重跑和调参的机时往往比预期多,推理侧用量通常也会爬坡。按经验留两到三成浮动比较稳,并且把这部分单独列一行,不要藏进主项里。