很多人做年度预算时把 RAG、微调、提示词丢进同一行「AI 成本」,结果跑起来才发现:微调的钱在训练那一天就烧掉一大半,RAG 的钱跟着文档量和查询量慢慢涨,提示词的钱则是每次请求都在付。这篇讲怎么把三笔账分开估、按什么信号判断该上哪一种,以及上线后哪些地方最容易失控。
做年度预算的时候,最常见的做法是开一行「AI 成本」,把 RAG、微调、提示词全塞进去。跑一个季度回头看,这行的数超了,但谁也说不清超在哪。原因不是你估得太粗,是这三笔钱的时间形态根本不一样:微调的钱在训练那一天就烧掉一大半,剩下的是长期托管;RAG 的钱跟着文档量和查询量慢慢涨,涨得没感觉;提示词的钱最隐蔽,每次请求都在付,调用量一上去就顶不住。
所以这篇不讲概念,只讲怎么把三笔账拆到三张桌上分别估、按什么信号判断该上哪一种、以及上线后哪几个地方最容易失控。提醒一句:下面所有涉及单价和总量级的地方,都不给你写死的数字,你到站内对应页面看当时的口径,因为模型价格和厂商政策变得比年度预算快得多。
先把三笔钱摆到三张桌上
拆账的第一步不是算数,是改预算表的结构。现在多数团队的预算表是按模型拆的,一行一个模型名,这基本没法用。应该改成按项目拆行,每个项目下面再分三列:一次性投入、按月固定、按量浮动。同一套系统里如果 RAG 和微调都用上了,成本是会叠加的,不叠加着算,你在做选型决策时看到的永远是半张账单。
| 成本项 | 什么时候花钱 | 跟着什么变量涨 | 最容易漏的地方 |
|---|---|---|---|
| 微调 | 训练那一次集中支出,之后按托管推理持续付 | 训练轮次、样本量、线上推理调用量 | 数据整理和标注的人力,很少写进技术预算 |
| RAG 进料 | 建库时付一次,文档更新时重跑 | 文档总量与更新频率 | 整库重建的次数远超预期 |
| RAG 查询 | 每次提问都付 | 查询量、召回片段数、是否开重排 | 只算生成模型,忘了向量化和重排 |
| 提示词 | 每次请求都在付 | 输入长度乘以调用次数 | 系统提示词和示例越堆越长 |
- 一次性投入:数据清洗、切片、训练跑批、评估复测,这些花完就没了,但金额往往最大
- 按月固定:托管推理的保底、自建推理的机器和带宽,跑不跑业务都在扣
- 按量浮动:查询调用、上下文拼装、提示词里的重复输入,直接和业务量绑死
- 人力成本单列一栏,别混进技术账单,不然每年复盘都对不上账
- 同一项目的三列加总才是真实年成本,只看其中一列做选型,结论多半是错的
这张表的用处是让你在评审会上能回答一个问题:如果下个月调用量翻倍,哪一列会先炸?答案是按量浮动那一列。一次性投入翻倍的可能性不大,固定成本也签了合同,真正随业务波动、也真正能优化的,只有按量那一列。
什么情况下该选哪种:看三个信号
选型这件事,很多讨论最后变成站队。其实不用,看三个信号就够了:知识变不变、需求是格式还是判断、有没有标注能力。这三个信号组合起来,基本能指向一种做法。
- 知识更新频繁、答案要带出处
- 优先 RAG。文档一改,重跑进料就能生效,不用重新训练。
- 知识稳定、只要固定风格和输出格式
- 先改提示词,提示词不够再考虑微调。改提示词的迭代成本最低。
- 模型本身不会的细分判断、且有足够标注样本
- 才轮到微调。样本不足时,把示例塞进提示词通常比微调更划算。
反过来也要说清楚不适用的场景。RAG 对文档质量差、结构混乱的资料帮助有限,垃圾进、垃圾出,检索再准也拼不出好答案;微调对实时变化的事实无能为力,你训练进去的只是当时的样子,业务一变它就落后了。还有一种情况容易被忽略:需求还在频繁变,今天要这个口径明天要那个口径,这时候上微调纯属浪费,光重训就够你受的。
提示词的钱藏在输入那一侧
大多数人对提示词成本的直觉是「提示词能花几个钱」。这个直觉在调用量小的时候成立,调用量一上去就翻车。系统提示词、few-shot 示例、格式约束,全都算输入 token,而且每次请求都会重复送一遍。调用十万次,一段两千字的系统提示词就被重复读了十万次,这笔账在单价表上看不出来,在月账单上很明显。
- 统计平均输入长度从日志里取最近一批请求,算出平均输入 token 和平均输出 token,分开记。不要只记总数,输入和输出往往不是一个量级。
- 判断是否该精简同一个提示词在多次请求里重复出现、篇幅又长,就该考虑拆版本、做缓存或换更短的表达。示例能删就删,留着不起作用的示例纯属付费。
- 按量级对单价用平均长度乘以预估调用量得到量级,再到 /tools/token-price-calculator 对当时的单价。先有量级再看价,顺序反了容易被单价误导。
- 改完做对照复测提示词版本管理留一份对照记录,用固定用例复测。省下来的输入长度如果是拿效果换的,那这笔钱省得不值。
还有一个常见误判:把提示词优化当成纯技术活,交给一个人闷头改。实际用下来,效果好的优化往往是产品和工程一起过的,产品说清楚哪些信息必须留、哪些是历史包袱,工程负责压长度和做版本对照。一个人改,改着改着就把关键约束删了,账单好看,答案开始跑偏。
RAG 的钱分两段:进料和查询
RAG 的账要分两段看,混在一起算必然估不准。进料段是文档清洗、切片、向量化,按文档总量计价,更新一次就要重跑一次,所以更新频率直接决定这段花多少。查询段是每次提问都要把问题向量化、检索、再把命中的片段拼进上下文,片段越多输入越长,费用跟着涨。
- 进料段按「文档总量乘以更新次数」估,更新策略没定好之前别急着定预算
- 查询段按「查询量乘以平均召回片段数」估,召回几条要在预算里写死,不能跟着调参随手改
- 向量化模型和重排模型单独列一行,它们也在计费,最容易在算账时被忘掉
- 文档规模小、更新少的场景,RAG 的年度总成本可能比想象中低,别被概念吓住
- 文档天天变、查询量又大的场景,这段会持续吃预算,要提前设阈值
实际用下来,RAG 超预算的案例里,问题很少出在检索本身,多半出在召回条数被悄悄调高了。三条不够就调五条,五条不够调十条,单次输入翻几倍,账单跟着翻。这个动作在调优时很自然,但没人回头改预算表。
微调不是付一次就完事
微调最容易被误解成「一次性买卖」,训练完就完事。实际不是。训练前要留出数据整理和标注的人力,这部分常常不在技术预算里,但实际占用时间最多;训练完成后,如果托管在厂商那边,按推理调用计价,单价可能高于通用模型;自建推理则要算机器和电费,去 /compute/tco 对照口径再决定哪种划算。
判断标准其实就一条:微调带来的效果提升,是否足以覆盖长期托管溢价。如果提升只在少数场景明显,其他场景没差别,那用提示词加检索更划算,至少改起来快。不适用的三种情况也说明白:样本量很少、标注质量不稳定、需求还在变,这三种情况下不要急着微调,训出来的东西很快就废。
微调的成本曲线是先陡后缓,RAG 是先缓后陡。估年预算时,曲线形状比单点价格更重要。
一年怎么估:三步走,别一步到位
年度预算不需要一次估准,也不需要估到小数点。按季度走三步,每步都拿真实数据修,比年初拍一个数然后年底对不上账强得多。
- 按真实日志估一个季度用最近一个月的请求数和平均输入输出长度,推一个季度的量。不要凭感觉填数字,感觉在调用量这件事上从来不准。
- 三笔钱分列一次性投入(数据整理、训练)、按月固定(托管、服务器)、按量浮动(查询、调用)分开写,人力单列一栏。
- 留余量并按季回看增长余量要留,但别留成拍脑袋;每季度回看一次,模型单价变了就到 /price-watch 看当时的变动再修正预算。
还有一笔常被漏掉的开销:试错成本。换方案、重跑向量化、反复调提示词版本,都会产生额外调用。这部分不用精确估,但在预算里留出一块,年底复盘时才不会觉得钱花得莫名其妙。
上线后最容易失控的三处
预算表做得再细,上线后还是有三处会悄悄把账撑破。这三处的共同点是:动作都很小,单次看不出问题,累计起来才现形。应对办法不是月底看账单,是给每处设一个阈值,超过就停下来查。
- 上下文越拼越长:命中片段数从三条涨到十条,单次输入翻几倍,给召回条数设上限并写进配置
- 提示词版本越堆越多:每个场景一套示例,输入侧成本无声上涨,定期清理不再起作用的版本
- 文档反复重建:更新策略没定好,整库重跑向量化的次数远超预期,按文档变更比例决定是增量还是全量
- 查询量突增:新功能上线或外部流量进来,按量那一列最先反应,设日调用告警比月账单更及时
这三处对应的动作都不用多复杂,关键是有人负责看。我建议在项目里指定一个人盯这三项指标,每周花十分钟过一遍,比出事之后翻账单有效得多。阈值定多少,到站内工具页看当时的量级参考,别照搬别人的数。
下一步想对一下自己的账,先去价格追踪页看当时的单价口径,再用 token 计算器把平均输入长度换算成量级,两边一对,超没超基本就清楚了。→常见问题
RAG 和微调到底能不能一起用?
能,而且常见。先用检索把相关资料找出来,再把资料拼进提示词,最后用微调过的模型来做格式或风格上的收敛。但预算要分开记:检索按查询量算,微调按训练和托管算,混成一行就看不出哪一段在涨。
提示词也算成本吗,不就是写几句话?
算。系统提示词、示例、格式约束都进输入 token,调用量大的时候输入侧的花费往往比输出侧还高。判断方法很简单:拿一次真实请求的输入长度乘以月调用量,再对单价,量级立刻出来。
小团队一开始该先上哪个?
先改提示词,再考虑 RAG,最后才看微调。提示词迭代最快、试错最便宜;RAG 解决的是资料不在模型里的问题;微调要样本、要标注、要托管,启动门槛最高。除非需求明确指向模型自身的判断能力,否则别从微调开始。
怎么判断现在的花费是不是偏高?
看两个比值:单次请求的平均输入长度,以及检索命中片段数占上下文的比例。这两个数持续上涨而效果没变好,基本就是花在了不该花的地方。再对照 /usage 里的用量口径,看自己的调用结构是否合理。
预算做出来和实际差很远,问题出在哪?
多半是只算了生成模型的钱,漏了向量化、重排、托管推理、文档重建这几项。另一个常见原因是按峰值调用量估,实际平均值低很多,或者反过来低估了增长。建议按季度回看,用真实日志修正,而不是年初定死一个数。