很多人接手老项目或给新功能选模型时,会卡在同一个问题:预算只够一代,到底是沿用便宜的旧代,还是上贵一点的新代。网上一堆对比只甩单价,没告诉你口径是否对齐、什么任务上贵的反而不值。这篇不背数字,只给一套可复用的比较流程:先对齐计价口径,再按任务分层比总花费,最后给一张什么情况下该留守旧代、什么情况下该升级的对照表。
很多人接手老项目、或者给新功能挑模型时,会卡在同一个问题上:预算只够一代,到底是继续用便宜的那代,还是上贵一点的新代。网上大量对比只甩两个单价就下结论,却没说这两个价是不是同一个口径,也没说在什么任务上贵的反而不划算。
这篇不背任何数字,只给一套能复用的比较流程:先把两代的计价口径对齐,再按任务类型算「跑完这件事总共花多少」,最后给一张什么情况该留守旧代、什么情况值得升级的对照表。口径没对齐之前,任何单价对比都是白比。
第一步:先把两代的计价口径对齐
两代的价目表放在一起看之前,先确认你看的是不是同一类口径。常见坑是:一边看的是输入输出分开计价的按量价,另一边看的是打包订阅或者渠道折算价,两个数字直接被拿来相减,结论自然离谱。
- 输入与输出是否分开计价,有没有缓存读、缓存写的不同档位,命中缓存和没命中可能差出一截
- 单位是否一致:是每百万 token 还是每次调用,是按量计费还是订阅打包,别拿订阅价去撞按量价
- 上下文上限和单次请求的计费粒度不同,长提示词在旧代可能要切成几段发,切段本身就会把成本抬上去
- 有没有批量接口、限时折扣、阶梯用量这类隐藏档位,两代未必都有
口径摸不清的时候,别凭记忆。到 官方 API 价格(/official-api) 和 价格变动追踪(/price-watch) 核对同一天的版本,两代都按同一来源、同一天的数据来对,差异才有意义。
第二步:按任务类型算「跑完这件事要花多少」
单价只决定单位成本,真正决定账单的是任务形态。同一个功能,拆成不同任务类型,两代的成本结构可能完全反过来。所以别问「哪代便宜」,要问「这类任务哪代跑完更便宜」。
| 任务类型 | 成本主要看哪一侧 | 旧代可能吃力的地方 |
|---|---|---|
| 短问答、分类、简单抽取 | 输出侧单价,调用次数少 | 一次答不准就要重试,重试翻倍 |
| 长文档理解、摘要 | 输入侧单价和能吃下的上下文长度 | 长文要切段,切段后调用次数上升 |
| 多轮改写、工具调用 | 每轮平均输出长度和重试比例 | 轮次一多,总价被拉平甚至反超 |
判断标准一句话:旧代的便宜只在「一次就对」的任务上成立。需要反复追问、重试、重新组织输出的任务,贵的那代可能反而更省,因为它把返工轮次降下来了。
- 记录真实用量拉一周的调用日志,统计调用次数、平均输入长度、平均输出长度、重试比例,别用演示 prompt 试算。
- 分层重算把日志按上面三类任务拆开,分别用两代的参数重算一遍总成本,参考 模型成本计算器(/tools/model-cost-calculator) 做这一步。
- 比通过率而不是比单价用同一批样本各跑一遍,算「通过率 × 单次成本」,得出每完成一件有效任务的花费。
什么情况下别急着换到新的一代
升级不是默认正确。有几类场景,贵的这代带来的质量提升换不成钱,强行升只是把账单做大。下面这几条是典型的「先别升」。
- 产出只做内部草稿,对措辞容错极高,质量提升没人会为此买单
- 链路后面已经挂了规则校验、模板拼接、人工终审这类后处理兜底,升级收益会被后处理吃掉大半
- 调用高度集中在少数几个固定模板上,先优化模板、提缓存命中,再谈换不换代,顺序别反
- 预算已经卡死在某一代,硬切过去会导致量被迫砍到影响功能,那不如维持现状
反过来,任务要求一次成型、错一次就要人工返工的场景,省下来的那点调用费通常抵不过返工时间。这里判断的关键不是单价,而是「人工返工一小时的成本 ÷ 通过率差值」,算出这个数,你就知道自己愿意为质量多付多少。
一张能直接照着走的决策清单
把前面几步收成一张清单,照着走一遍,基本就能得出你自己场景下的答案。缺任何一步,结论都只能算猜测。
| 动作 | 产出 | 不做的后果 |
|---|---|---|
| 对齐两代计价口径与单位 | 一份同日同源的口径表 | 单价对比失真 |
| 统计一周真实用量 | 调用次数与长度分布 | 估算全靠拍脑袋 |
| 同批样本各跑一遍 | 两代的通过率对比 | 不知道质量差多少 |
| 算通过率与单次成本 | 每件有效任务的成本 | 比错了指标 |
| 写进模型路由并设告警 | 可回滚的切换方案 | 换完后失控 |
单位换算容易出错的地方,用 Token 单价换算(/tools/token-price-calculator) 统一一次,把两代都换成同一个单位再进表,避免一边按字符一边按 token 比。
需要提醒的是,这套流程适用于「两代都还能跑同一个任务」的情况。如果旧代在能力上已经接不住任务本身,那就不是成本对比问题,而是可用性问题,直接按能力选就行。
下一步把你手头这条链路的真实用量丢进计算器重算一遍,再对着价格追踪页确认两代的当期口径,得到的结论才是你自己的,不是别人的。→常见问题
两代到底差几倍,有没有一个固定比例?
没有能通用的倍数。差多少取决于你的输入输出比例、上下文长度、是否命中缓存以及走的是哪条渠道。同一对模型,在短问答任务上和在长文档任务上的差距可能完全不是一个量级。想知道自己这边差多少,必须拿自己的用量记录去算,站内价格页只给当期口径,不给你的场景。
预算有限,能不能先用便宜的那代跑,效果不行再换?
可以,但要设好转折条件,别凭感觉切。建议先定义清楚什么算「不行」:是首次通过率低于某个水平,还是人工修改耗时超过某个阈值。达到阈值再切贵的一代,并同步记录切换前后的成本变化,否则你只会得到一个模糊的「好像好一点」。
换到贵的一代之后,账单反而降了,这正常吗?
正常,而且不算少见。贵的模型往往在长指令遵循和结构化输出上更稳,重试次数、追问轮次、后处理兜底的成本都会下降。如果你观察到账单下降,去核对调用次数和重试比例是不是同步降了;如果只是单价降了但次数没变,那要检查是不是选错了档位或走了不同渠道。