选型会上常卡在同一个问题:便宜的模型跑得动这个活吗,贵的模型是不是白花钱。两边都有人拍脑袋,最后要么超预算,要么上线后返工。这篇给一套可执行的比对顺序——先把任务拆干净,再对齐计价口径,再挑两三个候选做小样实测,最后按成本结构决定。只讲怎么权衡,具体数字到站内对应页面看当时的报价。
选型会上卡住的从来不是「哪个模型最强」,而是「便宜的够不够用、贵的值不值」。两边拍脑袋的结果,要么预算超了,要么上线后返工重做。这篇不给你结论,给一套可执行的比对顺序:先把任务拆干净,再把计价口径对齐,然后挑两三个候选跑同一份测试集,最后按成本结构决定。具体数字到站内对应页面看当时的报价。
有个前提先说清楚:模型价格和能力都在动,所以流程比数字更耐用。你把这套顺序跑一遍,下次换模型、换供应商,照着再来一遍就行,不用重新学。下面四节分别对应拆任务、对齐口径、小样实测、留退路。
先定任务,再谈价格与性能
很多比价之所以比不出结果,是因为「比的是什么」都没定下来。同一个模型,用在短输入短输出的分类任务上可能很划算,用在长文档总结上单次成本就翻好几倍。所以第一步不是打开价目表,是把你自己的活拆成可量化的三件事:输入长度量级、输出长度量级、错一次的代价。
- 输入长度量级:是几百字的对话,还是几万字的长文档?输入往往是大头,先估量级再谈单价
- 输出长度量级:输出单价通常高于输入,而且模型爱「多说两句」,这一项最容易被低估
- 错误代价:错一次要人工返工的任务,单价便宜没意义;错一次只是日志里多一条告警,就可以放宽标准
- 任务类型:能力阈值型(达标就够)和线性消耗型(质量随模型走),判错类型会直接选错档位
判断标准很简单:如果你说不出「这个任务的输入大概多长、输出大概多长、错了会怎样」,那就还不到比价的阶段,先去问业务方。什么情况下不适用这套拆法?需求还在快速变、任务边界一天一变的时候,拆出来的量级没有参考价值,这时候别急着精算。
同一份测试集,所有候选都跑它
拆完任务,准备一份固定测试集,二十到五十条真实样本就够。关键是「固定」——后面所有候选模型都跑这一份,记录结果,避免凭印象比。样本要覆盖你真实的分布,别只挑简单例子,那样所有模型都满分,比不出差别。
把价格口径对齐,否则比的是假的
这一步最容易翻车。很多价目表只给「一个数」,但实际计费往往是输入、输出、缓存读、缓存写分开算的,四项单价差别可能很大。你拿 A 家的输入单价去比 B 家的综合单价,算出来的结论是假的。
| 计费项 | 为什么要单独看 | 容易踩的坑 |
|---|---|---|
| 输入 | 长文档任务里通常占比最高 | 只看「综合价」,把输入当小项忽略 |
| 输出 | 单价一般高于输入,模型话多就贵 | 测试时输出短,上线后输出变长,预算跑偏 |
| 缓存读 | 命中缓存时单价低,适合重复前缀场景 | 不确认是否支持缓存,直接按原价估 |
| 缓存写 | 写入本身可能计价,首次请求更贵 | 只算缓存读的便宜,忘了写入成本 |
口径对齐还包括「官方直连还是中转」。两条路的倍率、折扣、赠送额度的折算方式不一样,口径没统一之前不要下结论。模型版本会换、价格会调,本文不写任何具体数字,你到站内的报价页和价格追踪页核对当前情况,再套进自己的用量模型里算。
候选缩到两三个,做小样实测
有了用量模型,就能给每个候选算预估花费。别把全网模型都拉进来,挑出一个「够用档」、一个「高一档」、必要时再加一个免费或开源自托管档,三个以内。候选太多,测试集跑不完,人也比花了眼。
- 跑同一份测试集用上一节的固定样本,逐个候选跑一遍,保证输入输出条件一致
- 记录三个数通过率、平均输出长度、单次耗时是否可接受。输出长度单列,它常常是被忽略的成本项
- 折算返工成本通过率差距不大就选便宜的;差距明显且人工返工成本高,把返工工时折算进去再比
- 回头看口径算出来的花费如果和预估差得离谱,先回去检查是不是漏了输出或缓存项,而不是急着换模型
判断标准一句话:通过率差距不大时选便宜的;差距明显且错一次代价高时,贵的那个可能反而更省。什么情况不适用?如果你的测试集样本太少、覆盖不了真实分布,那测出来的通过率没有参考价值,先补样本再比。
定完别锁死:留一条可切换的路
选型不是一锤子买卖。把模型名、关键参数、计价口径写进配置文件,而不是散落在代码各处,后面换模型就是改一行配置的事。这样即使价格变了、新版本出来了,你也能低成本地重新跑一遍上面那套流程。
- 上线后按周看用量和账单,别等到月底才发现超支
- 重点盯两个指标:输出长度是否比预估涨了、重试比例是否偏高,这两项最容易让实际花费偏离预估
- 把计价口径和测试集一起存档,下次比价直接复用,不用从零搭
- 设一个触发条件,比如单次费用涨幅明显时自动提醒,而不是靠人记得
什么情况不建议这套精细流程?需求还在快速变化、任务边界一天一变的时候,先别做精细比价,用最便宜的达标档跑起来,等需求稳了再优化。流程本身是为了省时间,不是为了走流程。
价格是变量,能力是变量,能复用的只有你的比对方法。下一步去站内价格追踪页看当前各家报价与变动记录,把本文的四步套进你自己的用量模型里算一遍。→
常见问题
便宜的模型是不是一定效果差?
不一定,看任务。分类、抽取、格式转换、固定模板的生成这类活,能力到阈值之后好坏差别很小,便宜档往往够用。开放式写作、复杂推理、长链工具调用上差距才会显出来。判断办法是自己跑测试集,别信通用榜单,榜单的任务和你手上的活不是一回事。
我只想比对单价,有没有更快的办法?
可以,但先把口径对齐再比。至少要确认输入输出是否分开计价、有没有缓存分档、是不是中转倍率价。对齐之后到 /tools/token-price-calculator 和 /official-api 把单价换算成「你这个任务一次要多少钱」,比直接看每百万 token 的数字有用得多。
预算很紧,先砍哪一块最有效?
先砍输出长度和重试,再考虑换模型。很多团队的花费不在单价比别人贵,而在提示词啰嗦、输出冗余、失败重试没人管。把提示词压一遍、限制最大输出长度、给失败重试设上限,通常比换一个便宜模型省得更多,而且不影响效果。