技术负责人要做模型选型时,最容易被两件事带偏:一是把「开源」当成「免费」,二是把「商业 API」当成「贵」。真正卡人的往往不是单价,而是许可证里商用边界写没写清、离线交付能不能过合规、以及出问题那天你手里有没有回滚方案。这篇按许可、成本、可控性三条线给对照标准和排查顺序,数字一律指到站内页面去核。
技术负责人做模型选型,最容易被两件事带偏:一是把「开源」当成「免费」,二是把「商业 API」当成「贵」。真正卡人的往往不是单价,而是许可证里商用边界写没写清、离线交付能不能过合规、以及出问题那天你手里有没有回滚方案。这篇按许可、成本、可控性三条线给对照标准和排查顺序,所有具体数字都不写在这里,统一指到站内页面去核。
先给一个心态上的提醒:开源和商业不是二选一的对立面,多数团队最后是混着用的。差别在于你得先知道自己卡在哪条线上——是被法务卡、被账单卡,还是被运维能力卡。搞清卡点,选型才有方向,不然只会在参数表上比来比去。
先看许可:开源不等于随便用
第一件要分清的事:「开放权重」和「开源软件」不是一回事。权重能下载,不代表训练数据、商标、输出内容的归属都一并授权给你。很多团队在评估阶段只看了下载页的说明,等到要商用交付时才发现许可证里对再分发或特定行业有限制,回头重做选型,时间成本比钱贵。
- 开放权重
- 模型参数可下载可本地跑,但许可证可能对商用、再分发、微调后发布单独设条件
- 商用边界
- 许可证里明确写「能否用于对外收费产品」的那几句话,必须逐条读,不能只看宣传页
- 输出归属
- 模型生成内容归谁、能否用于训练别的模型,不同许可证写法差别很大
- 常见触发条件要提前排查:参数量门槛是否触发额外授权、月活或调用量是否触发商用协议、是否禁止用于某些行业
- 再分发条款单独看:把微调后的模型再发布出去,多数许可证要求附带原许可和署名
- 不适用情形也要说清:只做内部试验、不对外交付产品时,许可约束通常宽松很多,但仍要确认数据不出内网这条硬线
- 落地动作:把候选模型许可证里「商用」「再分发」「输出归属」三句话摘成一张对照表,交法务确认后再进短名单
再算成本:别只比单价
商业 API 是按量付费,成本随调用量走,好处是没有前期投入,坏处是用量涨起来后账单不可控。自建开源模型是固定成本加变动成本:卡、电、运维是固定项,峰值并发决定你要备多少冗余,闲时资源浪费得自己担。两条路的账不能只在单价上比,得按你自己的调用曲线来算。
| 成本项 | 商业 API | 开源自建 |
|---|---|---|
| 前期投入 | 基本为零,按开通走 | 需要卡、机房或云主机,先花钱才能验证 |
| 随量的变化 | 线性增长,量越大越明显 | 阶梯式,过了一个并发档位就要加机器 |
| 隐性成本 | 重试、评测回归带来的额外调用 | 人力运维、框架适配、安全补丁 |
| 资源浪费 | 不用不花钱 | 闲时资源闲置,峰值冗余要常备 |
容易被漏掉的三项:长上下文带来的 token 放大、失败重试与评测回归的额外调用、人力运维的隐性工时。想拿到当时的价目和租卡口径,到 /price-watch 核对当时的数字;自己团队的日调用量和上下文长度,用 /tools 里的成本估算工具先跑一遍,再和租卡账对一遍,两条路的交叉点通常不在小数上。
- 统计真实调用量从日志拉近一段时间的日调用量和平均上下文长度,别用拍脑袋的预估值
- 算商业 API 账单按调用量乘当时单价,再加上重试和评测带来的放大系数,到 /price-watch 核对当时的数字
- 算自建总账卡、电、运维工时、冗余机器一起算,按峰值并发而不是平均并发来备
- 找交叉点看两条账在什么调用量下打平,打平点在你未来一年的预期区间内,才值得认真考虑自建
可控性:出问题时你手里有什么
开源自建的优势是版本可冻结、可离线、可微调、可换硬件;代价是升级、安全补丁、推理框架适配都得自己做。商业模型的优势是免运维、能力更新快;代价是版本可能下线、限流和降级由厂商决定,你的业务要跟着它变。可控性不是抽象概念,要落到具体场景问:断网了还能不能跑、历史版本还能不能调、出故障时降级到哪。
- 数据能不能出内网:这是硬约束,不能出的直接排除纯 API 路线
- 故障时能不能降级到备用模型:业务侧要能容忍效果下降而不是直接停摆
- 历史版本能不能固定调用:监管或审计场景常要求可复现,商业模型不一定给这个保证
- 团队能不能长期维护推理服务:没人维护,自建的「可控」很快会变成「不可用」
落地判断清单:按顺序过一遍
把上面三条线收成一张按顺序走的清单。顺序很重要:合规先卡,量级其次,定制深度第三,最后才谈退路。顺序乱了容易在性能对比上耗掉时间,最后还是被法务或账单打回。
| 顺序 | 判断项 | 结论指向 |
|---|---|---|
| 一 | 数据能不能出内网 | 不能出就排除纯 API,转私有化或开源托管 |
| 二 | 调用量是否稳定且长期 | 小且不稳先用商业 API 试水,稳了再算自建账 |
| 三 | 定制深度需求 | 要深度微调选开源权重,只做问答总结商业 API 够用 |
| 四 | 切换成本 | 接口层做抽象,换模型只改配置不改业务代码 |
第四步最容易被忽略:无论选哪边,接口层做一层抽象。它不花钱,但决定了你半年后想换模型时是改一行配置还是改整个业务。做评测对比时到 /rankings 看当时的数字,但记住排行只是参考,你的场景得自己压测。
下一步选型不是比参数,是比谁卡你。先去 /sites 看看候选供应商和中转站的资质与检测记录,再用 /tools/speed-test 跑一遍你实际场景的延迟和稳定性,账才算是算全了。→常见问题
开源大模型是不是就等于免费商用?
不是。开放权重只说明模型文件能下载,许可证里对商用、再分发、月活门槛、行业限制常有附加条款,有的还要单独申请授权。判断方法是把许可证中商用相关的几条摘出来交给法务确认,而不是看下载页面写没写「free」。
商业 API 和自建开源,哪个总成本更低?
取决于调用量和稳定性要求,没有统一答案。调用量小、波动大时按量付费通常更省;量稳定、并发高、又必须留在内网时,自建的固定成本会被摊薄。建议拿你自己的日调用量和上下文长度去站内成本计算器跑一遍,再和租卡口径对照。
选了商业模型,后面想换开源会不会很麻烦?
麻烦程度取决于你有没有在接口层做抽象。如果业务代码直接写死了某家 SDK 和参数格式,迁移要改的地方很多;如果统一走兼容接口、把提示词和解析逻辑收在一层,换模型基本只改配置。选型阶段就把这层适配留出来,比事后重构便宜得多。