很多人选型时把「通用」和「开源」当成两个阵营来站队,结果要么被闭源能力上限绑住,要么自建后发现维护成本压不住。这篇不讲排行榜,只讲怎么按你的任务类型、数据敏感度和团队运维能力,把这两类模型的差异拆成能勾选的判断项,并告诉你哪些情况下这套判断不成立。
选型会上最常见的场面,就是两边人吵成两派:一派说闭源托管能力上限更高、不用自己养机器,另一派说开源权重数据不出门、早晚能自己改。吵到最后往往不是能力之争,而是各自站的位置不同。真正该问的是:你的任务数据能不能出内网、调用量稳不稳、团队有没有人能盯着推理服务、你是不是非得改模型行为。这四个问题答完,阵营感基本就散了。
这篇不排座次,只把「通用大模型」和「开源大模型」的差别拆成能力边界、成本结构、可控性三块能勾选的判断项,再给一条从判断到落地的顺序。需要先说明的是,下面所有涉及数字的地方都不给结论,你到站内对应页面按当时的数字核。判断类的内容我会写清什么情况下不成立,别照搬。
能力差异不在分数,在你怎么验它
通用大模型通常是完整托管服务,能力调优围绕通用问答和指令跟随铺开;开源权重模型的能力则取决于你选的权重版本和量化档位,同一个权重换一种量化方式,输出就可能不一样。所以验能力时先把量化档位固定住,再去比,否则你比的其实是部署配置,不是模型本身。
- 用你真实业务里的样本过一遍,二三十到五十条就够,覆盖正常case、边界case和容易翻车的case,别用通用问答题代替
- 两类模型用同一套提示词、同一批样本、同一档量化跑,人工或规则打分记下来,差异才可解释
- 公开榜单的结论只能当参考,口径和读法到 /benchmarks 与 /benchmarks/registry 核对当时的数字
- 验的时候把失败原因分类:是知识缺失、格式不稳,还是指令跟不动,这决定了后面能不能靠提示词补救
成本算法完全不是一回事
通用大模型是按量或订阅计费,边际成本随调用量线性走,算法是先算单次调用成本,再乘预估调用量。开源模型前期是显存和卡的钱,跑起来之后边际成本接近电费加折旧,但部署、监控、升级的人力必须算进去,不然账会假。单价、额度口径到 /official-api 与 /tools/model-cost-calculator 按当时数字核,卡和租用口径看 /compute/sizing 与 /compute/gpu-rental。
| 对比项 | 通用大模型 | 开源权重自建 |
|---|---|---|
| 计费形态 | 按量或订阅,随调用走 | 卡/租用先投入,边际低 |
| 调用量低或波动大 | 成本随用随付,更可控 | 固定投入摊不薄,通常更贵 |
| 调用量长期稳定且高 | 单价乘量,量越大越显眼 | 单位成本可能压下来,但看利用率 |
| 隐性成本 | 接口限流、涨价、服务变更 | 部署、监控、升级、冗余的人力 |
| 算账参考 | 到 /official-api 核当时单价 | 到 /compute/tco 按三年账核 |
分界线其实就一句:调用量长期稳定且高,自建的单位成本才可能压下来;调用量低或波动大,自建大概率更贵。想按三年账算,方法在 /compute/tco。这里有个不适用的情况:如果业务对延迟峰值有硬要求,自建要多备冗余卡,成本账会明显抬高,上面的结论就不成立了。
可控性分三层,别只看「能不能本地跑」
很多人把可控性等同于「能不能本地跑」,其实至少分三层,每层的代价不一样。第一层数据层:开源权重能把数据留在内网,通用大模型走接口就有数据出网的问题,合规口径和私有化路径去 /safety 和相关私有化页面看。第二层版本层:通用大模型会随服务方更新,同一个模型名不同时间表现可能变,你的评测基线要定期重跑。
- 数据层可控
- 能不能让原始数据不出内网,决定合规底线
- 版本层可控
- 能不能锁住你验证过的那一版,决定结果可复现
- 改动层可控
- 能不能微调、量化、剪枝,决定行为能不能改
第三层改动层:只有拿到权重才能做微调、量化和剪枝。想改行为逻辑的,先确认许可证是否允许,边界到 /open-weight-license-basics 看。开源权重你自己锁版本,好处是结果可复现,代价是安全修复和 bug 得自己跟,没人替你打补丁。
一张勾选清单,勾完就知道往哪边走
- 先答四个问题数据能不能出内网;调用量是否稳定且大;团队有没有人能值守推理服务;任务是否需要改模型行为。四项写下来,别在心里答。
- 按勾选结果分流「数据不能出网」或「要改模型行为」勾上,基本只能走开源权重这条线;只勾上「调用量稳定且大」,再算一遍自建成本才决定,别直接跳。
- 都不勾就先跑业务先用通用大模型把业务跑通,把调用量和延迟基线量出来再谈迁移,接口延迟基线用 /tools/speed-test 先测。
- 迁移前留回退模型换代不要一步切死,按 /model-upgrade-migration-checklist 的验证顺序走,出问题能切回去。
这张清单的适用边界也说清楚:如果你的业务处在强监管行业且已经有明确的私有化要求,那第一项就不是「勾不勾」的问题,而是硬约束;反过来,如果只是内部试用、数据本身不敏感,硬上自建反而拖慢验证节奏。
下一步把调用量和延迟基线先量出来,再拿着站内的成本口径算一遍,判断才有依据。→常见问题
开源大模型是不是就等于免费?
不等于。权重可以免费下载,但你要付显卡、电费、部署和值守的人力成本。许可上还有商用边界,比如调用量上限、是否要求开源衍生作品。签合同前到站内开源权重许可相关页面把条款逐条看一遍,别只看到「可商用」三个字就下手。
通用大模型能不能做私有化,是不是就不用考虑开源了?
部分厂商提供私有化或专属实例,但通常门槛高、价格另议,而且你拿到的仍是托管形态,改不了模型本身。如果只是数据不出网,可以问对应厂商的私有化方案;如果还要改模型行为或自己控版本,还是得走开源权重这条路。
量化之后开源模型效果掉多少,会不会比通用模型差很多?
取决于任务和量化档位,没有统一答案。固定同一权重、同一量化档位,用你真实业务的样本做对照测试才有意义。低比特量化对格式抽取类任务影响通常比对长文推理小。档位取舍思路到站内量化相关页面按当时的数据核。