很多人选模型的起点是「参数量大一点总没错」,结果账单和部署两头都超出预期。其实大模型和小模型的差别不在一个数字上,而在三件事:能不能干、花多少、放在哪跑。这篇不比较具体模型,只给判断标准和一套能照着走的流程,帮你先把自己的需求摊开再选。
很多人第一次选模型,起点都是一句「参数量大一点总没错」。听着稳妥,实际常常两头翻车:账单一来比预想高一截,机器一开发现根本跑不动。大模型和小模型的差别,真不是一个数字能概括的,它落在三件事上——能不能干、花多少、放在哪跑。这三件事的顺序也不能乱,先看能不能干,再谈钱和机器。
这篇不比较任何具体模型,只给判断标准和一套能照着走的流程。看完你至少该知道:自己的需求摊开后,哪一步先卡住,就先去验那一步,别一上来就比单价。
先分清它们差在「能不能干」还是「干得好不好」
这个区分特别关键。小模型的上限,不等于大模型的下限。复杂推理、多步链条、跨领域迁移这类活儿,小模型不是慢一点,是经常中途崩掉——开头几步还在正轨,走到一半就开始编,或者干脆绕开关键约束。而大模型的优势,恰恰体现在它没见过的任务上。
反过来,如果你的任务模式固定、输入输出格式稳定,小模型微调一轮之后往往够用。翻译、分类、结构化抽取、固定模板改写,这类活儿的答案长什么样你心里有数,大模型多花的那部分钱,买到的是「没见过也能扛」的余量,你用不上就是浪费。
怎么判断?别拍脑袋,把最近两周真实做过的任务抽二三十条出来,按三档标记:答案是不是唯一的、要不要多步推理、要不要读长文档。落在前两档多的,先试小模型;三档全中的占比高,再考虑大的。
成本不只看单价,还有三笔容易被忽略的账
| 这笔账 | 大模型这边 | 小模型这边 |
|---|---|---|
| 调用侧 | 单价高,且输出不稳要重试,返工才是大头 | 单价低,但多次调用的稳定性要靠测试兜底 |
| 算力侧 | 要显存、要并发预算,本地部署门槛高 | 一张消费级卡往往能塞下,量化档位可调 |
| 人力侧 | 自建要人盯部署、监控、调参 | 维护负担小,但效果上限要自己认 |
| 隐性成本 | 需求一变就得换模型重调提示词 | 微调数据要攒,攒不够效果上不去 |
很多人只盯着调用侧那行单价,觉得大模型贵、小模型便宜,其实最容易漏的是人力侧。一家 5 人小团队自建大模型,卡钱可能还能凑,但没人专职盯部署和监控,出了问题就是全员停摆,这笔账比卡钱疼得多。
算力侧的数字别凭印象,去站内把参数量和量化档位填一遍,按你自己机器的显存倒推能跑多大,具体路径在下面的部署一节。单价和延迟这类会变的数字,到 /official-api官方 API 价格页 核对当时的数字,别拿旧截图做决定。
部署方式决定了你其实选不了太大的模型
这句话有点扎心但是实话。纯调用 API 的时候,模型大小对你基本透明,你只关心两件事:延迟能不能忍、单价能不能扛。至于它背后是几张卡,跟你没关系。
可一旦要本地部署,显存就是先卡死你的那道门。先量现有机器,再挑模型,顺序反了就是白折腾。混合方案也值得考虑:日常高频的简单任务走小模型,疑难件才转给大模型。多出来的路由逻辑要不要写,取决于疑难件占比——占比很低就别写,维护成本划不来。
- 量机器先确认现有显卡显存和可用并发,别先看模型再看机器,顺序反了容易白挑一轮
- 套档位按参数量和量化档位在站内算一遍能不能放下,具体数字到 /compute/sizing算力估算页 填一遍
- 试路由抽样统计疑难件占比,占比低就单模型跑,占比高再考虑两段式路由
一套照着走的判断顺序
前面几节拆开讲了,这里收成一条能照着走的顺序。核心原则是:一步卡住就停在那一步验证,别把四步混在一起算,否则很容易得出一个谁都不敢拍板的结论。
- 第一步,看任务有没有稳定答案模板——有就先试小模型
- 第二步,估一个月调用量和峰值并发,高频低峰和低频高峰是两种打法
- 第三步,看本地有没有能用的卡,没有就走 API,别硬上自建
- 第四步,最后才算钱,把调用、算力、人力三笔一起摊开
什么情况下这套顺序不适用?任务本身还在探索期、需求每周都在变的时候。这时候别急着定模型,用最方便调的那个顶一阵,等需求稳下来再按顺序过一遍。硬要现在选,选完大概率两周后就得推翻。
大模型买的是没见过也能扛的余量,小模型买的是够用就好。先问自己需不需要那份余量,再谈钱。下一步把你要跑的任务列出来,对照站内的模型资料库和价格追踪页看当时的数字,别用印象做决定。→
常见问题
参数量大一倍,效果是不是就一定更好?
不一定。参数量只是容量,还要看训练数据、对齐程度和你要做的任务是否匹配。同一个任务上,一个针对它调过的小模型经常打赢一个通用大模型。判断办法是拿你自己的任务集去测,而不是看别人的总分,具体对照可以翻 /benchmarks。
小模型能不能做知识库问答?
能,但分工要摆对。检索交给嵌入模型,小模型只负责把检索到的片段组织成回答,这样对模型本身的推理要求就降下来了。如果让小模型自己去记事实、凭记忆答,幻觉会明显变多,这个坑很多团队踩过。
预算有限时该先省哪一块?
先省固定成本,再省变动成本。自建的显卡和运维是每月都在花的,调用费是随用量走的。不确定用量之前,别为了省单价去自建。等用量稳了,再去 /compute/tco 把三年账算一遍,比凭感觉决定靠谱。