很多人选模型时只盯着「哪个更强」,结果要么花了大钱跑简单活,要么图便宜结果任务老出错重来。这篇不讲参数公式,只给你一套判断顺序:先看任务难不难,再看并发和延迟能不能忍,最后才算钱。看完你能说清自己这个场景到底该用大的还是小的,什么情况下不适用。
选模型这件事,最容易踩的坑不是选错牌子,而是没想清楚任务有多难就先按「哪个便宜」或「哪个最强」下手。结果一种是把简单活交给大模型,钱花得冤;另一种是图便宜拿小模型扛复杂任务,输出老出错,返工和人工复核把省下的钱又吐回去。
这篇不聊参数公式,只给一套能照着走的判断顺序:先看任务难不难,再看并发和延迟能不能忍,最后才算钱。看完你至少能说清自己这个场景该往哪一档走,以及什么情况下这套判断不适用。
参数规模:多出来的到底是什么
参数规模大致对应模型「记住的模式量」。规模上去,通常换来两样东西:更稳的长链条推理,和更宽的常识覆盖面。它不是一张聪明程度的打分表,参数多不等于在你这个任务上就一定更好,只是它在没见过的场景里更不容易崩。
反过来,小模型也不是「大模型砍一半」。很多小模型是冲着单一任务专门训练过的,在分类、抽取、格式转换这类活上反而更听话,更少自作主张地补充你没要的内容。不同厂商对同档规模的实现差别很大,别只按参数数字横向比,去 /models 看规格和适用说明,概念上的对应关系可以去 /ai-dict/category/tech 对照。
能力边界:哪些活小模型真的干不了
小模型最先掉链子的地方,集中在三类任务:多步推理、跨文档汇总、以及需要同时守住很多条约束的长任务。它的典型失败方式不是报错,而是悄无声息地漏掉中间某一步,或者只顾了前面几条要求、把后面的忘了。这种错最难发现,因为输出看起来是通顺的。
长上下文还要分清「塞得进」和「用得上」。上下文窗口够大,只代表内容能被放进去,不代表模型抓得住重点。判断办法很朴素:拿你真实的一条难样例,让大小两档各跑一遍,看小模型是错得离谱,还是只差一点点。只差一点通常说明提示词还能补,错得离谱才说明该换档。
- 多步推理:小模型容易在第二三步开始偏离,输出依旧通顺
- 跨文档汇总:容易只覆盖其中一两份材料,其余被忽略
- 多约束长任务:前面的要求守住了,后面的悄悄丢掉
- 纯格式转换:两档差别很小,不必为此升级
- 实时交互:大模型再准,响应慢也可能不适合
成本与吞吐:钱不是只看单价
总成本大致等于单价乘用量再乘重试次数。小模型单价低,但错得多,重试和人工复核会把省下的钱吃回去。所以别按单次调用价格比,要按「跑对一次的成本」来算。各家官方单价可以到 /official-api 核对当时的数字,用自己的真实用量去 /tools/model-cost-calculator 折算,再对 /inference 比一遍开源模型的托管价。
并发和延迟同样是成本。小模型更容易拿到高并发、快响应,这对客服、批处理这类量大又不需要深推理的场景价值很大。相关限制可以先看 /ai-nav/category/ai-model-platform,别等上线了才发现并发拿不到。
| 场景特征 | 优先方向 | 理由 |
|---|---|---|
| 窄任务、格式固定 | 小模型 | 规模差异看不出来,省钱省时 |
| 开放推理、多约束 | 大模型 | 小模型容易漏步骤且不易察觉 |
| 高并发、低延迟 | 小模型 | 更容易拿到吞吐和快响应 |
| 用量极小、偶尔用 | 省心的那档 | 单价差异可以忽略,别折腾 |
一套能照着走的选型顺序
- 第一步 定任务类型窄任务先试小模型;开放推理、跨文档汇总这类任务直接从大模型起步。验证方式:把任务描述写成一句话,看它是否需要多步推理。
- 第二步 定容忍度能接受偶尔返工就用小模型压成本;不能接受错一次就出问题,就把大模型当默认档。验证方式:问自己出错后谁来兜底、要花多少人力。
- 第三步 定规模先用小模型跑通全流程,再挑出真正出错的环节单独换成大模型,形成混用。验证方式:记录每类任务的失败率,只升级失败率高的那几类。
- 第四步 留退路同一份提示词在两档模型上都能跑,换模型时不用重写。换之前先去 /ai-nav/category/ai-api 比一遍口径,避免格式或参数对不上。
这四步的顺序不要调。先看难度,再看容忍度,最后才算钱,是因为价格随时会变,而任务难度和你的容忍度基本是稳定的。把稳定的东西先定下来,价格波动就不会反复推翻你的选型。
下一步拿你手上真实的一条难样例,用大小两档各跑一遍,再回站内核对当时的单价和并发限制,比自己空想快得多。→常见问题
参数越大就一定越聪明吗
不一定。规模大通常在复杂推理和常识覆盖上更稳,但很多小模型是针对性训练过的,在固定格式输出、分类抽取这类窄任务上更守规矩。真正该看的是你的任务属于哪一类,而不是参数数字本身。想横向比,去 /models 看规格,再拿自己的样例题实测。
预算有限是不是只能用小模型
不必一刀切。常见的做法是混用:把大部分简单请求交给小模型,只把少数难样例转给大模型。关键是把「跑对一次的成本」算清楚,包括重试和人工复核。具体单价到 /official-api 看当时的数字,用自己的用量在 /tools/model-cost-calculator 里折一遍再决定。
换模型要不要重写提示词
最好一开始就按能通用的写法组织提示词,换的时候改动就小。不同模型对格式和指令的敏感度不一样,换完要用同一批样例回归测一遍,重点看输出结构有没有跑偏。跨档位切换时,先去 /ai-nav/category/ai-api 对一下计费和额度口径,避免账单预期落空。