大模型、小模型常见问题:第一次上手最容易卡在这三件事

模型与算力

把大模型和小模型的选择拆成任务、算力、成本三件事,给判断标准和可执行动作,帮你在动手前少走弯路。

搜「大模型、小模型」的人,多半不是想听参数怎么定义,而是手里有个活,不知道拿哪个模型干,或者已经装了一个发现跑不动。这篇不讲原理演进,只讲三件事:先看任务要不要「大」、再看你手上有什么算力、最后算一遍长期成本。每一步都给判断标准和不适用的情况,照着走一遍再决定。

搜「大模型、小模型」的人,多半不是想听参数怎么定义。手里有个活,不知道拿哪个模型干;或者已经装了一个,发现跑不动。这篇不讲原理演进,只讲三件事:先看任务要不要「大」、再看你手上有什么算力、最后算一遍长期成本。每一步都给判断标准和不适用的情况,照着走一遍再决定。

先说一句容易忽略的:选模型不是一个一次性决定。你今天拿它跑通流程,明天任务变了,这个选择就得重来。所以别把时间全花在「挑哪个最好」上,先把可替换的路径留出来——提示词存好,评测样本留一份,换模型的时候能立刻复现,这才是省事的关键。

先别问哪个强,先问这个活容不容错

我见过太多人一上手就打开模型榜单横着比,比完挑了个排前面的,结果跑自己的任务发现输出的格式根本对不上。问题不在模型,在顺序反了。先看任务的容错度:错了能不能立刻看出来、错了之后代价多大、每天要调用多少次。这三件事决定你该往「大」还是往「小」靠。

  • 输出错了会立刻暴露的活(比如代码报错、格式不对一眼看穿),小模型往往就够,跑得快还便宜。
  • 输出错了会悄悄流出去的活(对外文案、给客户看的结论、要进数据库的字段),才值得上大的,多花的钱买的是出错概率低。
  • 每天调用几万次、单次错一次无所谓,小的更合适;每天就调几十次、错一次要返工半天,别省这个。
  • 任务本身流程还没跑通的时候,别急着比模型——先随便拿一个能用的把链路走完,再回头换。

不适用的场景也说清楚:如果你的任务没有明确的验收标准,比如「帮我写得好一点」,那上面这套容错判断用不上。得先把验收标准写出来,哪怕就是「不超过三段、不能出现某个词」,有标准之后模型选择才有意义。

算力这一关,卡住的多半不是显存大小而是量化档

本地跑模型的典型误判是先挑模型再找机器,基本都会返工。顺序应该反过来:先定你能接受的输出速度,再倒推参数量。比如你是要边打字边出结果,那速度门槛就在那;要是批量跑一夜第二天看,慢一点无所谓。

显存不够时,很多人的第一反应是换更小的模型。实际用下来,先调量化档位和上下文长度往往更划算——量化掉一档,显存压力小一截,质量损失你可能根本感知不到。具体档位怎么取舍,去 /ai-dict/category/hardware 对照着看,别凭感觉估,估错一次就是白等一晚上。

还有一种情况不适用这套:只跑一次做验证。这时候直接租卡比配机器省事得多,别为了跑通一个 demo 去攒硬件,攒完发现就用了两次。

长期账要算两条线:单价和你的时间

调用按量付费的钱是浮动的,会随模型调价和你的用量变;自建的钱大头在机器之外,装环境、调参、排错都算成本。很多人算账只算第一条,忘了第二条。一个 5 人小团队自建小模型,省下的接口费常常抵不过一个人每周花在排错上的时间。

你的情况更适合的路子判断理由
一周只跑几次,格式不固定直接调现成接口省心,量小到不值得折腾部署
每天几百次以上,输入输出格式固定考虑小模型自建量起来后自建的边际成本才划算
数据不能出内网先看合规,再谈成本这条线直接跳过成本比较
任务还在试错阶段,模型要换先用接口跑换模型不碰基础设施,试错成本低

拿一周的真实请求量去套站内成本计算器,别拿峰值。峰值会把结论带偏,让你高估需求去配一个大机器,平时三分之一都用不到。具体数字到 /price-watch 看当时的报价再填,别记着我说的任何数。

一个能照着走的顺序

把上面三件事串起来,实际动作是这个顺序,照着走一遍再决定,比在榜单上纠结半天有用。

  1. 写清任务和验收方式一句话说明给谁看、要多长、不能出现什么,再补一条怎么算「够用」。
  2. 用现成接口跑真实样本拿十来个你手上的真实输入,不是编的例子,看输出能不能直接用、要改多少。
  3. 看效果和用量再决定换不换效果够用就停,别为了「更聪明」多花钱;用量大且格式固定,再考虑小模型自建。
  4. 留回退路径提示词、评测样本、调用参数都存好,换模型换回来能立刻复现同一批结果。

最常见的失败不是选错了模型,是选完之后没留退路。换了模型发现效果变差,原来的提示词没存,样本也没留,只能从头再调一遍。这个坑比选错模型贵多了。

选模型的事,八成卡在动手之前想太多、动手之后没留退路。先把流程跑通,再谈优化。
下一步想先看看各家现在的接口报价和可用模型,到 /sites 逐个核对当时的数字,再回来套上面这套顺序。

常见问题

先上大的再换小的,行不行?

可以,前提是你把评测样本留下来了。先用大模型把效果上限摸出来,再拿同一批样本去测小模型,差多少一目了然。反过来先上小的再往上换,很容易在调参上耗掉比省钱更多的时间。

本地跑和调接口,到底怎么定?

看两条:数据能不能出去、调用频次高不高。两个都满足才考虑本地。只是偶尔用、又不涉及敏感数据,调接口更省事,省下来的时间比省下的钱值。具体测算去站内算一遍再说。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。