搜这个词的人多半已经决定要做垂域模型了,卡在「到底上小的还是上大的」。这事儿不是比参数,是比你的任务能不能被拆碎、你的数据够不够瘦。下面给一套按任务、数据、算力三层过的判断顺序,配一张场景对照表和一份落地清单,照着勾一遍基本能定下来。
搜这个词的人,多半已经决定要做垂域模型了,卡在「到底上小的还是上大的」。这事儿真不是比参数。参数大不等于好用,参数小也不等于省钱。你要先看的是:手里这摊活,能不能被拆碎。
能拆成一堆格式固定的小判断,小模型有戏;拆完还是一大坨要读长文、跨段推理、接好几个来源,那就先别省这个钱。下面按任务形态、数据、算力这三层过一遍,配张对照表和一份能照着勾的清单,勾完基本就有答案了。
先看任务形态,别一上来就比参数量
一句话判断:输出格式固定、判断维度能枚举的活,小模型有机会;要读长文、要跨段推理、要接多来源信息的活,大模型更稳。这个判断不用看论文,看你自己的需求文档就能下。
我建议你把任务拆成三行写在纸上:输入长什么样、输出长什么样、错了谁买单。拆完你会发现,大部分选择自己就浮出来了。比如「从合同里抽甲方名称和签约主体」——输入是一段文本,输出是两个字段,错了业务能人工复核,这就是典型的小模型活。
- 收敛型任务
- 抽取、分类、打标、意图识别、固定话术生成。答案空间有限,小模型微调后往往比通用大模型裸跑更贴业务口径。
- 发散型任务
- 摘要、报告起草、多轮追问、跨文档比对、带条件的合规判断。小模型扛这些,省下来的钱通常会在返工里还回去。
有个常见误判得说一句:有人看到小模型在分类任务上表现不错,就顺手把「会议纪要生成」也塞给它。结果输出格式飘、漏要点,最后还得人工重写。这不是模型不行,是用错了地方。拆碎和没拆碎,是两类活。
数据够不够,决定你能走哪条路
小模型吃得少,但要吃得精。几千到上万条标注干净的样本往往就能见效,前提是标签口径统一、边界样本有人拍板。数据这东西,脏一条顶不上一百条干净的。
- 大模型靠的不一定是微调。把行业资料整理成检索库再配提示词,很多时候比硬训一个模型更快见效,改动也灵活。
- 样本里长期有争议的案例先别急着丢进训练集。先把分歧记下来,那批数据往往是后面翻车的源头。
- 判断标准很直接:如果连你自己团队对同一批样本都标不一致,先解决口径问题,换多大的模型都没用。
- 验收集要提前留出来,别拿训练集里的样本自测,那种准确率是自欺欺人。
我之前见过一个团队,三个人标同一批工单,一个人标「退款咨询」、一个人标「售后问题」、一个人标「投诉」。这种情况你先别训模型,先坐下来把标签体系定死。不然训出来的模型学的是三个人的分歧,不是业务规律。
算力和维护这两笔账,别只看单价
小模型的优势是能塞在便宜卡上、能私有化、响应快。代价是你要自己管微调、版本和评估,人少了会拖住。大模型开箱能用、能力上限高,但每次调用都在花钱,量一大账单就不好看,数据出内网还要另说。
| 维度 | 垂域小模型 | 垂域大模型 |
|---|---|---|
| 适合的任务 | 格式固定、维度可枚举的收敛任务 | 读长文、跨段推理、多来源整合 |
| 数据门槛 | 几千到上万条干净标注即可起步 | 不全靠微调,可先做检索加提示词 |
| 算力与部署 | 能私有化,硬件要求相对低 | 依赖外部服务,数据出内网要评估 |
| 日常维护 | 自己管微调、版本、评估,要有人盯 | 省心,但调用量上来后账单压力明显 |
| 翻车风险 | 口径不对时错得很一致,难发现 | 输出飘忽,复核成本高 |
按「每天请求量 × 平均输入输出长度」估一遍,再对比自建一台机器摊到月的成本。分界点通常不在你以为的地方——很多团队以为自己量很大,算完发现自建反而更贵;也有团队量不大,但数据不能出内网,那小模型就是唯一解。具体价格去站内的价格追踪页核对当时的数字,别拿别人文章里的旧数拍板。
落地前照着勾一遍
- 抽验收集抽出两百到三百条真实历史数据当验收集,覆盖常见情况和几个边界情况,不要用自己造的例子。
- 跑基线先用现成通用模型跑一遍做基线,记下准确率和你不能忍的错误类型。这是后面判断值不值得训小模型的尺子。
- 筛候选到站内的模型库和垂类模型目录里筛两三个候选,同一套验收集跑完再比,别只看榜单名次。
- 定回退小模型上线后如果某类问题掉得厉害,能不能临时切回通用大模型兜住。这一步提前写进流程,别等出事再想。
这套顺序不适用于一种情况:你连验收集都凑不出来。那就先别纠结选型,回去把历史数据捞出来清洗一遍。没有能衡量好坏的数据,选哪个模型都是赌。
下一步把你筛出来的两三个候选模型,用同一套验收集在站内跑一遍对比,再结合价格追踪页的当时数字算账。→常见问题
小模型微调完还不如通用大模型,是不是白干了?
先看验收集是怎么抽的。多半是验收集里的长尾题太多,而小模型强在收敛任务。把验收集按任务类型切开重算,再看差距落在哪一类;如果差距集中在需要跨段推理的题上,那是任务本身不该交给小模型。
垂域大模型是不是一定要自己训?
不一定。先把行业资料做成检索库配通用模型跑一轮,能过验收集就别急着训。只有当口径要求特别细、通用模型怎么调提示词都偏,才轮到微调或训垂域模型这一档。这一步顺序反了,钱和时间都容易白花。
两边都想上,怎么分工?
常见做法是小的管高频收敛任务,大的管低频难例和兜底。关键是有一条明确的路由规则,比如按任务类型或置信度分流,别让两个模型都接同一批请求,那样评估和成本都算不清。