用量一涨,账单就跟着涨,很多人会想:能不能用一个更小更便宜的模型,顶掉现在这个大模型干的活?模型蒸馏就是回答这个问题的思路之一。这篇不堆公式,先把「谁教谁、教什么、怎么教」讲明白,再给你一套判断流程:什么场景值得试、什么场景纯属白花功夫,以及动手前要先准备好哪些东西。
用量一涨,账单就跟着涨,很多人这时候会冒出一个念头:能不能用一个更小更便宜的模型,顶掉现在这个大模型干的活?模型蒸馏就是回答这个问题的思路之一。它不是什么新概念,但真正动手前,得先搞清楚谁教谁、教什么、怎么教,不然很容易花几天时间训出一个既没省钱又变笨的东西。
这篇不堆公式,先把原理讲明白,再给你一套判断流程:什么场景值得试、什么场景纯属白花功夫,以及动手前要先准备好哪些东西。看完你至少能判断,自己手上这个任务该不该往蒸馏这条路上走。
蒸馏到底在蒸什么
一句话说清楚:让一个小模型去模仿一个大模型的输出习惯,而不是自己从原始数据里从头学一遍。大模型在这里扮演老师的角色,小模型是学生。学生通常参数更少、跑得更快、调用更便宜,但它学的目标不是「答对」,而是「答得像老师」。
关键区别在于「软标签」。老师给出的不只是一个最终答案,还有它对各个候选答案的偏好程度——哪些选项更接近、哪些明显不对。这些偏好信息比一个干巴巴的标准答案信息量大得多,学生能从中读出老师判断的边界在哪里。这就是蒸馏比直接拿原始数据训练更有效的原因。
- 老师模型
- 提供输出和偏好的那个大模型,一般是你现在正在用的那个
- 学生模型
- 被训练去模仿老师的小模型,参数更少、推理更便宜
- 软标签
- 老师对各个候选答案的偏好分布,而不只是最终选中的那一个
- 硬标签
- 原始数据里人工标注的标准答案,信息量比软标签少
几种常见做法与各自门槛
蒸馏不是只有一种做法,门槛差别很大。多数开发者能落地的其实只有第一种,因为大多数时候你手上只有一个 API 接口,拿不到权重和内部结构。
| 做法 | 怎么操作 | 门槛 |
|---|---|---|
| 基于输出的蒸馏 | 拿一批输入跑老师模型,把结果存下来当训练数据 | 最低,个人开发者也能做 |
| 基于中间层的蒸馏 | 让学生对齐老师内部的表示层 | 高,要能拿到权重和模型结构 |
| 基于数据的蒸馏 | 侧重挑选或构造训练样本,再教学生 | 中,适合只能调接口的情况 |
| 混合做法 | 输出蒸馏加数据筛选,实操中最常见 | 中,需要自己搭数据流程 |
基于输出的蒸馏为什么门槛最低?因为你不需要知道老师内部长什么样,只要有一批输入,把输出收下来,就得到了一份训练集。剩下的工作就变成了数据工程:样本选得好不好、覆盖得全不全,直接决定学生最终的水平。
- 先用几十条代表性输入跑一遍老师,看看输出稳不稳定,飘得厉害就先别蒸
- 把输入按真实使用场景分类,每一类都要有样本,别只挑顺手的例子
- 存数据时保留完整的候选偏好信息,不要只存最终答案
- 训练集和验收集分开,验收集不要混进训练里,否则测出来的数字没意义
什么时候值得做,什么时候不值得
蒸馏不是万能药,它有明确的适用边界。判断的核心是:你的任务够不够收敛,用量够不够大。任务越固定、调用越频繁,蒸馏的收益越明显;反之就是拿自己的时间换一个不确定的结果。
| 信号 | 说明 | 建议 |
|---|---|---|
| 任务范围固定 | 输入类型和问法变化不大 | 值得试 |
| 重复调用量大 | 同样的活每天跑很多次 | 值得试 |
| 对时延敏感 | 用户等不起大模型的响应时间 | 值得试 |
| 老师输出已稳定 | 同类输入的结果基本一致 | 值得试 |
| 任务很开放 | 每天问法都在变 | 不值得,学生会跟不上 |
| 调用量很小 | 省下的钱不够折腾的功夫 | 不值得,直接调大模型更划算 |
| 老师本身不可靠 | 同类输入经常给出矛盾结果 | 先换老师,别急着蒸 |
动手前先算一笔账:把当前的调用量和单价,到 /tools/model-cost-calculator 过一遍,估出蒸馏后大概能省多少,再决定投不投入。这个数字会随时间变,站内页面上是当时的行情,以你看到的那一刻为准。
还有一个必须接受的前提:蒸馏后质量会掉一点。掉多少没有通用结论,取决于你的任务难度、样本覆盖度和学生模型的能力,只能自己测。如果你对准确率的要求是零容错,那蒸馏大概率不适合你。
动手前的准备清单与验收动作
决定要做了,接下来是按顺序把准备工作做完。下面这套流程能帮你少走弯路,尤其是验收口径那一步,很多人跳过它,最后训完了不知道算不算成功。
- 收集代表性输入覆盖真实场景里的各种问法,包括边界情况和容易出错的例子;不要只用自己顺手写的几条。
- 写清验收口径明确哪些问题必须答对、哪些答错可以忍,先写下来再开始训练,避免事后改标准。
- 选学生模型去 /models 看当时的可用清单和规格,按你的时延和成本要求挑,别凭印象选。
- 产出训练数据跑老师模型收集输出,保留完整的候选偏好信息,按场景分类存档。
- 训练与对照测试同一批问题分别问老师和学生,人工逐条看差异,不要只看一个总分。
- 小流量上线先切一小部分流量,观察一段时间再决定是否扩大,别一次性全量切过去。
另外,如果你是通过中转站调用老师的接口,蒸馏前最好先确认这条通道的稳定性。数据收集阶段如果中途断流或者返回异常,训练集里就会混进脏数据。可以到 /rankings 看当时的通道稳定性对比,再决定用哪条路子跑。
蒸馏省的是推理成本,花的是你的时间和一次质量下降的代价,划算不划算要自己算。下一步想知道你现在这个模型实际跑起来是什么价格,先去算一遍再决定要不要蒸。→
常见问题
蒸馏和微调是一回事吗?
不是。微调是拿真实标注数据去调整一个已有模型;蒸馏的重点是让一个模型去学另一个模型的输出。两者可以叠加:先用老师模型生成数据,再拿这些数据去做微调,这种组合在实际项目里很常见。
没有模型权重,只用 API 能做蒸馏吗?
可以,这也是大多数人的做法。你只能拿到输出,所以走基于输出的路线:批量调用老师模型、保存结果、再拿去训练小模型。局限是对不齐内部表示,效果上限会低一些,但不影响你起步。
蒸馏完的小模型一定能替代原来的吗?
不一定。它只在训练数据覆盖到的那类任务上表现接近,稍微换个问法或换种输入格式就可能明显变差。上线前一定要按真实流量做对照测试,并且保留随时切回原模型的开关。