搜「模型蒸馏和知识蒸馏原理」的人,多半不是想推导公式,而是手里有个跑不动的模型,想知道能不能用大模型喂出一个小模型顶上。结果一翻资料全是温度参数和 KL 散度,看完还是不知道下一步干什么。这篇不铺理论,只讲三件事:蒸馏到底在传什么、什么情况下这条路走得通、做完怎么判断它成了而不是看起来成了。
搜这个词的人,多半手里已经有个跑不动的模型了。不是想推公式,是想知道能不能拿大模型喂出个小模型顶上。结果一搜全是温度参数、KL散度,看完还是不知道下一步干什么。这篇不铺理论,就说三件事:蒸馏到底在传什么、什么情况下这条路走得通、做完怎么判断是真成了还是看起来成了。
先把话说明白:知识蒸馏和模型蒸馏在工程语境里基本是一回事,都是让一个小模型去模仿一个大模型的输出倾向。区别只在有些资料把「模型蒸馏」当成泛指(包括只学输出文本),把「知识蒸馏」限定在学概率分布这一层。你要做的判断不在这两个词的区别上,而在「教什么」上。
蒸馏传的不是答案,是「大模型怎么犹豫」
很多人第一反应是让教师把数据标一遍,再拿去训学生。这么做也能用,但它丢掉的东西恰恰是最值钱的部分。教师对一个样本给出的不只是一个最高分选项,而是一整排概率:哪些选项接近、哪些差得远、哪些它拿不准。这些相对高低才是信息量所在。
温度参数干的事就是把这个分布抹平一点。原本接近 0 的小概率项被抬上来,学生才看得见「这个和那个是一档的,那个差着两档」。温度设得太低,分布形同硬标签,等于白蒸;设得太高,噪声也被放大,学生学一堆没用的摇摆。这个值没有通用解,得在你自己的验证集上试。
还有个容易忽略的前提:教师本身在这个任务上得答得好。教师答不好,蒸馏只会把短板原样搬给学生,不会变好。所以动手前第一件事不是调参数,是先把教师在你的真实输入上跑一遍,看它到底行不行。
先别急着动手,这几类情况蒸馏基本不划算
蒸馏不是默认选项。有些场景硬上,投入产出比很难看,提前认出来能省不少时间。
| 你的情况 | 为什么别扭 | 更实际的做法 |
|---|---|---|
| 教师和学生架构差太远、词表都不一致 | logits 对不齐,硬做映射很勉强 | 只学输出文本,当数据增强用,别叫蒸馏 |
| 自有数据和教师训练分布差太多 | 软标签在真实业务上没参考价值 | 先补数据,或换一个贴近场景的教师 |
| 只想省调用费,并不需要本地跑 | 蒸馏解决不了这个问题 | 算一遍按量调用和自建的账再决定 |
| 时间紧、又没有验证手段 | 做完只能靠感觉判断好坏 | 先搭验证集,再谈蒸馏 |
第三行那种情况特别常见。想省钱和想本地部署是两件事,蒸馏只对后者有意义。真要算账,到 /compute/tco 把租卡、带宽、维护这些摊进去比一比,很多时候结论会反过来。
另一种不算「不适用」但常被误判的:你以为自己在做蒸馏,实际上只是让大模型把训练数据重写了一遍。这招有用,但它的上限受教师输出质量限制,也没有概率分布那层信息。心里要有数,别拿它当蒸馏的替代品去承诺效果。
做法拆成能执行的四步
- 先验教师在你的目标任务样本上跑一遍教师,看它错在哪、错得离谱不离谱。教师不达标就先换教师,别指望学生逆袭。这一步花不了多少时间,但能挡掉后面一堆白工。
- 准备样本集不用很大,但必须覆盖你真实流量的输入形态。样本和教师质量共同决定上限。挑样本时把长尾、边界情况单独留一份,后面验证要用。
- 决定学哪一层只学最终输出分布最好实现,工程成本低;学中间层特征对齐对小模型帮助更大,但要改模型结构、对齐维度,团队工程能力不够就别碰。先做简单版,跑通了再看要不要加码。
- 离线存软标签再训练让教师批量产出概率分布存成文件,训练时直接读。别在训练循环里实时调教师接口,费用和速度都扛不住,而且一旦接口抖动,训练直接卡住。
第二步里有个细节值得单说:样本集里要特意留一批「教师答对但小模型原本答错」的样本。这批样本是蒸馏价值的试金石,后面验证环节会用到。没有这批,你根本分不清提升是来自蒸馏还是来自多训了几轮。
怎么判断学生真的学到了,而不是碰巧对了
验证这件事,光看一个总体准确率是不够的。准确率涨了,可能只是数据多了、训久了,跟蒸馏没关系。要拆开看几个东西。
- 教师和学生答案的一致率:太低说明没学进去,问题多半在温度或损失权重上,回去调而不是继续训
- 难样本留存:前面留的那批「教师对、原模型错」的样本,学生现在答对多少,这才是蒸馏带来的增量
- 和直接微调版对照:拿同样数据不用教师软标签训一版,如果两者打平,说明蒸馏没带来额外价值,直接用更简单的方案
- 真实流量回看:上线后隔一段时间看实际表现,别上线就撒手,分布漂移会让蒸馏效果慢慢衰减
一致率和准确率要分开看。一致率高但准确率没涨,说明学生把教师的毛病也学来了;一致率低但准确率涨了,反而可能是学生自己摸索出了别的路,这种情况不算失败,但要知道自己在拿什么换什么。
监控这块可以参考 /tools/quality-monitor 那套思路,用固定的一批探测样本周期性地跑,看一致率和难样本正确率的曲线有没有往下走。走平不可怕,掉下去才是信号。
最后提醒一句:蒸馏出来的学生模型,它的能力边界是教师划的。教师没见过的东西,学生也不会。上线前把已知的盲区写进文档,比事后排查省事得多。
下一步先别急着搭训练环境。去 /models 把候选教师在你场景下的实际表现和调用成本核一遍,再决定值不值得蒸,这个顺序反过来做,返工概率很高。→常见问题
知识蒸馏和模型蒸馏是一回事吗
日常说法里基本混用,指的是同一个东西:用一个大模型指导一个小模型训练。严格区分的话,知识蒸馏更强调「知识」这个抽象说法,模型蒸馏更强调最终产物是一个小模型;实际动手看的是你打算传什么、怎么传。
没有大模型,只有一堆标注数据,还能叫蒸馏吗
那就更接近普通的有监督训练了。蒸馏的关键在于教师给出的软标签比人工硬标签携带更多信息,如果教师就是人工标注本身,这层信息就不存在,做出来的效果和直接微调差不多,不如把精力放在数据清洗上。
蒸馏完的小模型可以拿去商用吗
这件事不能只看技术,得看教师模型和训练数据的授权范围。不少模型对「用输出去训练别的模型」有额外限制,商用前建议去 /official-api 对应厂商页面和原始许可条款核对一遍,拿不准就先小范围试,别直接上生产。