模型蒸馏和知识蒸馏的区别

学算法时你会发现，有人把「让小模型学大模型」叫模型蒸馏，也有人坚持那是知识蒸馏，还有人说这两件事根本不是一个层面。名字混着用，看论文和动手做的时候就容易抓错重点：该关注教师输出的什么信息、该调哪个环节，全乱。这篇把两个词的边界、重叠和各自适用场景拆开讲，并给一套可执行的判断顺序。

学算法的时候你大概率会遇到这个场面：有人把「让小模型学大模型」叫模型蒸馏，有人坚持那叫知识蒸馏，还有人两手一摊说这俩压根不是一个层面的东西。名字混着用，后果很实在——看论文时抓错重点，动手时不知道该盯教师的哪部分输出、该调训练流程里的哪个环节，最后训练跑完了也不知道收益从哪来。

这篇不打算给你背定义，而是把两个词的边界、重叠和适用场景拆开，再给一套能照着走的判断顺序。你看完之后应该能做到两件事：听到「蒸馏」两个字先反问三个问题，以及在自己的项目里选出一条不绕弯的路线。名词背后的东西其实不复杂，麻烦的是中文技术圈把它们当同义词用了很多年。

两个词为什么会混：概念层级不同

先把结论摆出来：知识蒸馏是一类方法思想的名字，模型蒸馏更像工程口径的产出物描述。前者关心的是「怎么让小模型学到教师的泛化行为」，后者关心的是「我手上这个能跑的小模型是怎么来的」。视角不同，覆盖的范围自然不一样，一个偏算法命名，一个偏交付命名。

所以模型蒸馏通常是个大筐，里面既装知识蒸馏，也常装数据构造、剪枝、量化这些配套动作。你说「我做了模型蒸馏」，听众并不知道你到底用了哪种信号、哪种损失；你说「我做了知识蒸馏」，至少能确定教师和学生的输出分布之间存在某种对齐关系。这就是两个词在沟通效率上的差别。

知识蒸馏

一类方法思想：让一个模型去学另一个模型或集成的输出分布，核心是搬运知识而不只是搬运硬标签。

模型蒸馏

工程口径：把某个大模型压缩成可部署的小模型，往往包含知识蒸馏，也包含数据、剪枝、量化等动作。

判断标准

讨论「怎么学」用知识蒸馏，讨论「产出物怎么来」用模型蒸馏。

教师到底能教什么：三类可搬运的信号

不管用哪个词，蒸馏这件事的本质都是「学生从教师那里拿信号」。信号来源不同，动手方式和适用条件就完全不同。入门时先把这三类分清楚，后面的路线选择基本不会跑偏。

软标签是经典做法，也是「蒸馏」区别于普通监督训练的关键所在：硬标签只告诉你这是猫，软标签还会告诉你这不太像狗但更不像桌子。中间特征适合学生结构能和教师对上的场景，对齐成本高但控制粒度细。输出文本那条路常被叫数据蒸馏或黑盒蒸馏，实现门槛最低。

• 教师本身在该任务上就不强时，软标签携带的信息量有限，学生会直接被教师的上限压住
• 学生容量远小于教师时，中间特征往往对不齐，硬套容易让训练崩掉
• 拿不到教师概率分布时，输出文本是唯一可行信号，但要接受类间关系学不到
• 任务与教师训练分布差距很大时，先做数据覆盖，别急着谈蒸馏

白盒与黑盒：两种完全不同的动手路线

能拿到教师权重和 logits，叫白盒；只能调接口，叫黑盒。这两条路线的差别不是「高级」和「凑合」，而是训练信号本身的种类不同，写代码的方式、调参重点、成本结构都不一样。

白盒的优势是控制粒度细：温度缩放、损失项权重、层对齐策略都能自己定，代价是要改造训练框架，还得处理教师和学生的 tokenizer、词表对齐问题。黑盒的优点是实现简单，靠教师生成问答对做监督微调就行，但学不到概率分布里的类间关系，也更依赖提示词覆盖度，教师没见过的东西它也教不出来。

1. 先确认教师可用性查教师是否开源、许可证是否允许蒸馏、是否有本地推理条件，这一步决定白盒还是黑盒。
2. 小样本试白盒拿几百条样本先跑一轮白盒对齐，看损失曲线是否正常下降，判断容量比是否合适。
3. 黑盒造数据用教师接口批量生成样本，注意覆盖长尾场景和负例，别只生成简单题。
4. 混合路线黑盒造数据打底，再筛高质量样本做白盒对齐，适合教师权重拿不到但预算不紧的团队。
5. 对照评估在独立验证集上同时记录学生与教师表现，别只看学生的绝对指标。

什么任务不该走蒸馏这套

蒸馏不是万能工具，有几个常见的误用场景，走错了路线再努力也白费。判断依据不是任务难易，而是你的真实目标是什么。

• 目标任务与教师训练分布差距大时，教师给的软标签可能本身就是错的
• 学生和教师容量差距过大时，学生学不动，训练损失和验证效果会一起卡住
• 如果只是想让现有模型跑得省资源，那属于量化或推理优化，和蒸馏不是一回事
• 判断标准：先问「我是要换个更小的模型，还是要让现有模型更省资源」

动手顺序：一条可照着走的排查线

把前面的判断落到流程上，可以按下面五步走。每一步都留一个可验证的产出，别一口气全做完再回头找问题，那样定位成本会高得离谱。

1. 定产出物明确学生模型的目标规模、目标硬件和可接受的延迟，这直接决定教师与学生的容量比。
2. 定信号来源能拿权重走白盒，拿不到就走黑盒造数据；两者都可以的，先小规模试白盒，因为信号更细。
3. 定评估集单独留一份与训练数据不重叠的验证集，只在它上面比较学生与原模型，来源和去重要写清楚。
4. 做消融分别关掉软标签、关掉中间层对齐，看各自贡献多少，避免把收益误记到某个环节。
5. 落到部署把学生模型的实际延迟和资源占用跑一遍，具体数字到 /models/deploy 按当时情况核对。

常见翻车点与对应检查动作

蒸馏的坑不太在原理上，更多在细节和评估方式上。下面这几个翻车点出现频率很高，几乎每个做蒸馏的人都会撞上一两个，提前知道能省不少调试时间。

• 照抄别人的温度和损失权重：不同教师分布尺度不一样，先在小批量上扫权重再全量训
• 训练数据泄漏进验证集：学生会看起来超过教师，实际是背了答案，核对两个集合的来源和去重逻辑
• 只比准确率不看分布：分类任务要一起看难样本上的表现差异，否则容易漏掉系统性偏差
• 把蒸馏当万能压缩：教师本身的幻觉与知识截止问题，蒸馏一般解决不了

还有一个隐藏更深的坑：数据泄漏。学生看起来表现超过教师，很多时候不是学生真的更强，而是训练和验证样本有重合。检查方法是把两个集合的来源、抓取时间、去重逻辑列出来，任何一条说不清就先怀疑这里。

蒸馏能搬走的是教师的分布，搬不走的是教师没见过的世界。

继续查资料时怎么不被名词带偏

下次看论文或教程，看到「蒸馏」两个字之前先做三个反问：教师是谁、学生在学什么信号、产出物是什么。这三问答得出来，说明作者讲清楚了；答不出来，多半是中文语境里把「模型蒸馏」当统称用了。

遇到陌生术语别急着往下读，先到站内词典的底层概念分类里把定义对一遍，再回来看论文，理解速度会快很多。把蒸馏、量化、剪枝、微调放在同一张表里对照，它们的输入、产出和约束各不相同，混在一起记只会越来越乱。

• 先问教师是谁、学生在学什么、产出物是什么
• 中文文章里的「模型蒸馏」常是工程统称，读时回到原文看它具体指哪种信号
• 陌生术语先到站内词典底层概念分类对定义
• 把蒸馏与量化、剪枝、微调放在同一张表里对照

名词这件事本身不重要，重要的是它能帮你在动手前选对路线。知识蒸馏告诉你要盯教师的输出分布，模型蒸馏告诉你要盯产出物和部署形态。两者混用不会让你少学东西，但会让你在项目里多绕一圈。