模型蒸馏和知识迁移推荐清单:搜这几个词的人多半问错了方向

模型与算力

把模型蒸馏和知识迁移拆成可判断的两件事:什么时候该做、先准备什么、哪一步最容易白干,并给出一份对照清单。

搜「模型蒸馏」「知识迁移推荐清单」的人,通常心里已经有个模糊目标:想让小模型干大模型的活,或者想把某个任务的经验搬到新模型上。但真正动手时卡住的地方往往不是算法,而是没想清楚要搬的是能力还是行为。这篇按判断顺序讲:先分清自己在做哪件事,再看数据和算力够不够,最后给一份能照着核对的清单。

搜这个词的人,脑子里通常已经有个模糊目标:让便宜的小模型干大模型的活,或者把某个任务上积累的经验搬到新模型上。方向没错,但真动手时卡住的往往不是算法本身,而是没想清楚要搬的到底是能力还是行为。这两件事做法差很远,混着做基本等于白跑一轮。

这篇按判断顺序讲:先分清你在做哪件事,再看数据和算力撑不撑得住,最后给一份能照着核对的清单。不保证你做完就有效果,但至少能让你在投入训练之前发现自己方向选错了。

先分清你干的是蒸馏还是迁移

蒸馏说白了就是让学生跟着老师的输出学。关键在于你手里得有教师模型的输出,不管是完整概率分布还是只存最终答案,没有这个就不叫蒸馏。学生模型的结构可以和老师完全不同,这点常被误解成必须同架构才能做。

知识迁移的范围更宽。可以是权重初始化,可以是中间层特征对齐,也可以只是把一套标注数据和任务定义原样搬到新模型上重训。范围宽带来的问题是:很多人把普通微调也叫做知识迁移,然后拿蒸馏的标准去期待效果,自然对不上。

蒸馏
必须有教师模型的输出参与训练,学生学的是老师的判别方式,不只是最终答案
行为模仿
只学老师的语气、格式、回答套路,换个问法就露馅,不算学到能力
数据复用式迁移
手里只有任务数据、没有教师输出,那本质是微调,别按蒸馏的路子排计划
不适用场景
教师模型自己在这类任务上就不稳,学生只会把错误学得更自信

判断口径很简单:翻一遍你手上的数据目录。如果有教师输出文件,往蒸馏方向走;如果只有人工标注的任务样本,那就是微调或数据复用。这一步搞错,后面的算力预算和验证方案全都要推倒重来。

什么时候别急着上蒸馏

任务对长尾和边界情况敏感的时候,先别急。教师模型在这些 case 上自己都答得含糊,你把它固化进学生模型,等于把不确定性变成了确定性错误。这种错误比学生自己乱答更难排查,因为表面上看起来很有把握。

数据量也是硬门槛。几十条样本够你把提示词调到能用的程度,但撑不起一次像样的蒸馏训练。学生要从输出分布里学到东西,样本覆盖面不够时,学到的只是训练集里的那几种问法。

还有一种常见情况:推理侧成本根本不是你的瓶颈。小模型省下的调用开销,抵不过重训、验证、部署的人力投入,这活儿就不划算。具体价差别拍脑袋,去 /official-api 和 /compute 核对当时的数字,再算自己团队的人力成本。

  • 目标只是让输出风格统一、格式稳定,先试提示词和少样本,改不动再考虑蒸馏
  • 教师模型自己都答不准的题型占比不小,先换教师,别急着训学生
  • 验证集凑不出来,或者只能从训练数据里切,先补数据采集再谈训练
  • 部署侧对小模型有硬约束(上下文长度、并发、量化精度),去 /models/deploy 按参数核一遍再决定学生选型

动手前的对照清单

这份清单按顺序核,前一项没过就别急着做后一项。顺序本身也是排查顺序,出问题时从前往后倒查,比一上来就调超参省时间。

核对项怎么判断过关不过关怎么办
教师输出怎么存决定存完整分布还是只存答案,存储和对齐方案都定了只存答案的话,评估学生上限时要打折
学生模型选型参数量和结构吃得下这批输出,上下文放得下真实请求换大一号的学生,或先砍输入长度
验证集独立留出没参与过教师标注的样本,且贴近真实请求分布补采集,别从训练集里切
和基线比同参数量普通微调模型跑一遍,蒸馏版要赢它不赢就说明蒸馏这步没带来增量
部署侧复核量化、并发、上下文约束在小模型上同样成立去 /models/deploy 按参数重新选型

第三项最容易被跳过。蒸馏有个特别讨厌的特点:在训练分布上表现很好,换一批真实请求就掉。原因不难理解,学生把教师在这批样本上的判别方式背下来了,没学到背后的规律。验证集必须独立,而且得贴着你线上实际会遇到的问法来挑。

第四项是很多人不愿做的。花了两周训出来的模型,谁都想看它赢。但基线不比,你根本不知道增益来自蒸馏还是来自多训了几轮。同参数量的普通微调模型跑一遍,赢不了就老实承认这一步没带来增量,回头查数据和教师输出质量。

几个常见误判和排查顺序

第一个误判:把输出说得像教师当成学会了。学生模仿了语气和格式,换个问法就露馅。排查时换三种提问风格各测一遍,正式、口语、带前提条件,看结论是否一致。不一致就是行为模仿,不是能力迁移。

第二个误判:训练损失一直降,下游任务不涨。通常是教师输出里包含了学生学不动的部分,比如长链推理或者罕见知识。做法是只保留高置信度样本重训一轮,看下游指标动不动,不动就说明问题不在样本筛选。

第三个误判:拿教师模型的推理过程当标签,但学生没有对应的思考预算。结果输出冗长又跑偏,看起来很像在思考,实际没有收敛。这种情况要么给学生加输出预算,要么只学结论不学过程。

排查顺序我建议固定下来:先看数据对齐对不对,标签和输入有没有错位;再看学生容量够不够,上下文和参数量是不是瓶颈;最后才怀疑训练参数。参数填错格子这类问题排最后查,因为它最显眼,最容易让人一上来就盯着它看半天。

下一步如果你已经在准备蒸馏或迁移,先去 /tools/speed-test 把你候选的学生模型跑一遍实际延迟和吞吐,再回 /official-api 核对教师和学生两边的调用开销。选型阶段把这两件事做了,后面能少返工。

常见问题

蒸馏一定比直接微调小模型效果好吗?

不一定。如果教师模型在这个任务上的优势本来就不大,蒸馏带来的增量会很有限,反而多了一层对齐成本。判断标准很简单:先用同规模模型做一次普通微调当基线,蒸馏结果跑不赢它,就别继续投入。

知识迁移需要教师模型的权重吗?

多数情况下不需要,只需要它的输出结果或标注。只有涉及中间层对齐、特征模仿这类做法时才需要访问内部表示,这时候要确认教师模型的授权范围允许这种用法,权重许可和商用边界的差别去站内模型库页面对照。

数据量不够能不能硬做?

可以试,但要降低预期。样本太少时蒸馏出来的模型容易只记住那几十条问法的表面形式。更稳的做法是先用这批数据筛出教师答得好的部分,再用它去扩标注,而不是直接开训。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。