UIUC等提出A2D:让大模型自己出题,蒸馏效率提升
该方法从教师与学生的预测分布出发衡量问题的蒸馏价值
有时候,一个好问题顶得上一千道平平无奇的题。
训练大语言模型,外界普遍认定要更聪明的模型就得多喂高质量数据、配更可靠的标准答案、再请更强的教师模型。可最近围绕 On-Policy Distillation(OPD,在线策略蒸馏)的研究给出了一个耐人寻味的现象:训练问题用得很少,学生模型照样能从教师那里拿到明显的性能提升。
于是新问题冒了出来:少量问题就能带来显著的知识迁移,那能不能让模型主动去学,自己生成最有利于自身学习的问题?再往下想,如果这些题由模型自己出,既没有标准答案,也没有外部验证器,又该拿什么判断哪些题真值得拿来训练?
近日,伊利诺伊大学厄巴纳-香槟分校(UIUC)、香港科技大学和德克萨斯农工大学等机构的研究者提出了 Ask-to-Distill(A2D),一个面向在策略蒸馏的合成问题优化框架。常见做法是靠标准答案或任务成功率来评估合成数据,A2D 不走这条路,它从教师与学生的预测分布出发,直接衡量一道问题能激发多少可利用的教师监督信号,再用强化学习去优化问题生成器。数学推理、代码生成和智能体任务上的实验显示,在不依赖外部训练问题和正确答案的情况下,A2D 能生成更有效的蒸馏数据,在所评估的设置中平均性能优于多种真实数据及合成数据基线。
更耐人寻味的是,研究还发现:A2D 生成的问题能让学生模型的回答长度缩短约 20%,同时激发的累计学习信号增加约 28%。换句话说,真正有价值的训练问题未必逼着模型做更长、更复杂的推理,反倒可能是那些能精准戳中其知识缺口的题。

从「如何回答问题」到「应该提出什么问题」
大语言模型做知识蒸馏,目标通常是把强教师模型的能力搬到相对弱的学生模型上。传统监督微调喜欢拿教师生成的答案当训练目标。问题是,教师生成的轨迹未必贴合学生模型自己的生成分布,学生在推理时也可能走到训练中没覆盖过的状态。
On-Policy Distillation 给出了另一条路。在 OPD 里,学生模型先根据训练问题自己生成回答,教师模型再针对学生实际生成的轨迹给出 token 级别的监督。训练直接发生在学生自己访问到的状态上,固定教师示范带来的分布不匹配问题因此能减轻一些。
不过有个细节容易被忽略:知识固然由教师提供,可教师能在哪些位置提供监督,实际取决于训练问题本身。同一个教师、同一个学生,换道题就可能走上完全不同的生成轨迹。有的题太简单,学生和教师预测基本一致,教师没多少额外知识可传。有的题太难,师生分歧巨大,可教师倾向的答案可能远远超出学生当前能有效学习的候选范围。还有一类题恰好在两者之间:学生尚未完全掌握,教师又能在学生已有的候选答案里给出明确的纠正方向。这第三类题,或许才是蒸馏价值真正高的。研究团队由此提出一个新视角:
训练问题不只是模型要解决的任务,也可以看作触发教师监督信号的「分布诱导器」(Distribution Elicitor)。
它的作用不止是要求学生给出答案,更在于把学生引到那些教师能有效传授知识的状态上。合成数据优化的目标也随之从传统的「生成更难的问题」转向「生成更有学习价值的问题」。
核心方法:不判断答案对错,
如何知道一道题有没有价值?
A2D 的核心思路,是让一个问题生成器不停探索:对特定的学生—教师模型组合来说,什么样的问题能提供更有效的监督?
整个框架分三个阶段。

第一阶段:让模型生成问题,并观察教师和学生的分歧
A2D 先复制初始学生模型的参数,用它初始化一个独立的问题生成器(Synthesizer)。
这个生成器只管出题,不管解题。每生成一道问题,系统就用冻结的学生模型生成回答,再让冻结的教师模型沿着学生走过的同一条轨迹做预测。这样在每一个 token 位置,系统都能拿到学生与教师各自的概率分布。A2D 因此无需知道问题的正确答案,也能看出两者在哪些位置存在知识差异。还有一点,问题生成器的整个强化学习训练过程中,教师和用于评分的学生始终冻结,被更新的只有问题生成器。所以 A2D 优化的不是学生的解题参数,而是决定学生接下来会遇到什么问题的数据分布。
第二阶段:不仅要有分歧,还要保证学生能够学到
教师与学生之间的分歧,可以用 KL 散度衡量。
直观地讲,教师和学生对下一个 token 的预测几乎一样,这个位置的分歧就小;预测差异很大,分歧就大。但 A2D 并不把 KL 散度直接当作唯一的学习奖励。原因在于:分歧大不代表学生一定能从中有效学习。举例来说,学生认为下一个 token 最可能是 A、B、C,教师却更倾向 D、E、F。双方差异再明显,如果当前蒸馏更新主要作用于学生的 Top-K 候选 token,而教师的主要概率质量恰恰落在这些候选之外,这些分歧就未必能转成有效的训练监督。为此,A2D 引入了两个互补的指标:
Disagreement(分歧程度):衡量教师和学生在预测分布上的差异,回答「教师有多少不同的知识可以传递」。
Compatibility(兼容程度):衡量教师有多少概率质量落在学生的 Top-K 候选 token 上,回答「教师希望传递的知识,有多少位于学生当前的学习范围内」。
A2D 将二者结合,构造每个 token 的学习价值信号:

其中,
一项用来衡量教师与学生分布分歧,另一项则刻画教师和学生候选集合之间的兼容程度。
A2D 的这套设计,更愿意奖励同时满足两个条件的位置——师生之间分歧足够明显,教师的监督又能覆盖学生眼下考虑的候选 token。也就是说,它找的不是「学生不会的问题」,而是「学生还没掌握、教师又能给出可用纠正信号的问题」。当然,这个奖励终究只是学习价值的代理指标,高分 token 未必每一个都带来同样幅度的参数更新收益。
第三阶段,用强化学习让模型越来越会出题。
token 级别的信号有了,A2D 把它聚合为问题级别的奖励,再用 Group Relative Policy Optimization(GRPO)训练问题生成器。
问题是,直接累计 token 信号容易引出新麻烦。生成器可能专挑会引发超长回答的问题,靠堆 token 数量拿更高奖励;也可能反复生成相似问题,靠重复利用少数高奖励模式刷分。为堵住这些口子,A2D 在奖励里又加了长度控制和多样性控制:

第一项衡量问题诱导出的累计学习信号,并用次线性长度归一化压一压超长回答的天然优势;第二项对过长回答直接惩罚;第三项按生成问题的重复程度施加多样性约束。到头来,生成器不光要学会提出能激发有效教师监督的问题,还得避开靠延长推理或重复相似问题拿奖励的路子。训练完成后,A2D 用优化过的问题生成器批量合成训练问题,再经过格式过滤、词汇去重和语义去重,搭出最终的合成问题库。
这里要强调的是,问题库只存问题,不存标准答案。后面的蒸馏阶段从原始学生模型参数重新起步,学生自己生成回答,再由冻结的教师模型提供 token 级别监督,走完标准的 OPD 训练。整个问题生成器的优化过程,既不需要外部问题数据,也不需要人工标注答案或额外奖励模型。独立的 Embedding 模型只在问题生成后用于语义去重,不参与强化学习奖励的计算。
实验结果:从数学推理到代码生成,优化问题本身能带来多少收益?
为验证 A2D 是否管用,研究团队在多个学生—教师模型组合上做了实验,覆盖数学推理、代码生成和智能体任务。对照对象除了使用真实数据的常规 OPD,还包括直接拿学生生成的问题、筛选高 KL 分歧的真实问题,以及其他合成数据方法。
数学推理:只优化训练问题,就能明显缩小师生差距。
数学推理任务里,研究者选了三组规模和类型各不相同的学生—教师模型,涉及 Qwen3 系列与 DeepSeek-R1-Distill 系列,评测则在 AIME、AMC、BRUMO 和 MATH500 等六个基准上展开。

三组学生—教师模型中,A2D 的六项基准平均得分都是所有比较方法里最高的。
拿 Qwen3-1.7B 来说:原始学生模型平均得分 25.7,用真实数学训练数据做 OPD 后升到 43.0,A2D 又推到 46.2,这一设置下恢复了约 90.2% 的师生性能差距。DeepSeek-R1-Distill-Qwen-1.5B 上,A2D 平均得分 51.6,逼近教师模型的 51.7,师生差距恢复比例达到 99.9%。规模更大的 DeepSeek-R1-Distill-Qwen-7B,A2D 同样拿到最高平均成绩,从原始学生的 58.1 提到 64.5。
这些结果说明,经过专门优化的问题生成器,能为不同规模的学生模型造出有效的知识蒸馏数据。
代码生成:4B 学生模型也能在部分任务上超过教师。
代码生成任务中,团队进一步看了更复杂的程序生成场景。实验覆盖 LiveCodeBench、MBPP+、APPS 以及 CodeContests 等六个代码基准,用的是 Qwen3 和 Qwen2.5-Coder 系列模型。

其中一个值得关注的实验,是以 Qwen3-4B-Instruct-2507 为教师,蒸馏 Qwen3-4B 学生。
原始学生六项平均成绩 28.7;用真实训练数据的 Vanilla OPD 达到 34.5;A2D 再进一步,升到 39.6,对应 82.9% 的师生差距恢复率。LiveCodeBench 上,A2D 把学生成绩从 21.6 拉到 35.9,超过了教师模型自身的参考成绩 33.7。这不代表学生模型已经全面压过教师——在其他代码基准上,学生仍有差距。
但这个结果说明,当训练问题能有效激发学生与教师之间的监督信号时,即便教师模型不动,也可能在特定任务上拿到超越教师参考性能的结果。再往强里走,Qwen3-30B-A3B 教师和 Qwen2.5-Coder 模型的组合中,A2D 同样取得最高平均蒸馏成绩,只是不同模型组合的收益幅度差得很明显。
这也提醒一点:教师模型越强,蒸馏效果未必就越好;学生能通过什么样的问题获得有效监督,同样关键。
智能体任务:不只会做数学和代码,交互式决策也能改善。
为检验方法在传统推理任务之外是否适用,研究者进一步在
研究团队接着把实验搬到 -Bench 上,覆盖 Airline、Retail 和 Telecom 三个智能体任务领域。

三个任务里,A2D 的成绩分别是 46.3、49.4 和 30.0,平均 41.9。未经优化的 Student-Generated OPD 平均只有 37.3,如今升到 41.9;师生性能差距恢复率也从 79.2% 提高到 95.2%。
这说明,靠教师—学生分布信号来优化问题,并非只能在有明确标准答案的数学、代码任务里用,涉及多轮交互和决策的智能体场景同样适用。
为什么 A2D 有效?关键不在题目有多难,而在能否激发有价值的监督
上述实验已经验证了 A2D 的下游训练效果,但还有个更根本的疑问:这些合成问题凭什么比普通训练问题更管用?研究团队从具体案例、token 级别信号统计和学习价值相关性等角度切入,进一步拆解了 A2D 的机制。
发现一:更简单的问题,也可能激发更高密度的学习信号
直觉上,训练问题越复杂,越能提升模型的推理能力。A2D 的案例分析却给出了不一样的观察。
论文拿一道来自 DAPO-17k-Math 的真实数学问题和一道 A2D 生成的合成问题做比较。两个问题里学生最后都答错了,但后者在更短的推理轨迹中激起了更密集的教师监督信号。真实问题对应的学生回答长度为 2,002 tokens,平均 token 学习信号约 0.117;A2D 合成问题只产生 1,241 tokens,平均信号强度却达到约 0.172,约为前者的 1.5 倍。

这个案例表明,问题表面复杂不复杂,并不能直接反映它在知识蒸馏中的价值。真正要紧的,是问题能否让学生在生成过程中不断进入教师可以有效纠正的状态。
发现二:回答短了 20%,却获得了 28% 更多的累计信号
为避免只凭个别案例下结论,研究团队又比较了 1,000 道真实数学问题与 1,000 道 A2D 合成问题。

结果显示,A2D 合成问题诱导的学生回答,平均长度从约 1,280 tokens 降到 1,021 tokens,减少约 20%;累计的 support-aware 学习信号却从 141.7 升到 181.7,增加约 28%。研究者还把回答切成多个相对位置区间,分析不同生成阶段的 token 信号,发现 A2D 生成的问题在整个回答过程中都保持更高的平均信号水平,并非只在少数位置冒高峰。
也就是说,A2D 不是靠让学生多生成 token 来堆监督,而是在更短的轨迹里持续激发更密集的学习信号。从知识蒸馏的角度看,这为提高训练信号的利用效率指出了一个新方向。
发现三:教师和学生的分歧,真的能够预测学习价值吗?
A2D 有个核心假设:教师与学生的分布差异可以用来衡量训练问题的潜在价值。可仅看到高分歧问题能带来较高奖励,还不足以证明它们真有训练价值。研究团队因此做了额外的实证分析,直接考察分布信号与学生参数更新后收益之间的关系。

在 1,500 道真实数学问题上,研究者分别测量每道问题诱导的平均教师—学生分歧,以及用该问题做单步蒸馏更新后的学习收益。这里的学习收益不看题目最终答没答对,而是看更新后的学生模型在固定探针问题上教师—学生 KL 差异下降了多少。
实验发现,平均分歧与单步学习收益的 Spearman 相关系数达到 0.727;控制回答长度、通过率与熵等因素后,偏相关系数仍有 0.386。对于结合分歧与兼容性的 support-aware 信号,原始相关系数进一步达到 0.750,偏相关系数为 0.399。研究者按该信号大小把问题分成五组,最高信号组带来的平均探针 KL 下降幅度约为最低组的 2.15 倍。进一步的固定 token 预算实验也发现,整体上分布信号更高的问题组能带来更好的下游训练结果,尽管这种关系并非严格单调。
这组实验为 A2D 的核心思想提供了更直接的证据:即便不知道问题的标准答案,教师在学生生成过程中的概率分布,也能为估计一道问题的蒸馏价值提供有效信号。不过相关性并不意味着 KL 散度可以完整预测参数更新收益。研究结果更准确的说法是,分布信号可以作为具有预测能力的学习价值代理指标。
消融实验:为什么不能只看 KL 散度?
A2D 的奖励由几部分构成:教师与学生的分歧、兼容性、回答长度控制,以及生成问题的多样性。这些设计是否都必要?

研究团队逐一移除 Compatibility、训练时多样性约束和显式长度惩罚,在 AIME24、AIME25 和 AIME26 上评估最终蒸馏性能。完整奖励函数在三个基准上均拿到最高成绩,分别为 45.0%、35.8% 和 29.2%;去掉任一组件,性能都会下降。
比如在 AIME25 上,移除兼容性、多样性或长度惩罚,准确率分别下降 6.2、6.0 和 6.6 个百分点。这说明优化问题生成不是单纯追求更大的教师—学生 KL 散度。不考虑兼容性,生成器可能偏好那些师生差异很大、却难以转化为当前蒸馏监督的问题;缺少长度控制和多样性约束,生成器也可能靠冗长或重复的输出拿到奖励。真正有效的问题生成目标,需要同时权衡有多少知识差异,以及这些差异能在多大程度上被学生利用。
更强的模型负责出题,是否就足够了?
还有个自然的问题:教师模型既然比学生强,为什么不直接让教师生成训练问题?A2D 进一步比较了从学生和教师初始化问题生成器,以及是否进行针对性强化学习优化的不同组合。

实验结果显示,换成更强的教师模型来出题,并非在每个基准上都能把蒸馏效果推到最好。反过来,围绕具体的学生—教师组合做强化学习优化,两种初始化方式生成的问题质量都有提升。以学生初始化、再经 RL 优化的 A2D 为例,它在多个代码基准上竞争力不弱。
这个结果呼应了论文的核心判断:问题的好坏不能只看模型本事,还要看它能替某对学生—教师组合撬动多少有效监督。学生的知识边界各不相同,同一道题对不同学生的蒸馏价值也就可能不一样。合成数据生成因此有必要从一味追求普遍意义上的高质量数据,转向按具体模型能力和学习需求做自适应优化。
研究给出的启示是:数据的价值,也许要看它让模型学到了什么。
过去很长一段时间,大模型合成数据研究盯住的一个重点,是怎么造出更正确、更复杂、更多样的训练样本。A2D 提供了另一种看法。在 On-Policy Distillation 里,训练问题本身不必带标准答案,真正的监督来自教师面对学生生成轨迹时给出的概率分布。问题生成器因此可以不再依赖答案正确性奖励,转而去优化问题所能激发的监督信号。
这样看,A2D 的意义不止是拿出了一种新的合成问题生成办法,它还重新梳理了大模型训练数据的价值定义:一条数据值不值得拿来训练,可能不只看它写了什么,还要看它能为当前模型带来怎样的学习机会。
当然,这条路上还有问题没解决。比如学生能力一路往上走,最有价值的问题分布是不是也得跟着更新?用固定学生—教师组合算出来的学习价值指标,能不能搬到别的模型组合上用?教师自己也有知识短板时,怎么把有价值的监督分歧和不可靠的教师偏好分开?这些都还要继续研究。
结语
Ask to Distill 把大模型知识蒸馏里的一个关键环节——训练问题的挑选与构建——变成了可以直接优化的学习过程。
和传统合成数据方法不一样,A2D 不靠问题的标准答案,它看的是教师和学生生成轨迹上的概率分布,据此判断哪些问题更可能带来有效的学习信号,再用强化学习让模型主动把这些题生成出来。
从数学推理、代码生成到智能体任务,实验显示,优化过的问题分布能换来更好的平均蒸馏效果。回答更短、监督信号更密集,分布分歧与实际学习收益之间呈正相关,这些结果也给上述思路添了佐证。
说到底,想让模型更强,关键也许不只是让它看到更多答案,还要让它学会问出那些真正值得向教师请教的问题。